Задачи позиции
- Создавать и улучшать процессы обработки данных (Airflow, SQL)
· Оптимизировать запросы к данным (партицирование, индексы, дистрибьюция)
· Делать витрины Clickhouse, Greenplum
· Принимать участие в архитектурных решениях
· Разрабатывать схемы подключения новых источников в DWH
· Разрабатывать процедуры формирования детального слоя данных и слоя витрин DWH
· Настраивать алерты на качество данных
- Документировать свою работу в GitHub и ЯТрекер/ Вики
чем предстоит заниматься:
- Поддержка интеграций и витрин на базе хранилища данных Clickhouse, Greenplum
- Построение ETL-процессов
- Создание и поддержка витрин в Clickhouse, Greenplum
- Работа с разными типами источников (MS SQL Server, Oracle, PostgreSQL, MongoDB, API, Kafka)
- Разработка схемы подключения новых источников в DWH по стандартному процессу
- Создание проверок качества данных
- Документирование разработок
- Принимать участие в разработке и реализации решений: написание / оптимизация / профилирование SQL/NoSQL запросов
что мы ожидаем:
- Опыт работы 2+ лет администрирования/разработки на ClickHouse, 2+ лет на Greenplum/Hadoop, реальное использование Trino/Presto в production
- Опыт работы с мониторингом Prometheus, ELK, Grafana
- Знание форматов хранения данных и табличных форматов (AVRO, Parquet, Iceberg)
- Знания концепций работы с git
- Знания принципов работы БД, построения ХД;
опыт разработки ETL процессов (желательно Flink, Spark. Опционально Pentaho, Informatica, SSIS, NiFi) - Опыт работы с высоконагруженными распределенными системами хранения и обработки данных;
- Знание SQL (временные таблицы, оконные функции, cte и тд), опыт оптимизации запросов
- Знания языков программирования (желательно Python, Опционально Scala и другие)
- Опыт работы с очередями (желательно Kafka. Опционально RabbitMQ)
- Опыт работы с оркестраторами (желательно Airflow. Опционально Dagster, Prefect, Mage, Luigi)
- Желательно опыт работы с облачными ресурсами и использование Terraform для управления конфигурациями
работа у нас – это:
- Работа в компании с развитой инженерной культурой
- Гибкая система премирования
- Расширенный социальный пакет: ДМС со стоматологией с первого месяца работы, психолог и страхование жизни, компенсация питания и оплата мобильной связи
- Возможности профессионального роста, программы развития для сотрудников
- Корпоративное обучение и доступ к базе знаний
- Внутренние профессиональные сообщества и мероприятия
- Автономность работы, возможность менять правила, ошибаться и создавать новое
- Формат работы - офис
- Современный офис в 2 минутах ходьбы от МЦК ЗИЛ
С каждым годом на выбор сотрудника становится доступно больше дополнительных опций. Например, частичная компенсация путешествий, затрат на обучение, спортивных занятий.
место работы
МоскваПроспект Лихачева, 15
ЛМ Тех
ЛМ Тех