Data-инженер (Инженер Данных)

чем предстоит заниматься:

• поддержка интеграций и витрин на базе хранилища данных Greenplum;
• построение ETL-процессов;
• создавать новые витрины в Greenplum;
• уметь работать с разными типами источников (MS SQL Server, Oracle, PostgreSQL, MongoDB, API, Kafka);
• разрабатывать схемы подключения новых источников в DWH по стандартному процессу;
• создавать проверки качества данных;
• документировать разработки;
• общаться с аналитиками для уточнения требований и проработки технических решений;
• принимать участие в разработке и реализации решений: написание / оптимизация / профилирование SQL/NoSQL запросов

что мы ожидаем:

• знания концепций работы с git;
• знания принципов работы БД, построения ХД;
• опыт разработки ETL процессов (Желательно Flink, NiFi, Spark. Опционально Pentaho, Informatica, SSIS);
• опыт работы с высоконагруженными распределенными системами хранения и обработки данных;
• знание SQL (временные таблицы, оконные функции, cte и тд), опыт оптимизации запросов;
• знания языков программирования (Желательно Python, Scala. Опционально другие);
• опыт работы с очередями (Желательно Kafka. Опционально RabbitMQ);
• опыт работы с оркестраторами (Желательно Airflow. Опционально Dagster, Prefect, Mage, Luigi);

Будет плюсом

• опыт работы с Greenplum;
• опыт работы с облачными ресурсами и использование Terraform для управления конфигурациями;
• опыт работы с мониторингом Prometheus, ELK, Grafana;
• создание собственных CI/CD процессов (Jenkins);
• знание форматов хранения данных и табличных форматов (AVRO, Parquet, Iceberg);

работа у нас – это:

• гибкая система премирования; 
• расширенный социальный пакет: ДМС со стоматологией с первого месяца работы, психолог и страхование жизни, компенсация питания; 
• работа в компании с развитой инженерной культурой; 
• внутренние профессиональные сообщества и мероприятия; 
• автономность работы, возможность менять правила, ошибаться и создавать новое; 
• возможности профессионального роста, программы развития для сотрудников; 
• корпоративное обучение и доступ к базе знаний; 
• гибридный/удаленный формат работы; 
• современный офис в 2 минутах ходьбы от МЦК ЗИЛ. 

место работы