Middle Data Engineer

О позиции

MMDSmart Ltd — ведущий поставщик облачных решений для бизнес-коммуникаций, основанный в 2007 году. Компания предоставляет продукты для обмена сообщениями и голосовой связи клиентам в более чем 100 странах. Команда инженеров данных отвечает за надёжность и производительность единой платформы данных, поддерживающей аналитику и продуктовые решения. Роль не предполагает задач DevOps, ML или BI-разработки.

Будет плюсом

• Опыт работы с Apache Kafka или потоковыми пайплайнами данных

Условия

• Программы поддержки ментального здоровья
• Комплексное медицинское страхование и спортивная карта (для сотрудников в Болгарии)
• Дружный коллектив, наставничество и корпоративные бонусы
• Бесплатные образовательные мероприятия, курсы и занятия английским с носителями языка
• Гибкий формат работы: удалённо, в офисе или гибрид
• Командообразующие мероприятия

Навыки

• Python
• SQL
• Google BigQuery
• Apache Airflow
• Apache Spark
• PySpark
• ETL
• Data Modeling
• Data Warehousing
• Data Pipeline
• Batch Processing
• Stream Processing
• Apache Kafka
• Data Quality
• Query Optimization

Могут спросить на собеседовании

1. Опишите архитектуру наиболее сложного пайплайна данных, который вы проектировали. Какие решения вы принимали по секционированию и кластеризации таблиц в BigQuery?
2. Как вы организуете мониторинг и алертинг для Airflow DAG-ов? Что делаете при систематических сбоях задач в продакшне?
3. Расскажите о случае, когда запрос в BigQuery оказался слишком дорогим или медленным. Как вы диагностировали и решили проблему?
4. Как вы реализуете проверки качества данных в ETL-процессе? Приведите конкретный пример инцидента с качеством данных и ваших действий.
5. Чем принципиально отличается проектирование пайплайна для потоковой обработки от пакетной? Есть ли у вас опыт с Kafka или аналогами?