Senior Data Engineer

О позиции

Мы ищем опытного и динамичного Senior Data Engineer с любознательным и креативным подходом к работе. Вы присоединитесь к команде инженеров, дата-сайентистов, продуктовых менеджеров и дизайнеров, которые создают передовую платформу для рекламных кампаний в сфере ТВ и стриминга. Ваша задача — спроектировать и поддерживать data platform, которая питает всю компанию: строить pipelines для обработки миллиардов строк данных от внешних источников, создавать модели данных и сервисы, предоставляющие данные внутренним продуктам.

Чем заниматься

• Проектирование и разработка batch data pipelines для ingest, валидации и трансформации мультибиллионных наборов данных
• Моделирование сложных данных: дименсиональные модели, референсные данные, временные данные с медленно меняющимися измерениями
• Разработка и эксплуатация workload'ов на платформе lakehouse (Databricks / Spark / Delta) и data warehouse (Redshift)
• Оркестрация пайплайнов с помощью Airflow: планирование, зависимости, ретраи, бэкифиллы и алертинг
• Проверка корректности данных: создание parity checks и reconciliation queries, расследование расхождений до уровня строк
• Создание и поддержка Python-сервисов и REST API для подачи данных внутренним продуктам
• Оптимизация производительности и затрат: tuning запросов, дизайн таблиц, управление workload'ами
• Мониторинг production pipeline'ов, triage инцидентов, root-cause анализ, харденинг систем
• Кросс-функциональное сотрудничество с продуктовыми менеджерами, дата-сайентистами и стейкхолдерами
• Работа в Agile-команде с регулярными релизами новых фич

Что ждут

• Бакалавр в Computer Science, Computer Engineering или соответствующей технической области
• 7+ лет опыта работы как Data Engineer
• Уверенное владение Python как основным языком разработки за последние годы
• Экспертный уровень SQL: написание, чтение и тюнинг сложных аналитических запросов, отладка несоответствий результатов
• Практический опыт работы с distributed data processing платформами (Spark/Databricks предпочтительно; EMR, Snowflake, BigQuery также релевантно)
• Опыт работы с колоночными data warehouses (Redshift, Snowflake, BigQuery, ClickHouse)
• Способность проектировать сложные data models: нормализованные, дименсиональные, временные
• Опыт оркестрации workflow (Airflow или аналог): создание DAGs, управление зависимостями, backfills
• Интеграция сторонних data feeds: обработка schema drift, поздние доставки, дефекты качества данных вендора
• Опыт создания REST services на Python (FastAPI, Flask)
• Базовые знания AWS (S3, IAM, ECS или аналогичные вычислительные услуги) и Docker
• Знание инженерных best practices и тестирования (unit test, integration test, code review, CI/CD)
• Коммуникация с командами в США

Будет плюсом

• Опыт работы с Delta Lake / medallion lakehouse архитектурами
• Опыт миграции legacy pipeline между платформами со строгими требованиями паритета
• Опыт работы с данными в advertising, media или measurement industry
• Понимание архитектурных паттернов data mesh или event-driven architecture

Условия

• Удалённая работа из любой точки Украины
• Возможность очных встреч в офисах в Киеве или Львове при необходимости
• Международная компания в fast-growing advertising technology секторе
• Работа с огромными объёмами данных (миллиарды строк)
• Высокая степень автономии и возможности экспериментировать с новыми технологиями
• Коллаборация с талантливыми коллегами из разных команд
• Английский язык не требуется для ежедневной коммуникации (но общение с US командами обязательно)
• Гибкий график работы в часовом поясе EEST (11:00–20:00)

Навыки

• Python
• SQL
• Apache Spark
• Databricks
• Delta Lake
• Amazon Redshift
• Apache Airflow
• AWS
• Amazon S3
• Amazon ECS
• Docker
• FastAPI
• Flask
• CI/CD
• Jenkins
• GitHub Actions
• REST APIs
• Data Modeling
• Dimensional Modeling
• Snowflake
• BigQuery

Могут спросить на собеседовании

1. Расскажите о вашем опыте проектирования data pipelines для обработки больших объёмов данных. С какими вызовами вы сталкивались?
2. Как вы обеспечиваете качество и согласованность данных при миграции или обновлении existing pipelines?
3. Опишите ваш подход к оптимизации производительности Spark-джobs на больших датасетах
4. Какие паттерны вы используете для обработки медленно меняющихся измерений (SCD) в своих моделях?
5. Как вы организуете мониторинг и алертинг для production data pipelines? Приведите примеры инцидентов, с которыми сталкивались