Data Engineer - Senior

О позиции

Вы присоединитесь к команде Data Platform, которая строит инфраструктуру для enterprise-scale данных и обслуживает внутренние команды по всей организации. В этой роли вы сможете работать с современными инструментами data stack и AI, проектировать архитектуру платформенных решений и интегрировать новые технологии обработки данных. Вы будете играть ключевую роль в разработке бизнес-критичных, надежных и самообслуживаемых data продуктов.

Чем заниматься

• Разрабатывать бизнес-критичные и надёжные данные продукты используя Apache Spark, Kafka, Delta Lake и другие технологии Big Data
• Обеспечивать производительность пайплайнов и качество данных через масштабируемую архитектуру и оптимизацию
• Исследовать, разрабатывать и интегрировать новые инструменты и технологии обработки данных
• Сотрудничать с командами для понимания потребностей в данных и поддержки внедрения data продуктов по всей компании
• Проектировать решения технических задач и оказывать влияние на архитектуру платформы
• Рефайнить data решения по мере эволюции бизнес требований и технических ограничений

Что ждут

• 5+ лет опыта в software engineering с экспертизой в разработке, деплое и интеграции
• Уверенное владение хотя бы одним high-level языком программирования (Scala, Java, Python или аналог)
• Опыт работы с data окружениями: Data Lakes, Data Warehouses, Data Marts, концепции трансформации данных
• Опыт построения ETL pipeline для feature engineering на large-scale datasets с использованием Apache Spark и Delta Lake
• Опыт работы с sourcing и modelling данных из application APIs
• Опыт разработки stream-processing приложений с использованием Spark-Streaming, Kafka Streams или других
• Опыт дизайна и внедрения мониторинга, алертинга и observability решений для data pipeline с использованием Prometheus, Grafana, Alertmanager и других
• Сильные аналитические и problem-solving навыки
• Верхне-средний уровень английского и сильное владение русским языком

Будет плюсом

• Опыт работы с workflow orchestration tools: Apache Airflow
• Опыт работы с Kubernetes и контейнеризацией
• Знакомство с cloud platforms: AWS, GCP, Azure, OCI
• Знакомство с CDC и Debezium
• Знакомство с Clickhouse
• Знакомство с data quality validation frameworks для data pipeline
• Знакомство с Data Lineage
• Знакомство с low-latency NoSQL datastores (HBase, Cassandra, MongoDB), Relational databases (MySQL, Postgres) и Search systems (ElasticSearch, Solr)
• Магистр, PhD или эквивалентный опыт в Software Engineering, Mathematics или Computer Science

Условия

• Частное медицинское страхование
• Спортивные льготы
• Комплексная программа ментального здоровья
• Бесплатные уроки английского онлайн
• Курсы местного языка
• Оплачиваемый отпуск
• Поддержка отпуска по материнству
• Rewards за реферальную программу
• Возможности upskilling, внутренние воркшопы и участие в профессиональных конференциях
• Корпоративные мероприятия

Навыки

• Apache Spark
• Kafka
• Delta Lake
• Python
• Scala
• Java
• ETL
• Data Pipeline
• Stream Processing
• Prometheus
• Grafana
• Apache Airflow
• Kubernetes
• Docker
• AWS
• Google Cloud Platform
• Azure
• CDC
• Debezium
• ClickHouse
• MongoDB
• PostgreSQL
• MySQL
• Elasticsearch

Могут спросить на собеседовании

1. Как вы подходите к проектированию отказоустойчивых data pipelines при работе с large-scale datasets?
2. Расскажите о вашем опыте оптимизации производительностиSpark-задач. Какие метрики вы используете?
3. Какие подходы к monitoring и alerting для data pipeline вы применяли ранее? Как определяли SLA/SLO?
4. Как вы обеспечиваете качество данных в ваших ETL пайплайнах? Какие фреймворки использовали?
5. Опишите кейс интеграции потоковых данных (stream processing). Какие challenges возникли и как решали?