L1 Data Engineer - Remote

О позиции

Это идеальная возможность для специалиста по данным, который хочет углубить свои навыки работы с облачными платформами, особенно в экосистеме Microsoft Azure и Databricks. Работа проходит в динамичной collaborative среде, где вы сможете развиваться под руководством опытных инженеров и внести значимый вклад в развитие инфраструктуры данных компании.

Чем заниматься

• Разработка и поддержка масштабируемых конвейеров данных (ETL/ELT) для бизнес-аналитики
• Построение и оптимизация процессов загрузки данных с использованием Azure Data Factory и Databricks
• Трансформация больших наборов данных с помощью PySpark и Python с применением лучших практик производительности
• Написание и оптимизация сложных SQL запросов для аналитической отчётности
• Сотрудничество с архитекторами данных над проектированием моделей данных
• Мониторинг, устранение неполадок и разрешение проблем с качеством данных
• Документирование конвейеров данных, словарей данных и инженерных стандартов
• Исследование новых инструментов и подходов для улучшения инфраструктуры данных

Что ждут

• Опыт работы в роли Data Engineer или смежной области от 3 лет
• Уверенное владение Python для обработки данных, трансформации и автоматизации
• Практический опыт работы с Pandas и PySpark для распределённой обработки данных
• Опыт работы с Databricks: разработка ноутбуков, кластеров, оркестрация задач
• Опыт построения конвейеров данных с Azure Data Factory
• Знание Azure Synapse Analytics, особенно интеграция Spark pool
• Твёрдые навыки SQL: написание, оптимизация и тюнинг производительности запросов
• Понимание принципов инкрементальной загрузки, архитектуры data lake и Delta Lake
• Понимание концепций управления данными и безопасности в облачной платформе
• Наличие или активная работа над сертификацией Databricks Certified Data Engineer Associate

Будет плюсом

• Опыт проектов миграции SQL Server: конвертация схемы и перемещение данных
• Знакомство с Terraform для развертывания и управления инфраструктурой Azure
• Опыт работы с практиками CI/CD в процессах data engineering
• Знание концепций Delta Sharing или Lakehouse Federation

Условия

• Работа в растущей международной компании с возможностями карьерного роста
• Возможность работать с современными технологиями облачных платформ данных
• Гибкая удалённая форма работы
• Поддержка профессионального развития и получение сертификаций
• Работа в коллаборативной быстрой среде

Навыки

• Python
• PySpark
• Pandas
• Databricks
• Azure Data Factory
• Azure Synapse Analytics
• SQL
• Azure
• ETL
• ELT
• Spark SQL
• Data Pipelines
• Delta Lake
• Data Governance
• Terraform
• CI/CD
• Incremental Loading
• Data Lake
• Apache Spark
• Distributed Computing

Могут спросить на собеседовании

1. Расскажите о вашем опыте построения ETL/ELT конвейеров данных. Какие инструменты вы использовали и с какими вызовами столкнулись?
2. Как вы подходите к оптимизации производительности SQL запросов и больших объёмов данных в Spark?
3. Опишите ваш опыт работы с Databricks: notebooks, clusters, orchestration jobs.
4. Какие практики вы применяете для обеспечения качества данных и мониторинга проблем в конвейерах?
5. Что вам известно о сертификации Databricks Certified Data Engineer Associate и насколько она актуальна для этой роли?