Databricks Data Engineer

О позиции

Вы joiningete команду эксперта компании Onwelo, работающей над проектами трансформации данных для крупных международных клиентов. Вакансия предполагает работу в одном из офисов польских городов или удалённо, участие в реальных проектах масштаба enterprise. Компания предлагает карьерный рост (80% менеджеров — внутренний найм) и доступ к международным практикам Data Engineering.

Чем заниматься

• Проектирование, разработка и поддержка пайплайнов данных в Azure Databricks с использованием Apache Spark (PySpark, SQL)
• Написание эффективного, читаемого и тестируемого кода на Python (OOP)
• Участие в анализе существующих процессов данных и проектировании целевой архитектуры в Azure
• Миграция и рефакторинг процессов обработки данных в архитектуру data lake / lakehouse
• Оптимизация производительности обработки данных и затрат облачной инфраструктуры
• Сотрудничество с командами клиентов и Onwelo над дата-ориентированными проектами
• Обеспечение качества данных, стабильности пайплайнов и технической документации

Что ждут

• Коммерческий опыт работы с Azure Databricks и Apache Spark
• Свободное владение PySpark и SQL
• Продвинутый уровень Python (проектирование модульного кода, OOP, обработка исключений, логирование, тесты)
• Знание лучших практик Data Engineering: версионирование кода, code review, CI/CD, документация
• Понимание концепций data lake, lakehouse и обработки больших объёмов данных
• Умение работать в команде и коммуницировать на английском языке

Будет плюсом

• Опыт миграции он-премис решений в облако
• Работа с крупными клиентами из Финансов или Retail
• Знание практик оптимизации облачных расходов
• Техническое образование (инженерное направление)

Условия

• Гибкий график и возможность удалённой работы
• 80% менеджеров продвигаются внутренними назначениями
• Участие в интересных проектах для глобальных клиентов
• 90% руководящего состава имеют техническое образование
• Внутреннее обучение и карьерные пути развития
• Командные мероприятия и Town Hall встречи
• Поддержка в создании профессионального имиджа (personal branding)
• Страхование жизни и частная медицинская опека для сотрудника и семьи
• Карта MultiSport для заботы о здоровье

Навыки

• Azure Databricks
• Apache Spark
• PySpark
• SQL
• Python
• OOP
• CI/CD
• Data Lake
• Data Architecture
• ETL
• Code Review
• Unit Testing
• Logging
• Exception Handling

Могут спросить на собеседовании

1. Расскажите о вашем опыте проектирования и реализации пайплайнов данных в Azure Databricks.
2. Как вы подходите к оптимизации производительности и снижению стоимости облачных ресурсов в Spark?
3. Приведите пример сложной проблемы с качеством данных, которую вы решали, и как обеспечили стабильность пайплайна.
4. Какие паттерны ОOP вы используете в Python для создания поддерживаемого кода пайплайнов?
5. Как вы организуете процесс CI/CD для ETL-пайплайнов и обеспечиваете качество кода через code review?