Senior Engineer – Data Engineering (Databricks) - India

О позиции

Позиция Senior Data Engineer в рамках практики Databricks международной бизнес-технологической консалтинговой компании. Вы будете техническим лидером в командах с минимальным надзором, разрабатывая инновационные решения на платформе Databricks. Работа входит в состав Центра Компетентности по Databricks и подразумевает взаимодействие с лидерами из Fortune Global 500. Это возможность работать с самыми передовыми технологиями в области данных и аналитики.

Чем заниматься

• Разработка и внедрение решений с использованием Databricks
• Проектирование и оптимизация конвейеров данных для пакетной обработки и стриминга
• Участие в дизайн-сессиях и разложение сложных задач разработки
• Создание ускорителей решений для ДЦО Databricks
• Разработка оркестрационных паттернов для job/workflow
• Построение решений для качества данных и наблюдаемости пайплайнов
• Изучение и внедрение новых технологий платформы Databricks
• Участие в проектировании компонентов дата-платформы клиентов

Что ждут

• 5+ лет опыта в Data Engineering
• 2+ года опыта работы с Databricks включая Delta Lake, Delta Live Tables, Unity Catalog
• Профициентация в дизайне и сборке масштабируемых YAML-configured конвейеров данных
• Опыт работы с Apache Spark, Presto, Amazon EMR
• Знание облачных Data Warehouses: Amazon Redshift, Snowflake, Google BigQuery
• Сильные навыки программирования на SQL, Java, Python, PySpark
• Опыт построения CI/CD пайплайнов с использованием Databricks Asset Bundles
• Знание Terraform или других инструментов Infrastructure as Code
• Знакомство с AI/ML инструментами (mlflow) и prompt engineering
• Желательно наличие сертификаций Databricks Data Engineering Associate/Professional

Условия

• Работа с передовыми технологиями в области данных и аналитики
• Возможность участия в проектах для глобальных клиентов
• Членство в центре компетенции по Databricks
• Карьерный рост в международной консалтинговой компании
• Доступ к современным инструментам и инфраструктуре
• Обучение и профессиональное развитие
• Признание лучших компаний для работы по версии Fortune

Навыки

• Databricks
• Delta Lake
• Unity Catalog
• Apache Spark
• Python
• Java
• PySpark
• SQL
• Terraform
• Airflow
• dbt
• CI/CD
• Amazon Redshift
• Snowflake
• Google BigQuery
• Amazon EMR
• Presto
• Great Expectations
• Collibra
• mlflow
• NoSQL
• Containers
• Iceberg
• Git

Могут спросить на собеседовании

1. Какой ваш опыт работы с Databricks в продакшене?
2. Опишите архитектуру системы, которую вы проектировали с использованием Delta Lake и Unity Catalog
3. Как вы обеспечиваете качество данных в конвейерах Databricks?
4. Опишите подходы к оркестрации потоков данных с микробатчами и стримингом
5. Как вы организуете CI/CD процессы для кода Databricks?