Senior Data engineer

О позиции

Компания TECDATA ENGINEERING специализируется на инженерных решениях и ищет опытного специалиста для работы с клиентами в проектах по разработке и поддержке масштабируемых решений для обработки больших данных. В команде вы будете напрямую взаимодействовать с бизнесом и заказчиками, участвуя в полноразмерных циклах разработки от проектирования до поддержки в production.

Будет плюсом

• Опыт работы с системами контроля версий и Git workflow
• Знание фреймворков проверки качества данных (Great Expectations)
• Опыт внедрения CI/CD пайплайнов для data-инфраструктуры
• Методологии Agile/Scrum

Условия

• Работа в международной компании с прямым контактом к клиентам
• Участие в проектах полного цикла от проектирования до поддержки
• Технологический стек современных облачных платформ
• Возможность профессионального роста и развития

Навыки

• SQL
• Python
• Apache Spark
• PySpark
• Databricks
• Snowflake
• BigQuery
• Microsoft Azure
• Apache Kafka
• Docker
• Kubernetes
• CI/CD
• Git
• Terraform
• dbt
• Apache Airflow
• Data Factory
• Delta Lake
• Apache Iceberg
• Parquet
• ETL
• ELT
• Data Modeling
• Dimensional Modeling
• Kimball
• Data Vault
• SCD

Могут спросить на собеседовании

1. Расскажите о вашем опыте оптимизации сложных SQL-запросов. Какие техники применяли?
2. Как вы строили ETL/ELT пайплайны в продакшене? С какими вызовами сталкивались?
3. Какой опыт у вас есть с распределённой обработкой данных на Spark? Batch или streaming?
4. Как вы выбираете между различными форматами хранения данных (Parquet, Delta Lake, Iceberg)?
5. Опишите вашу стратегию тестирования и обеспечения качества данных в пайплайнах.