Data Engineer

О позиции

WebEngage — платформа клиентской вовлечённости и удержания для глобальных брендов. Наша команда Data Engineering является фундаментом для аналитики, персонализации и ML-возможностей. Мы строим масштабируемые системы обработки данных от сырых потоков событий до готовых дашбордов и прогнозных моделей. Вы получите возможность работать на пересечении продукта, аналитики и инженерии, создавая решения с первого дня ориентированные на качество данных, наблюдение за пайплайнами и долгосрочную поддерживаемость.

Будет плюсом

• Airflow
• dbt
• Docker
• CI/CD
• GCP/AWS
• Data warehousing concepts
• BI tools / Streamlit / visualization

Условия

• Работа над сложными масштабными системами обработки данных
• Перспективы роста и менторство
• Macbook для разработчиков
• Medical insurance с покрытием Covid Care
• Программы поддержки ментального здоровья
• Гибкий leave policy
• Открытая корпоративная культура
• Аутонимия и open communication
• Work-life balance
• Ежемесячные и квартальные town hall встречи

Навыки

• Python
• SQL
• ETL
• ELT
• BigQuery
• AWS
• GCP
• Redshift
• Airflow
• dbt
• Docker
• CI/CD
• Git
• Kafka
• Pandas
• PySpark
• Streamlit
• Plotly
• Data Warehousing
• Dimensional Modeling
• Schema Design
• Data Quality
• Observability
• Cloud Computing

Могут спросить на собеседовании

1. Как вы обеспечиваете data quality в своих ETL пайплайнах?
2. Объясните разницу между SCD Type 1 и Type 2, приведите примеры использования каждой.
3. Какие подходы используете для оптимизации производительности сложных SQL запросов на BigQuery или Redshift?
4. Опишите вашу стратегию работы с breaking changes в schema данных.
5. Как вы организуете CI/CD для data пайплайнов?