Senior Data Engineer, AI/ML Platforms

О позиции

Мы ищем опытного Senior Data Engineer для работы с большими объёмами данных из внутренних и внешних источников. Роль включает проектирование конвейеров данных, управление процессами ETL/ELT и обеспечение качества данных в соответствии с корпоративными стандартами. Вы будете работать с командами аналитиков и архитекторов данных, разрабатывать модели данных и менторить младших инженеров в проекте. Требуется опыт работы с облачными платформами, программирование на Python/Spark и глубокие знания баз данных.

Чем заниматься

• Сотрудничать с архитекторами данных, аналитиками и стейкхолдерами для выявления и документирования требований к конвейерам данных и автоматизации процессов
• Проектировать, создавать, документировать, тестировать и поддерживать конвейеры данных по лучшим практикам отрасли
• Выполнять операции ETL/ELT в соответствии со стандартами корпоративного управления данными и безопасности
• Разрабатывать процессы обеспечения качества и управления данными через инспекцию, валидацию, обработку и обнаружение аномалий
• Руководить проектами по сбору и хранению данных
• Обеспечивать работу критически важных конвейеров данных из больших объёмов информации различных платформ и структур

Что ждут

• 5-7 лет релевантного опыта в разработке данных
• BA/BS в соответствующей области
• Опыт построения больших сложных конвейеров данных across различных платформ и источников
• Опыт работы с реляционными базами данных (SQL Server, Oracle и др.) и SQL-скриптами
• Опыт работы с облачными платформами (AWS, Azure, GCP) и инструментами ETL
• Программирование на Python, Spark и аналогичных языках
• Глубокие знанияlarge-scale processing engines и инструментов безопасности/комплаенса БД
• Знание agile data engineering концепций и процессов
• Навыки документирования бизнес-процессов и требований
• Менторство и обучение коллег
• Отличные коммуникативные навыки и работа в команде
• Уверенное владение Microsoft Office Suite

Условия

• Работа с современными технологиями big data и AI/ML платформами
• Возможность руководить проектами и менторить команду
• Конкурентная компенсация и пакеты льгот
• Культура компании, ориентированная на ценности и сотрудничество
• Возможности профессионального развития и обучения новым технологиям
• Гибкий рабочий график и возможности удалённой работы
• Командную атмосферу и поддержку коллег
• Релевантный опыт для роста карьеры в сфере data engineering

Навыки

• Python
• Spark
• AWS
• Azure
• GCP
• SQL
• PostgreSQL
• Oracle
• MongoDB
• ETL
• ELT
• Data Warehousing
• Apache Kafka
• Docker
• Kubernetes
• CI/CD
• Git
• REST APIs
• Apache Airflow
• dbt
• Snowflake
• Amazon Redshift
• Google BigQuery
• Tableau
• Power BI
• JIRA
• Confluence
• Scrum
• Waterfall

Могут спросить на собеседовании

1. Как вы подходите к проектированию отказоустойчивых конвейеров данных для критически важных бизнес-процессов?
2. Опишите ваш опыт миграции или оптимизации существующих ETL/ELT процессов на облачных платформах
3. Как вы обеспечиваете качество данных и выявляете аномалии в больших объёмах информации?
4. Приведите пример, когда вы внедрили новый инструмент или технологию в существующий пайплайн данных