Lead Data Engineer

О позиции

Мы ищем опытного Lead Data Engineer дляjoining нашей команды, который будет отвечать за проектирование и внедрение корпоративных решений по управлению данными. Роль включает работу с гибридными платформами (on-premises, Hadoop, облако), тесное взаимодействие с архитекторами данных и инженерами для реализации стратегических бизнес-приоритетов. Идеальный кандидат обладает глубоким пониманием современных архитектур больших данных и имеет успешный трек record доставки качественных продуктов.

Чем заниматься

• Разрабатывать и внедрять корпоративные решения для управления данными в соответствии со стратегией компании
• Работать с инженерными командами для построения proof of concepts и конвейеров данных в облаке и Big Data средах
• Внедрять технические лучшие практики, анализировать тенденции и паттерны обработки данных
• Повышать качество данных и оптимизировать эффективность каналов обработки данных
• Выполнять профилирование, анализ и моделирование данных
• Сотрудничать с enterprise и solution архитекторами при реализации проектов

Что ждут

• Не менее 7 лет профессионального опыта в технологиях или смежной области
• 4+ года опыта работы с Big Data технологиями (Hadoop, Redshift, Scala, Spark, Hive)
• Практический опыт работы с сервисами AWS (S3, Lambda, Step Functions, Glue, EMR, Kafka, Redshift)
• Опыт разработки на Apache Spark с использованием Scala или Python
• Знание RDBMS (MySQL, PostgreSQL)
• Опыт концептуального, логического и физического моделирования данных
• Навыки работы с metadata management и Master Data Management
• Опыт разработки ETL и ELT процессов
• Глубокие знания принципов проектирования программного обеспечения и платформ
• Умение документировать и объяснять сложные технические темы

Будет плюсом

• Бакалаврская степень или 6+ лет опыта в сочетании с ассоциированной степенью
• 9+ лет общего опыта в технологической сфере
• 5+ лет опыта проектирования и реализации программных платформ
• 5+ лет опыта работы с облачными приложениями и технологиями

Условия

• Возможность работать в роли лидера технологического направления
• Работа с современными облачными платформами и Big Data технологиями
• Масштабные проекты глобального уровня в индустрии гостеприимства
• Гибкий формат работы: удалённо или из офиса в McLean, VA
• Технологические вызовы и возможность профессионального роста
• Работа в международной компании с передовыми подходами к аналитике

Навыки

• AWS S3
• AWS Lambda
• AWS Step Functions
• AWS Glue
• AWS EMR
• AWS Redshift
• Apache Kafka
• Apache Spark
• Scala
• Python
• MySQL
• PostgreSQL
• Hadoop
• ETL
• Data Modeling
• Master Data Management
• Metadata Management
• Big Data
• Cloud Computing

Могут спросить на собеседовании

1. Расскажите о вашем опыте проектирования и внедрения ETL/ELT процессов в распределённых системах.
2. Какие подходы вы применяли для обеспечения качества данных и оптимизации производительности пайплайнов?
3. Как вы работаете с командой архитекторов при проектировании решений, отвечающих бизнес-потребностям?
4. Приведите пример сложной проблемы с обработкой данных, которую вы решили, используя Spark и облачные инструменты AWS.
5. Какие стратегии вы использовали для управления метаданными и мастер-данными в крупных проектах?