Senior Data Engineer (AWS, Python & SQL)

О позиции

Вы будете ключевым специалистом в команде, отвечающей за архитектуру и развитие инфраструктуры данных. Наша задача — создать масштабируемые решения, которые поддержат бизнес-инициативы в аналитике, маркетинге и операционной деятельности. Мы ценим техническое мастерство, бережливое отношение к ресурсам и готовность делиться знаниями с коллегами.

Чем заниматься

• Проектирование, разработка и поддержка масштабируемых ETL-пайплайнов для различных бизнес-направлений
• Улучшение и сопровождение инфраструктуры данных: Redshift/Snowflake, Airflow, Fivetran
• Архитектура систем обработки данных для работы со сложными потоками и большими массивами информации
• Разработка отказоустойчивых и экономически эффективных решений в AWS
• Обеспечение высокого качества данных через автоматизацию и инженерные практики
• Оптимизация производительности, масштабируемости и операционных затрат платформы
• Сотрудничество с инженерами, аналитиками и бизнес-заказчиками
• Наставничество инженеров и аналитиков по лучшим практикам разработки
• Участие в архитектурных обсуждениях и технических решениях

Что ждут

• 4+ года опыта работы Data Engineer с современными дата-технологиями
• Отличное знание Python и SQL
• Опыт обработки больших объёмов данных
• Практический опыт с Apache Spark и Apache Airflow
• Опыт проектирования систем обработки данных в AWS
• Знание Redshift и/или Snowflake
• Понимание инструментов загрузки данных типа Fivetran
• Глубокое понимание качества данных, автоматизации и инженерных практик
• Отличные коммуникативные навыки и умение работать в команде

Будет плюсом

• Опыт работы со стриминговыми технологиями: Kafka или AWS Kinesis Firehose
• Знание Docker и/или Kubernetes
• Знакомство с Ruby или R
• Опыт создания или миграции хранилища данных
• Опыт руководства проектами или наставничества технических команд

Условия

• Стабильный долгосрочный контракт с возможностями карьерного роста
• Частная медицинская страховка
• Удалённый формат работы, поддерживающий баланс между работой и жизнью
• Непрерывное обучение, менторство и программы развития
• Бесплатный доступ к обучающим ресурсам по ИИ и современным инструментам
• Гибкий график оплачиваемого отпуска и праздничных дней
• Задачи мирового уровня для клиентов в США и Латинской Америке
• Работа в международном коллективе с высококвалифицированными специалистами

Навыки

• Python
• SQL
• Apache Spark
• Apache Airflow
• Amazon Web Services (AWS)
• Amazon Redshift
• Snowflake
• Fivetran
• Apache Kafka
• AWS Kinesis
• Docker
• Kubernetes
• Ruby
• R

Могут спросить на собеседовании

1. Как вы подходите к проектированию масштабируемых ETL-пайплайнов для обработки больших объёмов данных?
2. Приведите пример оптимизации данных или пайплайна, который привёл к значительному снижению затрат или улучшению производительности.
3. Как вы обеспечиваете качество данных на протяжении всего жизненного цикла пайплайна?
4. Расскажите о вашем опыте работы с распределёнными системами в AWS и выборе конкретных сервисов.
5. Приведите пример ситуации, когда вам пришлось наставить менее опытного члена команды или разрешить технический конфликт.