Data Engineer - Web Scraping (3 months contract)

О позиции

CXG — глобальная компания в сфере клиентского опыта, основанная в 2006 году. Мы работаем с более чем 200 люксовыми брендами по всему миру, помогая им трансформировать опыт клиентов через данные и технологии. Наша команда из 270 специалистов объединяет исследования, технологии и экспертность для создания измеримого воздействия на бизнес. В рамках нашего растущего проекта вам предстоит работать над критически важными задачами по сбору и обработке данных для наших клиентов.

Чем заниматься

• Поддержка и управление конфигурациями веб-скрапинга с использованием Python
• Мониторинг процессов скрапинга на предмет ошибок и потенциальных сбоев
• Контроль качества получаемых данных, выявление проблем и блокировок
• Координация с заинтересованными сторонами для понимания требований к задачам скрапинга и оперативное информирование о проблемах
• Подготовка и регулярная отчётность по результатам работы систем скрапинга
• Разработка пайплайнов для загрузки данных в Data Lake и выполнение необходимых трансформаций
• Оптимизация производительности и эффективности процессов обработки данных

Что ждут

• Опыт работы инженером данных не менее 2 лет с подтверждёнными результатами
• Сильные навыки проектирования и реализации масштабируемых архитектур данных
• Глубокий опыт работы с ETL-процессами, моделированием данных и хранилищами данных
• Продвинутые знания Python для задач инженерии данных и автоматизации
• Опыт работы с облачными платформами, особенно Microsoft Azure
• Знание реляционных (SQL) и NoSQL баз данных
• Опыт работы с системами контроля версий Git
• Навыки построения, тестирования и поддержания задач и проектов
• Понимание стандартов безопасности данных и compliance требований

Будет плюсом

• Опыт работы с Apache Airflow
• Опыт работы с DBT для трансформации данных
• Знания Terraform для управления инфраструктурой
• Французский язык на уровне общения

Условия

• Удалённая работа с гибким графиком
• Контрактная позиция с чёткими целями и результатом
• Работа с международными клиентами и крупными проектами
• Возможность приобрести опыт в сфере веб-скрапинга и data engineering
• Работа в команде международных профессионалов
• Конкурентная оплата за проект

Навыки

• Python
• ETL
• Data Modeling
• Data Warehousing
• Airflow
• DBT
• SQL
• NoSQL
• Azure
• Terraform
• Git
• Web Scraping

Могут спросить на собеседовании

1. Расскажите о вашем опыте работы с веб-скрапингом. Какие инструменты и подходы вы использовали?
2. Как вы организуете мониторинг и обработку ошибок в процессах ETL? Приведите пример из практики.
3. Какой ваш опыт работы с Airflow или подобными оркестраторами? Как вы строили DAGs для сложных пайплайнов?
4. Как вы оцениваете безопасность данных при интеграции с внешними источниками и что делаете для compliance?
5. Опишите случай, когда вам нужно было оптимизировать медленный пайплайн. Какие шаги вы предприняли?