Data Engineer / Data Scientist

О позиции

Вы будете работать в технической команде, отвечающей за трансформацию данных и аналитику клиентов. Роль сочетает задачи инженерии данных и научной работы с моделями машинного обучения. Вы создадите масштабируемые решения для обработки данных в реальном времени и офлайн, интегрированные с облачной инфраструктурой Microsoft Azure. Команда ценит инновации и предоставляет доступ к современным инструментам MLOps и облачным сервисам.

Чем заниматься

• Разработка масштабируемых решений для обработки данных с использованием Python, PySpark и Azure Databricks
• Создание и поддержка пакетных и потоковых пайплайнов обработки данных
• Оптимизация трансформаций на базе Spark DataFrames
• Отладка и сопровождение задач Spark в Azure Databricks
• Реализация решений на базе Delta Lake для надёжности данных и версионирования
• Разработка API для приложений данных и машинного обучения
• Поддержка проектов машинного обучения и рабочих процессов MLOps
• Настройка кластеров вычислений и notebook-работ в Databricks
• Валидация данных через DataFrame-тесты

Что ждут

• Опыт работы с Python и PySpark не менее 5 лет
• Глубокие знания платформы Microsoft Azure и Azure Databricks
• Опыт внедрения практик MLOps и инструментов для развёртывания ML-моделей
• Практический опыт работы над ML-проектами от анализа до деплоя
• Знание архитектуры Apache Spark и оптимизация производительности
• Опыт разработки API на Python или Scala
• Понимание концепций реального времени (streaming) — Kafka, Event Hubs
• Наличие высшего образования по техническому направлению

Условия

• Гибкий график и удалённая работа, доступ к передовым облачным технологиям, участие в международных проектах с глобальными клиентами, возможность профессионального развития, командная среда с признанными экспертами отрасли, корпоративные программы обучения

Навыки

• Python
• PySpark
• Azure Databricks
• MLOps
• Apache Spark
• Delta Lake
• API Development
• Scala
• Azure Event Hubs
• Azure Storage Accounts
• Azure Key Vault
• Azure Service Bus
• Azure Functions
• Azure Data Lake Storage
• Kafka
• MLflow
• CI/CD
• GitHub

Могут спросить на собеседовании

1. Как вы оптимизируете производительность Spark-задач при обработке больших объёмов данных?
2. Опишите ваш подход к развёртыванию ML-моделей в продакшене.
3. Какие преимущества у Delta Lake перед традиционными решениями для хранения данных?
4. Как вы обеспечиваете безопасность данных в Azure среде?
5. Приведите пример проекта, где вы внедрили потоковую обработку данных в реальном времени.