Spotify
Senior Data Engineer - Data Platform
- Гибрид
- London
- 101 дн. назад
Присоединяйтесь к команде Data Platform в Spotify как Senior Data Engineer и создавайте инфраструктуру для обработки данных миллиардов пользователей по всему миру. Развивайте технологии, которые позволяют бизнесу масштабироваться и учиться на основе пользовательских данных.
О позиции
Команда Data Platform отвечает за разработку и поддержку инфраструктуры, которая питает всю экосистему данных Spotify. В рамках этой команды вы будете работать над продуктом Data Collection — создавать системы, которые делают сбор и потребление данных удобным и надёжным для всех аналитических команд внутри компании. Вы станете частью глобальной команды, обеспечивающей работу с пользовательским поведением для поддержки роста бизнеса на миллиарды клиентов.
Чем заниматься
- Разработка и поддержание инфраструктуры для сбора и потребления данных в масштабе
- Создание отказоустойчивых пайплайнов обработки данных для всей организации
- Проектирование систем, обеспечивающих надёжность и доступность данных
- Взаимодействие с командой Data Engineering над улучшением существующих инструментов
- Оптимизация производительности и стоимости обработки данных
- Участие в архитектурных решениях для новых продуктов и фич
Что ждут
- Значительный опыт работы с большими данными (Big Data)
- Уверенное владение языками программирования Python, Java или Scala
- Опыт работы с Apache Spark, Kafka или аналогичными потоковыми технологиями
- Глубокое понимание облачных платформ (AWS, GCP или Azure)
- Опыт проектирования и реализации ETL/ELT процессов
- Понимание принципов построения распределённых систем
- Опыт работы с контейнеризацией (Docker, Kubernetes) будет преимуществом
Будет плюсом
- Опыт работы в музыкальной или медиа индустрии
- Опыт с ClickHouse, Druid или другими OLAP системами
- Знание методов машинного обучения и ML pipelines
- Опыт работы с real-time аналитикой
- Бэкграунд в open-source проектах
Условия
- Конкурентоспособная зарплата с возможностью бонусов
- Работа с международными пользователями в одной из ведущих музыкальных платформ мира
- Возможность технологического роста и менторства
- Гибкий график работы и возможность удалённого формата
- Медицинское страхование и социальные льготы
- Бюджет на обучение и конференции
Навыки
- Python
- Java
- Scala
- Apache Spark
- Apache Kafka
- AWS
- Google Cloud Platform
- Kubernetes
- Docker
- ETL
- Data Pipelines
- Big Data
- Microservices
- SQL
Сложность отбора
Требуется значительный опыт работы с распределёнными системами и большими данными, способность проектировать архитектуру для высоких нагрузок
Оценка JobPathЗарплата по рынку
280 000 – 650 000 ₽ в месяц
Оценка основана на средних рынках для senior data engineer в Лондоне в технологической индустрии; конвертация из GBP с учётом локального рынка труда
Оценка JobPath по рынку, не предложение работодателяМогут спросить на собеседовании
- Как бы вы спроектировали систему сбора данных для обработки 10 миллиардов событий в день?
- Расскажите о случае, когда вам пришлось оптимизировать медленный ETL процесс. Что было проблемой и как вы её решили?
- Какие trade-offs вы рассматриваете при выборе между потоковой и пакетной обработкой данных?
- Как обеспечить надежность данных при сбоях в распределённой системе?
- Расскажите о вашем опыте работы с инструментами оркестрации пайплайнов (Airflow, Luigi, и т.д.)
Прорепетировать это собеседование
Голосовой ИИ-интервьюер задаст вопросы под эту вакансию и разберёт каждый ответ.
Начать бесплатноСохрани похожие вакансии
Новые вакансии с такой должностью будут собираться в кабинете.
Сохранить фильтр