Backend Engineer - Data Platform

О позиции

Команда отвечает за все данные в Spotify — от royalties для артистов до сигналов рекомендаций. Мы строим системы, которые становятся единым источником правды о том, какие данные существуют, где они хранятся и как перемещаются между пайплайнами. Ваши решения напрямую влияют на качество данных и надежность платформенных решений других команд.

Будет плюсом

• Опыт работы с Apache Iceberg, Delta Lake или подобными табличными форматами
• Знакомство с OpenLineage или аналогичными фреймворками lineage
• Опыт работы со Spark, Kafka, Airflow
• Практика использования Docker и Kubernetes
• Понимание compliance и governance требований к данным

Условия

• Конкурентная компенсация и пакет льгот
• Возможность влиять на архитектурные решения глобального уровня
• Работа с передовыми open-source технологиями в индустрии
• Профессиональное развитие и менторство
• Культура открытости и разнообразия в международной команде

Навыки

• Java
• Scala
• Kotlin
• Distributed Systems
• Apache Iceberg
• OpenLineage
• Data Lineage
• Schema Registry
• ETL Pipelines
• Big Data
• PostgreSQL
• ClickHouse
• Docker
• Kubernetes

Могут спросить на собеседовании

1. Как вы проектировали каталоги данных в предыдущих проектах? Какие проблемы масштабируемости встречались?
2. Опишите ваш подход к обеспечению консистентности схем данных при их эволюции.
3. Какие у вас есть практические знания по отслеживанию lineage данных? С какими инструментами работали?
4. Как вы обеспечиваете надежность и корректность систем, от которых зависят другие команды?
5. Расскажите о вашем опыте работы с батч и стриминг обработками данных.