SDG Group

Spark Data Engineer

Удалённо
Spain
Полная занятость
5 дн. назад

SDG Group ищет опытного Spark Data Engineer для разработки масштабируемых решений по обработке больших данных в распределённых облачных средах. Ключевые технологии: Apache Spark, Python/Scala, современные форматы хранения данных и архитектуры типа Data Lakehouse.

О позиции

Вы присоединитесь к команде Data Technologies SDG Group — лидера в области Big Data, BI, аналитики и искусственного интеллекта с 1994 года. Компания сотрудничает с IBEX-35 и международными корпорациями, помогая им в цифровой трансформации. Вы будете работать над сложными проектами, создавать инновационные пайплайны ETL/ELT, разрабатывать архитектурные решения и тестировать новые технологии вместе с экспертами отрасли. Работа предлагает реальную автономию, доступ к передовым инструментам рынка и возможности профессионального роста без жёстких карьерных рамок.

Будет плюсом

Опыт работы со стриминговыми данными в реальном времени (Kafka, Kinesis, Flink, Spark Structured Streaming)
Продвинутые знания оркестрации, DevOps для данных, governance, quality и security
Опыт с Data Mesh и распределёнными архитектурами
Знание ML pipelines и MLOps с интеграцией в Big Data (MLflow, SageMaker, Vertex AI, Kubeflow)

Условия

Стабильная позиция с высоким потенциалом профессионального роста в растущей команде
Полная гибкость работы: 100% удалённо или гибридный формат
Экономическая поддержка организации домашнего офиса
Доступ к тренингам, официальным сертификациям, конференциям и курсам
Периодически пересматриваемые цели развития и прозрачная система оценки результатов
Интенсивный график в июле и августе, а также по пятницам

Навыки

Apache Spark
Python
Scala
Apache Beam
Apache Airflow
Databricks
Parquet
Delta Lake
Apache Iceberg
AWS
Azure
Google Cloud Platform
Git
CI/CD
DataOps
Kafka
Apache Flink
Snowflake
MLflow

Сложность отбора

4 из 5

Высокий уровень сложности: требуется 6+ лет опыта в Big Data, глубокое знание распределённых систем и современных архитектур данных

Оценка JobPath

Зарплата по рынку

550 000 – 800 000 ₽ в месяц

Оценка основана на рынке Испании для позиции Senior Data Engineer с 6+ лет опытом; точная сумма зависит от образования и конкретного опыта кандидата

Оценка JobPath по рынку, не предложение работодателя

Могут спросить на собеседовании

Как вы проектируете масштабируемые ETL/ELT пайплайны для обработки больших объёмов данных?
Расскажите о вашем опыте работы с Apache Spark: какие паттерны оптимизации применяли и с какими проблемами сталкивались?
Как вы подходите к выбору форматов хранения данных (Parquet, Delta Lake, Iceberg) для различных кейсов?
Опишите свой опыт внедрения DataOps практик и контроля качества данных в производственной среде.
Как бы вы спроектировали систему для обработки данных в реальном времени? С какими технологиями работали?

Прорепетировать это собеседование

Голосовой ИИ-интервьюер задаст вопросы под эту вакансию и разберёт каждый ответ.

Начать бесплатно

Сохрани похожие вакансии

Новые вакансии с такой должностью будут собираться в кабинете.

Сохранить фильтр

Перед откликом

Попробовать бесплатно