SDG Group

Big Data Engineer

Удалённо
Spain
Полная занятость
5 дн. назад

SDG Group ищет опытного Big Data Engineers в команду Data Technologies — роль для разработчиков с экспертизой в обработке больших данных, построении масштабируемых пайплайнов и работе с современными облачными архитектурами. Ожидается 5-6+ лет опыта в распределённых вычислениях и ETL/ELT процессах.

О позиции

Вы присоединитесь к лидеру глобального рынка в области Big Data, Business Intelligence, Analytics и Artificial Intelligence. Мы работаем с крупнейшими компаниями IBEX-35 и международными клиентами, создавая решения высокой сложности с использованием передовых технологий. Ваш день будет посвящён проектированию end-to-end решений для обработки больших объёмов данных, от бизнес-проблем до оптимизированных пайплайнов ETL/ELT. Вы будете разрабатывать архитектуру Data Lakehouse и Data Mesh, экспериментировать с новыми технологиями и работать в кросс-функциональной команде с экспертами отрасли.

Будет плюсом

Опыт работы со streaming-технологиями (Kafka, Kinesis, Flink, Spark Structured Streaming)
Глубокие знания Data Mesh и распределённых архитектур
Опыт интеграции ML pipelines и MLOps (MLflow, SageMaker, Vertex AI, Kubeflow)
Навыки DevOps для данных, governance, quality и security
Сертификации по AWS/Azure/GCP

Условия

Стабильная позиция с профессиональным ростом
Гибкий формат работы: 100% удалённо или гибридно
Компенсация расходов на организацию рабочего места
Бюджет на обучение, официальные сертификации и конференции
Периодические обзоры результатов и пересмотр задач
Технологии и инфраструктура последнего поколения
Развитие через архитектуру, Tech Lead или доменные экспертизы
Инклюзивная культура команды и поддержка diversity & inclusion

Навыки

Apache Spark
Python
Scala
Apache Beam
Airflow
Databricks
Delta Lake
Apache Iceberg
AWS
Azure
Google Cloud Platform
Data Lakehouse
Data Mesh
ETL
ELT
Git
CI/CD
DataOps
Kafka
Snowflake
Data Warehouse
SQL

Сложность отбора

4 из 5

Сложная позиция требует глубокой экспертизы в распределённых системах, современных архитектурах данных и множестве технологических стеков

Оценка JobPath

Зарплата по рынку

400 000 – 700 000 ₽ в месяц

Оценка для Senior Big Data Engineer в Испании на основе рыночных данных для аналогичных позиций уровня 5-6 лет опыта

Оценка JobPath по рынку, не предложение работодателя

Могут спросить на собеседовании

Как бы вы спроектировали масштабируемый ETL-пайплайн для обработки миллиардов записей ежедневно?
Расскажите о вашем опыте работы с Apache Spark. Какие проблемы производительности решали и как?
Как вы обеспечиваете качество данных в пайплайнах? Приведите примеры инструментов и подходов.
Что вы знаете о Data Lakehouse архитектуре и в чём её преимущества перед традиционными подходами?
Как вы выбираете между разными форматами хранения данных (Parquet vs ORC vs Avro)?

Прорепетировать это собеседование

Голосовой ИИ-интервьюер задаст вопросы под эту вакансию и разберёт каждый ответ.

Начать бесплатно

Сохрани похожие вакансии

Новые вакансии с такой должностью будут собираться в кабинете.

Сохранить фильтр

Перед откликом

Попробовать бесплатно