Senior Spark QA Engineer

О позиции

Компания InfraCloud предлагает позицию специалиста по качеству распределённых систем на базе Apache Spark. Вы будете отвечать за функциональное и нагрузочное тестирование ETL-пайплайнов, кластеров Spark и связанных компонентов. Работа включает настройку сред, бенчмаркинг, поиск узких мест и менторство команды. Полностью удалённый формат.

Будет плюсом

• Опыт работы с Hadoop экосистемой
• Знание инструментов профилирования Spark (Spark UI, spark-submit profiling)
• Опыт тестирования в облачных провайдерах (AWS, GCP, Azure)
• Дополнительные знания Scala
• Сертификации Apache Spark или cloud платформ

Условия

• Работа с современными распределёнными системами и Big Data стеком
• Удалённый формат работы
• Возможность расти технически и возглавлять QA направления
• Опыт работы в международном проекте

Навыки

• Apache Spark
• Kubernetes
• Python
• Java
• Performance Testing
• Functional Testing
• CI/CD
• Distributed Systems
• ETL Pipeline
• SQL

Могут спросить на собеседовании

1. Какие основные метрики вы отслеживаете при performance-тестировании Spark приложений?
2. Опишите типичные bottlenecks в Spark кластере и как вы их диагностируете?
3. Как строите тестовый фреймворк для автотеста Spark задач? Какие инструменты используете?
4. Чем отличается testing Standalone mode vs K8s для Spark? Что выбираете и почему?
5. Приведите пример сложной проблемы, которую нашли в production Spark pipeline, и как её решили.