Data Analyst / Data quality engineer (won)

О позиции

Bigabid специализируется на создании машинного обучения и big data технологий для мобильных приложений, которые точно предсказывают предпочтения пользователей. Мы обрабатываем более 50 терабайт сырых данных в день, обрабатываем свыше 4 миллионов запросов в секунду и взаимодействуем с миллиардом уникальных пользователей еженедельно. Наша платформа демонстрирует исключительный рост с практически нулевым оттоком клиентов. В условиях гиперроста мы создаём возможности для специалистов разных уровней квалификации.

Чем заниматься

• Мониторинг и управление ежедневными процессами обработки данных, устранение серверных проблем, документирование инцидентов
• Владение метаданными: создание и поддержка хранилища метаданных таблиц, колонок, вычислений и lineage данных
• Разработка автоматизированных тестов качества данных на Python
• Выполнение ad-hoc конфигурационных изменений процессов
• Использование SQL для извлечения релевантных точек данных и калибровки процессов

Что ждут

• Опыт работы 3+ года как Data Analyst или Data Quality Engineer
• Уверенное владение SQL и NoSQL базами данных, дата-вархаусами (MySQL, Presto, Athena, SQL Server, Oracle)
• Навыки программирования на Python, опыт работы с PyTest, способность писать скрипты
• Бакалаврское образование в области компьютерных наук, математики, физики, инженерии, статистики или смежных технических направлений
• Опыт лидерства команды или менторства сотрудников

Будет плюсом

• Опыт работы в качестве инженера NOC или DevOps
• Опыт работы с данными на больших масштабах

Условия

• Работа в компании с высоким темпом роста и strong product-market fit
• Возможность работать с большими объёмами данных на уровне крупных интернет-компаний
• Прямое влияние на бизнес-результаты через обеспечение качества данных
• Сотрудничество со стейкхолдерами и участие в ключевых решениях по данным

Навыки

• SQL
• Python
• PyTest
• MySQL
• Presto
• Amazon Athena
• Oracle Database
• PostgreSQL
• NoSQL
• Data Quality Testing
• Metadata Management
• Data Observability
• Data Warehousing
• ETL
• Git

Могут спросить на собеседовании

1. Как вы обеспечиваете качество данных в ETL-процессах? Расскажите о вашем опыте построения тестов.
2. Опишите ситуацию, когда вы обнаружили критическую проблему с качеством данных. Как вы её выявили и что предприняли?
3. Какие подходы вы используете для управления метаданными и отслеживания lineage данных?