Senior Data Engineer (Agentic Development focus) (M/F)

О позиции

Мы предлагаем работу над масштабным проектом по улучшению и развитию моделей данных, ETL-пайплайнов и сервисов для многонационального клиента в финансовом секторе. Проект использует новую рамку агентной разработки, где ИИ-агенты обрабатывают цикл разработки. Мы ценим стремление к обучению и вкладу в успех проекта больше, чем ваш точный опыт. Вы сможете получить поддержку в освоении ключевых областей для финансового сектора.

Чем заниматься

• Проектировать, внедрять и поддерживать пайплайны данных с использованием ИИ-агентов для генерации кода; Разрабатывать алгоритмы преобразования данных в полезную информацию; Анализировать данные для выявления проблем и определения логики сложных функций и скриптов; Руководить и проверять решения, сгенерированные ИИ, чтобы они следовали стандартам простоты, производительности и сопровождаемости; Контролировать моделирование данных и качество данных, выступая экспертом за системой ИИ; Исследовать новые источники данных и интегрировать их в продукты; Работать с процессами CI/CD для данных, тестированием и мониторингом; Создавать прототипы и документацию по ключевым аспектам работы.

Что ждут

• Бакалавр, магистр или PhD по математике, статистике, физике, инженерии или другим количественным направлениям; Сильный практический опыт работы с dbt и SQL (основной стек трансформации данных на Databricks); Опыт или интерес к AI-driven/агентной разработке, комфорт при направлении и проверке кода, сгенерированного ИИ; Способность создавать и участвовать в эффективной агентной фреймворк-системе; Доказанный опыт программирования на Python (PySpark будет плюсом); Бэкграунд в разработке ПО с знанием паттернов проектирования и модульного тестирования достаточным для проверки кода ИИ; Опыт работы с процессами CI/CD для данных, тестированием и мониторингом

Будет плюсом

• Опыт работы в agile-проектах с инструментами (Jira, Confluence); Опыт в страховании/перестраховании или финансовой отрасли; Непрерывное обучение через курсы, воркшопы и конференции.

Условия

• Конкурентная зарплата и потенциальный бонус (зависит от результатов компании и сотрудника); Удаленная работа с гибкостью и балансом между работой и личной жизнью; Доступ к курсам, воркшопам и конференциям для непрерывного обучения; Медицинское страхование; Наставничество и ценные отзывы для профессионального роста; Командообразующие мероприятия; Агрессивная и динамичная среда.

Навыки

• Python
• SQL
• dbt
• PySpark
• Databricks
• CI/CD
• Data Modeling
• Data Architecture
• Cloud Infrastructure
• Unit Testing
• Design Patterns
• Jira
• Confluence

Могут спросить на собеседовании

1. Как вы подходите к валидации кода, сгенерированного ИИ-агентами?
2. Расскажите о вашем опыте работы с dbt и SQL на платформе Databricks
3. Какие метрики качества данных вы используете и как обеспечиваете их контроль?
4. Опишите ваш опыт интеграции новых источников данных в существующие продуктовые системы
5. Как вы организуете CI/CD процессы для данных, включая тестирование и мониторинг?