Senior Data Engineer – Subject Matter Expert

О позиции

Позиция Senior Data Engineer SME фокусируется на проектировании и поддержке критически важных конвейеров обработки данных для Министерства ВВС США. Работа включает разработку ETL/ELT процессов, обеспечение качества данных и интеграцию с существующими финансовыми системами. Роль требует глубокого понимания инженерных практик и способности работать в условиях строгого регулирования и требований к информационной безопасности.

Чем заниматься

• Проектирование и разработка масштабируемых батч-инкрементальных конвейеров сбора и трансформации данных
• Реализация бизнес-правил и моделей данных согласно утверждённым спецификациям
• Разработка и оптимизация SQL/Python скриптов для работы с крупными финансовыми наборами данных
• Создание компонентов автоматического контроля качества данных и процессов оркестрации
• Обеспечение прослеживаемости и реконсиляции данных для аудиторских проверок FIAR
• Диагностика и устранение инцидентов производительности конвейеров данных
• Координация с аналитиками интерфейсов для валидации входных потоков данных
• Внедрение стандартов версии кода, тестирования и мониторинга инфраструктуры

Что ждут

• Опыт работы в data engineering не менее 5 лет
• Продвинутые навыки SQL и Python для разработки ETL/ELT процессов
• Опыт работы с системами оркестрации (Airflow, Databricks Workflows)
• Знание принципов построения data warehouse и моделирования данных
• Опыт реализации автоматических тестов качества данных
• Навыки работы с инструментами управления версиями (Git) и CI/CD
• Понимание требований к информационной безопасности государственных структур

Будет плюсом

• Опыт работы с платформой War Data Platform или аналогичными государственными решениями
• Знание регуляторных требований FIAR и аудит-отчётности
• Сертификаты по облачным технологиям (AWS/Azure/GCP)
• Опыт внедрения distributed computing систем (Apache Spark)
• Финансовая или бухгалтерская экспертиза в контексте data engineering

Условия

• Конкурентоспособная зарплата в диапазоне рыночной оценки
• Расширенный пакет страхования (медицинское, dental, vision, life)
• 401(k) пенсионное планирование с корпоративным взносом
• Гибкий график и удалённая работа при согласовании
• Карьерные возможности и техническое наставничество
• Доступ к сертификационным программам и обучению

Навыки

• SQL
• Python
• ETL/ELT
• Apache Spark
• Databricks
• Airflow
• Data Modeling
• CI/CD
• Git
• Data Quality Testing
• Cloud Computing
• Financial Data Processing