Data Science ML/Gen AI Engineer (Mid-Level)- Orbit

О позиции

Irth Solutions — ведущий провайдер облачного SaaS-решения для предотвращения повреждений инфраструктуры, обеспечения целостности активов и управления земельными данными для энергетических, телекоммуникационных и инфраструктурных компаний. Компания работает на рынке почти три десятилетия, обслуживая клиентов в Северной Америке и постоянно развивает платформу с использованием данных и ИИ. Мы строим унифицированную управляемую Databricks Lakehouse для поддержки кросс-продуктовых аналитических возможностей и клиентских продуктов. В команду Insights (AI/ML) мы добавляем практикующего ML/GenAI инженера, который будет работать по всему циклу данных и машинного обучения — от создания надёжной фундаментальной базы до быстрой прототипизации и вывода ML/GenAI решений в продакшн.

Чем заниматься

• Построение и укрепление основ Lakehouse с использованием архитектуры medallion (Bronze → Silver → Gold) на платформе Databricks
• Реализация проверок качества данных, валидационных гейтов и контрактов данных на этапе ingestion
• Поддержка column-level lineage и инициатив governance с целью достижения ≥95% покрытия lineage
• Внедрение policy-as-code для regional data residency и обработки чувствительных данных
• Маскирование PII, обфускация и контроль доступа на слоях Silver и Gold
• Прототипирование, оценка и productionization ML и GenAI решений
• Разработка use cases: forecasting, anomaly detection, NLP, RAG, LLM-powered assistants/copilots, predictive analytics
• Упаковка и управление моделями через Unity Catalog model management/registries
• Дизайн и реализация batch и streaming inference архитектур
• Создание production workloads как infrastructure/assets-as-code с помощью Databricks Asset Bundles (DABs)
• Настройка CI/CD пайплайнов через GitHub Actions с DEV → QA → PROD promotion
• Обеспечение operational SLOs: pipeline success rate ≥99.5%, MTD ≤5 минут, MTTR ≤60 минут
• Применение FinOps принципов: resource tagging, workload policies, optimization, cost monitoring
• Внесение бизнес-метрик и семантических моделей в Unity Catalog для единого источника истины
• Поддержка потребления через Power BI и Databricks AI/BI
• Реализация security architectures с RBAC и ABAC в Unity Catalog
• Управление credentials и secrets через Azure Key Vault или KMS
• Обеспечение compliance с frameworks: SOC 2, ISO 27001, GDPR, PIPEDA

Что ждут

• 3–6 лет опыта в Data Science, Machine Learning или ML Engineering с доказанным track record вывода моделей в production
• Сильные programming и data навыки в Python, SQL, Spark/PySpark
• Практический опыт с Databricks: Delta Lake, Unity Catalog, Databricks SQL, Jobs and Workflows, Medallion architecture
• Глубокое понимание ML fundamentals: feature engineering, model training/selection/evaluation/validation, model monitoring, data-quality monitoring, drift detection
• Практический опыт GenAI/LLM: prompt engineering, RAG, vector databases/vector stores, LLM evaluation, AI safety/guardrails, latency/scalability/cost tradeoffs
• Опыт реализации CI/CD для data и ML workloads: GitHub Actions, Databricks Asset Bundles, secrets и configuration management
• Знание data contracts и data-quality frameworks: schema governance, automated testing, validation, quarantine/error-handling workflows
• Понимание data security и compliance: PII handling/protection, RBAC/ABAC, data residency, policy-as-code
• Навыки технической документации: Architecture Decision Records (ADRs), runbooks, experiment reports, operational documentation
• Сильные communication и collaboration skills для работы с Product, Engineering, Data и domain командами

Будет плюсом

• Опыт с Microsoft Azure: ADLS, Microsoft Entra ID, Azure Key Vault, Microsoft Fabric, Power BI
• Опыт с AWS: Amazon S3, AWS KMS, AWS Secrets Manager, Amazon RDS, DynamoDB
• Опыт работы с geospatial data и аналитикой: PostGIS, spatial joins, spatial indexing, tiling, GIS-based feature engineering
• Опыт со streaming и real-time данными: Structured Streaming, Change Data Capture (CDC)
• Практический опыт с MLflow и Unity Catalog Model Serving

Условия

• Работа с современными ML/GenAI технологиями и Databricks Lakehouse архитектурами
• Удалённый формат работы из Индии
• Возможность влиять на создание ключевых customer-facing продуктов для международных клиентов
• Тесное cross-functional взаимодействие с data, platform, product и domain командами
• Возможность выводить собственные эксперименты и исследования в production
• Фокус на production reliability, business outcomes и measurable impact
• Корпоративная культура с акцентом на governance, security и best practices
• Конкурентная компенсация и benefits

Навыки

• Python
• SQL
• PySpark
• Databricks
• Delta Lake
• Unity Catalog
• Machine Learning
• GenAI
• Large Language Models
• RAG
• Vector Database
• Prompt Engineering
• MLOps
• CI/CD
• GitHub Actions
• Databricks Asset Bundles
• Azure
• AWS
• Data Governance
• Data Quality
• Data Security
• RBAC
• ABAC
• FinOps
• Power BI
• PostGIS

Могут спросить на собеседовании

1. Расскажите о вашем опыте внедрения медальонной архитектуры в Databricks. Как вы обеспечивали data quality и lineage на каждом слое?
2. Опишите кейс, где вы внедрили GenAI/RAG решение в production. Какие были challenges и как вы их решали?
3. Как вы подходите к design ML inference pipelines для обеспечения low-latency и high-scale? Какие trade-offs учитываете?
4. Какие metrics и approach используете для ML monitoring и drift detection? Приведите пример обнаружения и реагирования на drift.
5. Опишите ваш опыт работы с data governance и compliance (PII protection, RBAC/ABAC, audit readiness). С какими регуляциями работали?