Data Engineer

О позиции

Surgo Health строит слой поведенческой интеллектуализации для здравоохранения — раскрывает причины человеческого поведения и предсказывает действия для улучшения результатов пациентов. Команда создаёт платформу Derin на базе LLM, которая проводит собеседования через WhatsApp/SMS/веб/голос и превращает тысячи разговоров в структурированные данные для учёных и клиентов. Вы будете отвечать за весь конвейер данных: от ingestion в Databricks до serving layer в Postgres/Lakebase.

Чем заниматься

• Создание и поддержка batch и incremental pipelines на Databricks (Lakeflow Spark Declarative Pipelines, Jobs, Delta Lake)
• Управление платформой Databricks (ингестия данных интервью/опросов, аналитические таблицы, Unity Catalog)
• Миграция production data layer на Databricks Lakebase (managed Postgres), синхронизация таблиц, cutover
• Проектирование моделей survey и conversation данных в Delta Lake для downstream analytics продуктов
• Обеспечение наблюдаемости pipeline: проверки качества данных (Lakeflow expectations), тесты, lineage, мониторинг и алёрты
• Преобразование Jupyter notebook учёных в production-grade пайплайны
• Интеграция privacy и security в обработку чувствительных данных участников (Unity Catalog access controls, row filters, column masks) в SOC2/HIPAA среде
• Использование IaC (Terraform, Databricks Asset Bundles) и CI/CD для деплоя across environments
• Работа с AI-агентами (Claude Code, Cursor) для архитектуры, написания кода, ревью, debug и оптимизации

Что ждут

• 3+ года опыта в Data Engineering с продакшн пайплайнами на Python и SQL
• Практический опыт работы с Databricks (Spark, Delta Lake, Unity Catalog, Lakeflow или Jobs)
• Глубокие знания реляционных БД, особенно PostgreSQL (включая Databricks Lakebase): schema design, query optimization, replication/CDC
• Опыт работы с Microsoft Azure
• Опыт моделирования данных для аналитики и BI (dimensional formats, long/wide)
• Знание Infrastructure as Code и CI/CD
• AI-native подход: ежедневное использование agentic tools (Claude Code, Cursor) для архитектуры, кодинга, ревью, debug
• Высшее образование в Computer Science или смежной области
• Независимость, проактивность, ability deliver end-to-end без supervision
• Свободный английский (письменно и устно)

Будет плюсом

• Опыт сервиса данных для LLM-powered features (text-to-SQL, RAG, Databricks metric views, Genie или semantic layers)
• Опыт работы с survey, research или healthcare данными, или regulated data (HIPAA, GDPR/KVKK)
• Опыт мигации данных из legacy systems в Databricks lakehouse

Условия

• Коллаборативная среда с возможностью решать сложные задачи в healthcare
• Предпринимательская позиция с огромными возможностями роста
• Public Benefit Corporation с миссией impact и equity
• Конкурентная компенсация + annual performance bonuses + equity (при необходимости)
• Возможности professional development
• Удалённая работа с пересечением часов с US Eastern и UK

Навыки

• Python
• SQL
• Databricks
• Apache Spark
• Delta Lake
• Unity Catalog
• PostgreSQL
• Azure
• Terraform
• CI/CD
• ETL
• Data Modeling
• HIPAA Compliance
• Data Quality Testing
• Infrastructure as Code
• LLM/RAG

Могут спросить на собеседовании

1. Как вы проектировали и поддерживали batch и incremental pipelines на Databricks? Какие паттерны использовали?
2. Опишите ваш опыт работы с Unity Catalog и управления доступом к данным в регулируемой среде (HIPAA/GDPR).
3. Как вы обеспечивали качество данных в production pipeline? Какие инструменты testing и monitoring используете?
4. Как работаете с AI-агентами (Claude Code, Cursor)? Приведите примеры использования в архитектуре и написании кода.
5. Опишите опыт миграции data layer на Databricks Lakebase или работы с managed Postgres.