Senior Data Engineer

О позиции

Компания 73 Strings разрабатывает AI-ориентированную платформу для автоматизации процессов извлечения, мониторинга и оценки данных в сфере альтернативных инвестиций. Платформа работает со сложными данными private equity, venture capital, infrastructure funds и других стратегий. В команду входит инженер высокого уровня для пересмотра архитектуры платформы в области ingestion, processing и delivery.

Чем заниматься

• Перепроектировать архитектуру платформы для стабильности, безопасности и скорости обработки
• Строить и поддерживать пакетные и стриминговые пайплайны из БД, API, event streams и semi-structured источников
• Реализовывать change data capture и incremental load с учётом ordering, deletes, replay и slowly changing dimensions
• Создавать medallion datasets и dimensional models для Snowflake, Microsoft SQL Server и Databricks
• Применять data contracts, reconciliation и row-level quarantine перед публикацией данных
• Управлять GitHub workflow и CI/CD включая тесты, review, promotion окружений и deployment as code
• Расследовать production data failures и переводить требования продукта/клиентов в работающие пайплайны

Что ждут

• Опыт работы в data engineering на production системах более 10 лет
• Snowflake или Databricks как основная платформа (моделирование, performance tuning, cost management)
• Python и SQL для разработки и тестирования пайплайнов
• Change data capture и event processing (ordering, replay, schema change)
• Azure (Databricks, ADLS, private network connectivity)
• GitHub и CI/CD для data workloads (GitHub Actions или аналог)
• Data quality, reconciliation, monitoring и production incident response
• Опыт построения multi-tenant безопасных data платформ с tenant isolation и access control

Будет плюсом

• Databricks Lakeflow, Auto CDC, Declarative Automation Bundles, DQX или аналоги в Snowflake (Dynamic Tables, Streams, Tasks, Snowpark, Snowflake CLI, Data Metric Functions)
• Debezium, Kafka Connect или Confluent Kafka
• Apache Airflow или аналогичный workflow orchestrator
• Kafka или Spark Structured Streaming, Apache Iceberg, Delta Sharing, dbt
• Опыт работы с приватными рынками: valuations, funds, portfolio companies
• Готовность работать напрямую с техническими командами клиентов и collaborate across stakeholders

Условия

• Работа в международном финтех-проекте с инвестициями Goldman Sachs, Fidelity, Blackstone и др.
• Возможность строить архитектуру с нуля для сложных enterprise задач
• Работа с modern tech stack: Azure Databricks, Snowflake, Python, SQL, Kubernetes-like orchestration
• Международная команда и клиенты из global private capital industry
• Позиция полного ownership над production pipelines от source capture до client delivery

Навыки

• Snowflake
• Databricks
• Python
• SQL
• Azure
• ADLS
• CI/CD
• GitHub Actions
• Change Data Capture
• CDC
• Event Processing
• ETL
• Data Modeling
• Data Quality
• Reconciliation
• Multi-tenancy
• Infrastructure Security
• Kafka
• Airflow
• Spark
• Iceberg
• Delta Sharing
• dbt

Могут спросить на собеседовании

1. Как вы проектировали change data capture для высоконагруженных production систем?
2. Расскажите о вашем подходе к performance tuning больших датасетов в Snowflake/Databricks
3. Как вы обеспечивали data quality и governance в многофакторных пайплайнах?
4. Опишите ваш опыт внедрения CI/CD для data workloads на GitHub
5. Как вы решали проблемы изоляции data между мульти-tenant клиентами?