Senior Data Engineer

О позиции

Компания Merkle Science предоставляет решения для мониторинга транзакций в блокчейне и анализ данных Web3 для криптобирж, финансовых институтов и правоохранительных органов. Штаб-квартира находится в Нью-Йорке, офисы — в Сингапуре, Бангалоре и Лондоне. В команде работают выпускники Bank of America, PayPal, Amazon и других ведущих компаний. Мы развиваем инфраструктуру для безопасного и соответствующего регуляторным требованиям роста криптовалютной индустрии.

Чем заниматься

• Проектировать и строить масштабируемые высокоскоростные данные пайплайны для данных блокчейна across 30+ цепей
• Разрабатывать бэкенд-сервисы загрузки на Go и Python
• Спроектировать и настроить модели данных и аналитические нагрузки в ClickHouse для запросов под секунду
• Строить инкрементальные идемпотентные пайплайны на Databricks с миллиардами строк
• Улучшать масштаб, надежность, актуальность, производительность и эффективность затрат платформы
• Исследовать сложные проблемы производительности и надежности до полного разрешения
• Работать тесно с продуктовыми, аналитическими командами и трансформировать их потребности в дизайн платформы
• Помогать определять техническое направление через архитектурные обсуждения, дизайн-ревью и код-ревью
• Наставлять инженеров и устанавливать сильные инженерные и операционные практики

Что ждут

• 5+ лет построения и эксплуатации продакшен систем данных, включая ETL и ELT пайплайны
• Как минимум 2 года владения системами, от которых зависят другие инженеры
• Экспертный уровень Python и сильный SQL
• Написание типизированного, протестированного кода, опыт работы с asyncio и concurrency
• Опыт разработки инкрементальных моделей данных на миллиардах строк
• Продвинутый Go для backend-сервисов и дата-лоадеров
• Production опыт с ClickHouse: MergeTree schema, sort-key design, materialised views, bulk loads и query tuning
• Опыт работы с Databricks, PySpark, Delta Lake и Unity Catalog
• Практический опыт с пайплайнами миллиарды строк и терабайты данных, понимание партиционирования и кластеризации
• Kafka, Airflow и Kubernetes в production, опыт с Docker и Helm
• Google Cloud предпочтительно, AWS приемлем
• Методология operations и коммуникации: instrumenting code, runbooks, post-incident reviews, дизайн-документы

Будет плюсом

• Опыт работы с данными блокчейна: EVM, UTXO или non-EVM модели цепей, получение данных из нод через JSON-RPC или gRPC
• Гrafoвые или распределённые key-value хранилища: entity resolution или clustering на больших графах
• Infrastructure as code, GitOps и observability: Terraform, Helm, ArgoCD, OpenTelemetry, Prometheus, Grafana, load-test design
• Опыт построения платформ, обслуживающих несколько источников данных и продуктовых команд
• AI-assisted development и опыт в fintech, compliance или AML

Условия

• Конкурентоспособная компенсация и щедрый пакет equity
• Отличное медицинское страхование
• Гибкий отпуск
• Инициативы по обучению и развитию
• Часы работы с балансом work/life
• Регулярные team-building мероприятия
• Поддержка обсуждений ментального здоровья
• Возможности быстрого карьерного роста в быстро растущем бизнесе
• Использование AI coding tools в повседневной работе

Навыки

• Python
• Go
• SQL
• ClickHouse
• Databricks
• PySpark
• Delta Lake
• Unity Catalog
• Apache Kafka
• Apache Airflow
• Kubernetes
• Docker
• Helm
• Google Cloud Platform
• Amazon Web Services
• Git
• Terraform
• Prometheus
• Grafana
• OpenTelemetry
• ArgoCD

Могут спросить на собеседовании

1. Расскажите о вашем опыте работы с ClickHouse в продакшене. Как вы оптимизировали запросы?
2. Как вы обеспечивали идемпотентность пайплайнов при обработке миллионов событий?
3. Опишите задачу с настройкой производительности, которую вы решили. Что измерили и как улучшили?
4. Как вы строите архитектуру данных для разных команд или продуктов? Какие паттерны используете?
5. Расскажите об инциденте в production и о том, как вы его разрешили и что улучшили afterwards.