Data Integration Engineer

О позиции

Компания D.A. Davidson — независимая компания со структурой собственности сотрудников, работающая на рынке уже 90 лет. Мы уделяем особое внимание этике, честности и высокому уровню сервиса как для клиентов, так и для коллег. В нашей культуре ценится открытое общение и взаимная поддержка. Мы активно участвуем в укреплении местных сообществ и видим благотворительность одной из ключевых ценностей. Эта роль подходит специалистам, заинтересованным в работе с данными в финансовом секторе и желании участвовать в значимых enterprise-проектах.

Чем заниматься

• Разработка, тестирование, развертывание и поддержка ETL/ELT процессов и решений по интеграции данных. Построение и сопровождение конвейеров данных, которые получают информацию из внутренних приложений, API и сторонних финансовых систем. Разработка повторно используемых фреймворков и паттернов интеграции для улучшения масштабируемости и поддерживаемости. Поддержка пакетной обработки, потоковой обработки почти в реальном времени и архитектур данных на основе событий. Поиск и устранение проблем производительности и надежности потоков данных. Реализация мер контроля точности, полноты и согласованности данных. Поддержка инициатив по управлению линеей данных, метаданными и gobernance данных. Участие в проверках данных для регуляторных и аудиторских целей. Мониторинг производственных рабочих процессов и реагирование на операционные проблемы. Оптимизация SQL-запросов, jobs интеграции и конвейеров данных. Работа с бизнес-пользователями для сбора и интерпретации требований к данным. Сотрудничество с архитекторами данных и старшими инженерами над enterprise-инициативами.

Что ждут

• Опыт работы 3–5 лет в Data Engineering, Data Integration или ETL разработке. Опыт работы в финансовой сфере, банкинге, управлении капиталом, брокеридже или других регулируемых отраслях. Опыт поддержки production-сред интеграции данных. Знание облачных технологий Microsoft в гибридной архитектуре. Опыт работы с облачными сервисами (Microsoft Azure, AWS). Продвинутое знание TSQL и работа с реляционными базами данных. Опыт разработки хранимых процедур и сквозных конвейеров данных. Опыт работы с платформами ETL/ELT: SSIS, Azure Data Factory, Microsoft Fabric Pipelines. Опыт работы с API и файловыми интеграциями. Опыт работы с Microsoft SQL Server и другими реляционными СУБД. Знание скриптовых языков Python, PowerShell. Опыт работы с системами оркестрации ActiveBatch или аналогами. Знакомство с Git, CI/CD, DevOps и практиками DataOps. Понимание принципов dimension modeling, data warehousing и governance данных. Ознакомленность с Agile-методологиями.

Будет плюсом

• Сертификаты MCSE/MCSA. Опыте работы с vendors и third-party data integrations. Навыки работы с Lakehouse/Warehouse концепциями и Medalion architecture в Microsoft Fabric. Опыт автоматизации тестирования, непрерывной интеграции и развертывания. Знание стандартов безопасности баз данных, резервного копирования и мониторинга производительности. Опыт работы в регулируемых отраслях с учетом информационной чувствительности данных.

Условия

• Конкурентоспособная зарплата плюс отличные бенефиты. Медицинское, стоматологическое и оптическое страхование. Корпоративный план 401(k) и взносы ESOP. Щедрые оплачиваемые больничные, отпуск и декретный/родительский отпуск. Оплачиваемые праздники. Возможности профессионального развития. Компенсация обучения (lifetime cap $15,000). Скидки на личное страхование включая дом, авто и транспорт для отдыха. Программа корпоративных благотворительных взносов. Davidson Day of Giving — традиция позитивного влияния на сообщества. Культура дружественной, открытой и поддерживающей среды. Возможность роста в компании с 90-летней историей.

Навыки

• T-SQL
• Microsoft SQL Server
• SSIS
• Azure Data Factory
• Python
• PowerShell
• ActiveBatch
• Microsoft Fabric
• ETL
• ELT
• API Integration
• Git
• CI/CD
• DevOps
• DataOps
• Dimensional Modeling
• Data Warehousing
• Azure
• AWS

Могут спросить на собеседовании

1. Расскажите о вашем опыте разработки ETL/ELT процессов для enterprise-систем. Какие инструменты вы использовали и какие вызовы возникали?
2. Как вы обеспечиваете качество данных и соответствие регуляторным требованиям при интеграции данных из различных источников?
3. Опишите ситуацию, когда вам пришлось оптимизировать производительность SQL-запросов или конвейера данных. Какие шаги вы предприняли?
4. Какой ваш опыт работы с orchestration tools для управления workflow интеграции? Как вы справляетесь с ошибками выполнения?
5. Как вы применяете практики DataOps и CI/CD в процессах разработки и развертывания интеграционных решений?