Data Engineer

О позиции

Компания Leidos работает над инновационными решениями для правительственных организаций. В рамках Homeland Sector вы будете участвовать в разработке программного обеспечения для DHS, создавая масштабируемую инфраструктуру для обработки операционных данных. Работа предполагает взаимодействие с аналитиками, разработчиками приложений и командами базы данных для обеспечения точности, доступности и безопасности данных.

Чем заниматься

• Проектирование логических и физических моделей данных для аналитических нагрузок
• Разработка структур данных для интеграции информации из разнородных источников
• Создание и поддержка процессов ETL/ELT и автоматизированных пайплайнов данных
• Очистка, нормализация, дедупликация и трансформация сырых данных
• Разработка curated datasets для BI, отчётности и визуализации
• Оптимизация сложных SQL-запросов и производительности аналитических workload-ов
• Документирование источников данных, трансформаций и business rules
• Реализация контроля доступа к чувствительным данным и compliance требований
• Разработка автотестов для проверок качества данных и pайплайнов
• Участие в CI/CD процессах и management изменений

Что ждут

• 3–5+ лет опыта в data engineering, development баз данных или смежных дисциплинах
• Опыт проектирования и реализации ETL/ELT процессов и пайплайнов данных
• Сильные навыки работы с реляционными базами данных и SQL
• Опыт интеграции данных из разнородных источников
• Опыт разработки аналитических моделей данных, хранилищ данных или аналогичных репозиториев
• Баклавиар в области Computer Science, Data Science, Information Systems или технической дисциплины
• Гражданство США и возможность получения clearance уровня Public Trust
• Знание REST APIs и системной интеграции
• Опыт работы с Git и системами контроля версий

Будет плюсом

• Опыт работы с Azure, AWS, Snowflake, Databricks
• Знания Apache Spark, Airflow, dbt, Kafka
• Опыт работы с Power BI или Tableau
• Знания Oracle, SQL Server или PostgreSQL
• Опыт автоматического тестирования и CI/CD практик

Условия

• Работа над значимыми проектами для государственного сектора
• Возможность профессионального роста в крупном технологическом концерне
• Команду diverse и talented сотрудников
• Стабильную занятость с возможностью долгосрочного развития
• Инновационную среду с современным tech stack

Навыки

• SQL
• Python
• ETL
• Data Modeling
• Data Warehousing
• Azure
• AWS
• Snowflake
• Databricks
• Apache Spark
• Apache Airflow
• dbt
• Kafka
• PostgreSQL
• Oracle
• Microsoft SQL Server
• REST API
• Git
• CI/CD
• Data Quality
• Data Governance

Могут спросить на собеседовании

1. Can you describe a complex data pipeline you designed? What were the challenges and how did you address them?
2. How do you ensure data quality and governance in your pipelines?
3. Describe your experience with cloud platforms like Azure or AWS. Which services have you used for data engineering?