Senior Systems Software Engineer - HPC and AI Storage

О позиции

Вы joinsите команду Applied Systems Engineering NVIDIA и будете развивать решения для хранения данных в системах искусственного интеллекта. Работа предполагает разработку программного обеспечения, практические эксперименты и интеграцию систем для совершенствования хранилищ на платформах следующего поколения. Вы будете проводить технический анализ, преобразовывать данные о рабочих нагрузках в инженерные улучшения и руководить внедрением политик хранения. Роль поддерживает эффективность и надёжность инфраструктуры на уровне дата-центра.

Чем заниматься

• Проектирование и интеграция систем хранения для крупномасштабных HPC и AI-кластеров, включая Lustre, NFS и их взаимодействие с вычислительными узлами, сетями и оборудованием хранения
• Анализ производительности и надёжности в стеке I/O, наблюдение за поведением приложений через файловые клиенты, пути ядра Linux, сетевые протоколы, серверы и устройства хранения
• Разработка исправлений программного обеспечения и улучшений производительности совместно с командами NVIDIA, партнёрами по хранению и поддержателями open-source проектов
• Характеризация реального I/O приложений, включая доступ к тренировочным данным, чекпоинты и перезапуски, операции с метаданными и конкурентные рабочие нагрузки
• Создание воспроизводимых бенчмарков, диагностических инструментов и регрессионных тестов для оценки эффективности, латентности, производительности метаданных и масштабируемости
• Руководство квалификацией и вводом в эксплуатацию хранилищ, проверка функциональности, целостности данных, восстановления при сбоях и стабильной производительности на уровне кластера
• Определение и реализация политик размещения данных, кеширования и жизненного цикла на основе требований рабочих нагрузок и операционных данных

Что ждут

• Глубокий инженерный опыт работы с Lustre, NFS или аналогичными распределёнными системами хранения, включая отладку на уровне реализации и интеграцию хранилищ в Linux-кластеры
• Сильные навыки программирования на C и отладки Linux, опыт чтения, модификации и диагностикиkernel- или user-space ПО хранения
• Понимание поведения файловых систем и распределённых систем, включая операции с метаданными, кеширование, согласованность, блокировки, конкуренцию, коммуникацию клиент/сервер и восстановление
• Опыт анализа паттернов доступа приложений и настройки поведения файловой системы или стека хранения для повышения производительности
• Способность решать сложные проблемы производительности или корректности от начальных симптомов через воспроизведение, поиск корневой причины, реализацию и валидацию
• Владение Python и shell-скриптами для создания поддерживаемых диагностических, автоматизированных тестов и аналитических инструментов
• Способность независимо возглавлять технические усилия, влиять на архитектурные решения и ясно коммуницировать выводы и компромиссы
• BS или MS в Computer Science, Engineering, Mathematics, Physics или равное практическое образование, плюс 12+ лет релевантного опыта

Будет плюсом

• Вклад в проекты Lustre, файловые системы Linux, реализации NFS или другие хранильные проекты — функции, улучшения производительности, исправления багов или технические обзоры
• Экспертиза в metadata и client I/O Lustre, Linux VFS и page cache, протоколе NFS и внутренней архитектуре клиента/сервера, или распределённой блокировке и восстановлении
• Опыт управления иерархическим хранением, policy-движками или миграцией между файловыми системами и object storage, включая recall данных и восстановление прерванных передач
• Опыт работы с RDMA storage transports, GPUDirect Storage, или оптимизацией загрузки данных и чекпоинтов для GPU-рабочих нагрузок
• Опыт безопасности хранения и многопользовательских сред, включая аутентификацию, маппинг идентификаторов, права доступа и шифрование

Условия

• Работа в компании NVIDIA — мировом лидере в ускоренных вычислениях и искусственном интеллекте
• Возможность работать над задачами уровня datacenter scale с влиянием на технологии, определяющие будущее вычислений
• Международная локация: Франция, Германия или Польша с конкурентной компенсацией
• Работа с передовым аппаратным и программным обеспечением, включая GPU-технологии и AI-платформы
• Возможность вклада в open-source проекты и взаимодействия с сообществом разработчиков
• Поддерживающая diverse среда, где каждый вдохновлён делать лучшую работу

Навыки

• C
• Python
• Linux Kernel
• Filesystem Development
• Distributed Systems
• Lustre
• NFS
• Performance Tuning
• Debugging
• HPC
• GPUDirect Storage
• RDMA
• Shell Scripting
• Git