Senior AI Research Engineer - GPU Systems & Kernels

О позиции

В Frontier Foundations вы будете партнёром Research Scientists в создании максимально быстрого и эффективного обучения моделей. Ваша работа — на самом низком уровне стека: написание и тюнинг GPU kernels, устранение memory и communication bottlenecks для крупных Mixture-of-Experts моделей на новых GPU. Вы создаёте высокопроизводительную инфраструктуру, которая позволяет тренировать и обслуживать LLM в масштабе.

Будет плюсом

• Опыт с Mixture-of-Experts моделями, expert parallelism, sparse model inference
• Знакомство с GPU communication libraries (NCCL, NVSHMEM), compute/communication overlap
• Опыт работы с Triton, CUTLASS или аналогичными kernel frameworks
• Знание distributed training frameworks (Megatron-LM, TorchTitan, DeepSpeed)
• Опыт создания GPU-intensive систем в graphics, rendering, simulation или scientific computing
• Вклад в open-source ML или systems infrastructure проекты

Условия

• Работа с передовыми технологиями AI и GPU инфраструктуры
• Высокопроизводительная инфраструктура для LLM training и serving в масштабе
• Вклад в решение high-risk, high-reward задач в cloud observability и security
• Карьерный рост и развитие в области AI/ML research
• Возможности участия в open-source проектах
• Гибридный формат работы #LI-Hybrid

Навыки

• CUDA
• Triton
• C++
• Python
• Rust
• GPU Programming
• Distributed Computing
• Performance Profiling
• Debugging
• Performance Optimization
• Machine Learning Infrastructure
• LLM Training
• Tensor Cores
• Low Precision Computing
• NCCL
• RDMA
• Memory Hierarchy
• Compute-Communication Overlap
• PyTorch
• Linux
• Inference Optimization

Могут спросить на собеседовании

1. Как бы вы оптимизировали pattern доступа к памяти в GPU kernel для ускорения операции матричного умножения?
2. Опишите ваш подход к профилированию bottleneck в distributed LLM training задаче: как различить compute vs memory vs communication bound?
3. Как бы вы реализовали overlap коммуникаций с вычислениями при передаче данных между узлами в GPU кластере?
4. Какие trade-offs существуют при выборе между использованием FP16 и FP8 для training модели?
5. Как бы вы спроектировали benchmarking tool для сравнения производительности различных реализаций одной GPU операции?