Expert RAG Engineer

О позиции

Вы будете ключевым архитектором RAG-систем компании, отвечая за весь цикл — от загрузки документов до получения обоснованных ответов. Роль предполагает техническое лидерство: вы зададите стандарты архитектуры, примете критические решения по качеству поиска и производительности, а также наставничаете команду разработчиков ИИ. Работа ведётся с клиентами и продуктовой командой для внедрения надёжных и безопасных AI-функций в различных условиях развёртывания.

Чем заниматься

• Проектировать и курировать end-to-end RAG-архитектуры от ingestion до grounded responses с цитированием
• Разрабатывать продвинутые стратегии поиска: гибридный поиск (dense + BM25), reranking (cross-encoders), переформулирование запросов, фильтрация по метаданным, multi-step/agentic retrieval
• Определять стратегии чанкинга и индексирования для структурированных и неструктурированных данных (XML/XSD, Office, PDF, сканы)
• Подбирать, бенчмарчить и дорабатывать embedding-модели; управлять векторными БД (pgvector, Qdrant, Weaviate, Milvus) в масштабе
• Строить фреймворки оценки качества поиска и генерации (recall@k, MRR, nDCG, faithfulness) и интегрировать в CI/CD
• Снижать галлюцинации через grounding, цитирование, guardrails и обработку confidence
• Реализовать permission-aware и multi-tenant retrieval для безопасного доступа к данным
• Разрабатывать MCP (Model Context Protocol) интеграции для экспорта данных и систем RAG в LLM и агенты
• Оптимизировать serving LLM через Ollama и llama.cpp: квантование (GGUF), GPU/CUDA tuning, batching, caching, offline deployments
• Задавать архитектурные стандарты и best practices для ИИ-департамента
• Пересматривать дизайн и код, предоставлять техническое руководство разработчикам ИИ
• Транслировать требования клиентов и продукта в стратегии с целями по качеству, latency и cost
• Оценивать новые техники (GraphRAG, long-context vs retrieval trade-offs, agentic RAG) и рекомендовать к внедрению
• Развертывать и масштабировать RAG-сервисы на Azure и AWS с использованием Docker и Kubernetes
• Поддерживать CI/CD пайплайны (Azure DevOps, GitHub Actions, GitLab CI)
• Строить observability: tracing, diagnostics, dashboards по latency, cost и качеству
• Настраивать event-driven ingestion и re-indexing с Apache Kafka
• Отлаживать проблемы across stack до root cause

Что ждут

• 6+ лет в backend, ML или инфраструктуре
• 2+ года коммерческого опыта построения production RAG-систем
• Экспертный уровень Python
• Глубокие знания работы с embedding-моделями и векторными базами данных
• Hands-on опыт serving и оптимизации open-source LLM (Ollama, llama.cpp), квантование
• Навыки GPU/CUDA troubleshooting и performance tuning
• Профицентность в Microsoft Azure и AWS
• Сильные знания Docker, Kubernetes, Linux, CI/CD pipelines (Azure DevOps preferred)
• Понимание Model Context Protocol (MCP)
• Прочные навыки коммуникации и технического лидерства
• Опыт работы в distributed remote environment

Будет плюсом

• Опыт работы с GraphRAG
• Знание evaluation метрик (MRR, nDCG, recall@k, faithfulness, answer relevance)
• Опыт работы с GPT, Claude, Mixtral или другими enterprise LLM
• Опыт настройки Apache Kafka для событийной обработки
• Знание Azure AI Search
• Опыт работы с JSONL, CSV и другими форматами данных

Условия

• Роль экспертного уровня с технической ответственностью за архитектуру RAG
• Возможность влиять на продуктовое направление ИИ компании
• Работа с современными open-source LLM и передовыми методологиями
• Техническое лидерство и менторство разработчиков ИИ
• Удалённая работа в распределённой команде
• Прозрачные KPI по качеству, latency и cost решений

Навыки

• Python
• Machine Learning
• Deep Learning
• Natural Language Processing
• Vector Databases
• Open Source LLM
• Ollama
• llama.cpp
• PyTorch
• TensorFlow
• Hugging Face Transformers
• Apache Kafka
• Docker
• Kubernetes
• Microservices
• Cloud Computing
• DevOps
• System Design
• REST APIs
• SQL
• NoSQL
• Bash
• Git
• CI/CD
• Distributed Systems
• Performance Optimization
• Quantization
• GPU Programming
• CUDA
• Linux
• Infrastructure as Code
• Monitoring
• API Design
• Information Retrieval
• Knowledge Graph
• Evaluation Metrics

Могут спросить на собеседовании

1. Расскажите о вашем наиболее сложном кейсе построения RAG-системы: какие метрики были ключевыми и как вы достигали их баланса?
2. Как вы выбираете между различными стратегиями chunking для разных типов источников (PDF, XML, структурированные данные)?
3. Приведите пример, где вы оптимизировали serving open-source LLM с помощью квантования: какой результат получили?
4. Как вы организуете evaluation framework для RAG: какие метрики используете и как интегрируете в CI/CD?
5. Опишите архитектуру, которую вы спроектировали для multi-tenant RAG с permission-aware доступом.