Senior Automation QA (JavaScript) Engineer

О позиции

Вы присоединитесь к кросс-функциональной команде разработки, которая создаёт корпоративную платформу Agent Development Platform (ADP) коммерческого уровня. Это роль инженерного обеспечения качества для системы, где «ожидаемый вывод» — это статистическое утверждение, а не простое совпадение строк. Ваша автоматизация станет гарантией того, что контрактные обязательства по отсутствию потерь воркфлоу, строгой изоляции тенантов и graceful degradation при сбоях провайдеров выполняются каждый релиз.

Чем заниматься

• Разрабатывать, создавать и поддерживать автотесты для всей платформы: Frontend и Backend, включая contract tests при эволюции SDK для разработчиков агентов
• Создавать автотесты для долгосрочных Temporal-воркфлоу с инжинирингом сбоев (убийство воркера, падение провайдера, шторм ретраев) для проверки гарантий долговечного выполнения и корректности компенсации/саги
• Автоматизировать проверку многопользовательской изоляции: кросс-тенантный доступ к данным, утечка конфигурации, правильность атрибуции затрат — как платформенный критерий принятия каждого релиза
• Проверять песочницу выполнения агентов и control-доступ через негативное тестирование запрещённых вызовов инструментов и сетевых destinations
• Проектировать стратегии тестирования поведения LLM: статистические assertions (pass^k consistency), семантическое сравнение, валидация порогов уверенности, карантина flakiness

Что ждут

• 8+ лет автоматизированного тестирования с API-тестами и созданием фреймворков, которые принимают другие инженеры
• Опыт тестирования LLM-powered или других недетерминированных систем — статистические assertions, semantic scoring, управление модельной дисперсией
• Опыт тестирования асинхронных event-driven систем — failure injection, idempotency verification, eventual-consistency assertions; Temporal или подобный workflow engine — большой плюс
• Навыки интеграции CI/CD (GitHub Actions или аналог) и дисциплина по проектированию release gates
• Твёрдый SQL и навыки data validation; уверенность в создании синтетических пайплайнов test-data и измерении качества датасета
• Мышление security-testing и adversarial; знакомство с técnicas prompt-injection или сильный AppSec background с готовностью быстро специализироваться
• Демонстрированное суждение о том, что значит «достаточно протестировано» под давлением milestones, и способность защищать evidence quality перед non-engineering stakeholders
• Сильная proficiency в Playwright и TypeScript обязательна для построения автотестовых suites

Будет плюсом

• Инструменты Performance/load инструментации (k6, Locust) для проверки concurrency и latency NFRs
• Предварительное тестирование многопользовательской SaaS изоляции
• Опыт работы с eval/observability стеками (Langfuse, LangSmith, Promptfoo, DeepEval, Arize Phoenix)
• Опыт compliance evidence (SOC 2, GDPR) или accessibility testing (Section 508 / WCAG)
• Знакомство с Commercial Real Estate ворклоузами (lease accounting, CAM reconciliation) или document-extraction системами (OCR, layout parsing)
• Опыт использования LLM для генерации тестов, adversarial payloads или synthetic документов
• Опыт performance testing высококонкурентной background processing в agentic системах
• Опыт работы с qTest для тестового управления

Условия

• Работа над амбициозным проектом Enterprise-grade Agent Development Platform нового класса
• Возможность установить production-ready foundation для остальной программы
• Роль высокой видимости с прямым влиянием на клиентские milestone sign-offs
• Командная работа с AI-инженерами, platform engineers и evaluation team на этапе дизайна архитектуры
• Наставничество mid-level QA инженеров и кодификация AI-паттернов тестирования во внутренние фреймворки
• Участие в quality engineering practice и AI Academy компании Ciklum

Навыки

• Playwright
• TypeScript
• JavaScript
• API Testing
• Test Automation Frameworks
• CI/CD
• GitHub Actions
• SQL
• Temporal
• Performance Testing
• k6
• Locust
• OpenTelemetry
• Langfuse
• Data Validation
• Security Testing
• Adversarial Testing
• Prompt Injection
• LLM Testing
• Statistical Testing
• Semantic Scoring
• Contract Testing
• Synthetic Data Generation
• Sandbox Testing
• Multi-tenant Architecture

Могут спросить на собеседовании

1. Как вы подойдёте к тестированию LLM-driven поведения, когда expected output является вероятностным утверждением?
2. Опишите ваш опыт failure injection в distributed системах и какие метрики вы отслеживаете после сбоя
3. Как вы обеспечиваете воспроизводимость и доверие к evidence в автотестах для клиента с высокими требованиями к аудиту?
4. Какие подходы вы применяете для разделения реальной регрессии от model variance в AI-тестах?
5. Приведите пример architecture input от QA на раннем этапе дизайна системы для повышения testability