Резюме · beltsov.ru

Роман БельцовQA Lead / Head of QA

15 лет в тестировании, 4 года руководил командами — до 15 человек в Kaspersky. ИБ, финтех, встраиваемые системы; сертификация ФСТЭК. С 2025 внедряю LLM в QA: RAG по документации, AI-агенты, оценка качества LLM. Выпустил своё Android-приложение с локальной LLM.

Ключевые достижения

  • KasperskyРуководитель группы до 15 человек · 2023–2026
    • AI-тест-дизайн с RAG: 4 ч → 25 мин на кейс
    • 100% API под автотестами: месяц вместо года
    • Две сертификации ФСТЭК: с первого раза и в срок
    • Smoke-цикл: 1 месяц → 2–5 дней
  • «Я слышу: наедине с собой»Android-приложение с локальной LLM · 2026
    • Ответ LLM: 24–28 с → 1,5–2,6 с
    • Оценка LLM: LLM-as-a-Judge, DeepEval
    • Guardrails в коде
    • AI-агенты: 207 требований, ~1000 автотестов
  • VK PayЭквайринг · 2020–2023
    • Стабильность тестов: 10% → 97%
    • e2e в 6 раз быстрее
    • Эквайринг ×6 к 11.11
  • LuxoftПочта России · 2017–2020
    • Релиз за 30 минут
    • CI/CD и нагрузка (Яндекс.Танк)
    • Сервис на 130 000 пользователей
  • OracleOracle Primavera · 2016–2017
    • Фреймворк автоматизации: −30% ручного тестирования
    • Наставник 3 инженеров

Опыт работы

  1. Собственный проект «Я слышу: наедине с собой»

    июль 2026 — н.в.
    Android-приложение с локальной LLM на телефоне: голосовой дневник с ИИ-наставником
    Опубликовано в Google Play ↗
    Соло, разработка с AI-агентами: 646 коммитов, 30+ релизов, ~23 тыс. строк Kotlin, 207 требований, ~1000 автотестовВсё на телефоне, без сервера: распознавание речи и LLM (Gemma)
    Достижения
    • AI (2026)
      • Оптимизация инференса LLM: ответ 24–28 с → 1,5–2,6 с, причину нашёл замером.
      • Оценка качества LLM (eval): LLM-as-a-Judge, эталонный набор тестовых диалогов, слепой попарный судья на DeepEval — регрессия качества на каждое изменение промпта.
      • Guardrails: кризисные реплики, утечка промпта — проверка кодом, покрыта тестами.
      • Prompt engineering: эксперименты по одной переменной; короткий промпт-контекст сократил ответ с 2164 до 281 знака и выиграл у слепого судьи.
      • AI-агенты (Claude Code) и spec-driven development: каждый тест привязан к требованию, 30+ релизов в Google Play.
      • Продуктовые метрики в GA4 — без текста пользователя.
    Подробнее об AI-опыте →
  2. Лаборатория Касперского

    декабрь 2023 — июль 2026 · 2 года 8 месяцев
    Руководитель группы тестирования (команда до 15 человек)
    Москва, Россия
    IoT-шлюз данных на базе KasperskyOS (KISG) · ~30 разработчиковKaspersky NGFW — межсетевой экран для глубокой фильтрации трафика · ~100 разработчиков, 20–30 в тестировании
    Обязанности
    • Выстраивание процесса и пирамиды тестирования
    • Автоматизация процессов тестирования
    • Получение сертификата ФСТЭК
    • Работа с командой: ретро, one2one, performance reviews, собеседования
    • Создание тестовых окружений
    Достижения
    • AI (2025–2026)
      • RAG по внутренней документации: локальный LightRAG (chunking, embedding, reranker) + MCP.
      • LLM генерирует тест-дизайн и API-автотесты с опорой на документацию, каждый результат проверяет инженер.
      • Тест-дизайн: 4 ч → 25 мин на кейс.
      • 100% API (40 эндпоинтов, 500+ тестов) под автотестами за месяц вместо года.
      • Мониторинг занятости стендов (React + FastAPI) против «забыл освободить»: +30% утилизации без закупок.
      • Замер отдачи автоматизации: e2e ловили доли процента дефектов → проверки перенесены вниз по пирамиде.
    • NGFW (2024–2026)
      • Заменил авторское тестирование в одно лицо на домены с подкомандами: выросли лиды, ответственные за блоки функционала.
      • Ввёл тегирование требований — объём работ каждой команды на релиз стал однозначным.
      • Спланировал релизы от реальной ёмкости команды: замерил, куда уходит время, выровнял покрытие по всему функционалу.
      • Внедрил тест-планы с сьютами разной глубины и конфигурациями продукта вместо формальных прогонов.
      • Собрал еженедельную отчётность о качестве: покрытие, непроверенные требования, дефекты по приоритетам — основа решения о релизе.
      • Пересобрал бэклог за 2022–2025, организовал стенд и автоматизацию для тестов на стабильность.
    • KISG (2023–2024)
      • Построил тест-дизайн и тест-планы с нуля: 100% трассируемость 400 требований.
      • Подготовил доказательную базу тестирования для двух сертификаций ФСТЭК — IoT-шлюза (межсетевой экран) и KasperskyOS, два отдельных релиза — с первого раза и в срок.
      • Собрал тестовую инфраструктуру из 13 стендов с централизованным управлением.
      • Сократил smoke-цикл с 1 месяца до 2–5 дней, развёртывание стенда — с 2 недель до 1–3 дней.
      • Упростил тест-кейсы: прогон выполняет Junior вместо Senior.
    • Команда (оба продукта)
      • Нанял 7 инженеров: скрининг, техническое интервью, решение по офферу.
      • Перестроил онбординг: первый самостоятельный прогон через неделю вместо 2 месяцев.
      • Вёл one2one, performance reviews, ретро.
  3. VK Pay

    май 2020 — август 2023 · 3 года 4 месяца
    Automation QA Lead (команда до 5 человек)
    Единая платёжная система для Топ-1 социальной сети и медиаплатформы в России
    Обязанности
    • Определение и реализация стратегии тестирования продукта, приоритеты
    • Полная автоматизация процессов тестирования (Quality Gates)
    • Работа с командой: one2one, performance reviews, собеседования
    Достижения
    • Автоматизация и стабильность
      • Создал функциональные / интеграционные / нагрузочные тесты в CI и тестовые окружения.
      • Стабильность тестов и окружения: с 10% до 97%.
      • Время прохождения e2e-тестов — в 6 раз быстрее.
    • Производительность
      • Подготовил эквайринг к распродаже 11.11 AliExpress: нагрузочное тестирование (Locust), ×6 пропускной способности.
      • Настроил мониторинг производительности: JTL Reporter, Grafana.
  4. Luxoft

    2017 — 2020
    Эксперт по автоматизации QA и CI/CD
    Платформа встраивания и сервис внутренних коммуникаций для клиента Почта России
    Обязанности
    • Автоматизация тестирования, налаживание полного цикла CI/CD
    • Проведение нагрузочного тестирования с Яндекс.Танк (Phantom, BFG на Python)
    Достижения
    • CI/CD и сервис коммуникаций
      • Сократил релизный цикл до 30 минут.
      • Разработал и внедрил сервис внутренних коммуникаций для 130 000 пользователей.
  5. Oracle Russia & CIS

    2016 — 2017
    Старший QA-инженер
    Сопровождение объектов капитального строительства в системе Oracle Primavera
    Обязанности
    • Автоматизация тестирования, фреймворк для веб и мобильных приложений
    • Наставничество группы из 3 человек в области автоматизации QA
    Достижения
    • Автоматизация тестирования
      • Внедрил фреймворк автоматизации: время ручного тестирования −30%.
  6. вКалендаре

    2014 — 2016
    Развитие собственного проекта
    Афиша мероприятий по всей России — vkalendare.com
  7. НПП «РАДИКО»

    2013 — 2014
    QA-инженер
    Повышение качества систем радиационного контроля для атомной промышленности
  8. Paragon Software

    2009 — 2012
    Специалист по качеству ПО
    Базовый опыт тестирования и автоматизации, команда QA 15 человек

Навыки

AI в тестировании
  • RAG
  • MCP
  • AI-агенты
  • LLM-as-a-Judge
  • DeepEval
  • Evaluation-driven development
  • Guardrails
  • Prompt engineering
  • Оптимизация инференса LLM
  • Локальные LLM: Qwen, Gemma, Llama, Mistral
  • oMLX
  • LM Studio
  • llama.cpp
  • LiteRT-LM
  • Облачные LLM: Claude, MiniMax, GLM
  • OpenRouter
  • Claude Code
  • Codex
  • OpenCode
  • Hermes Agent
  • OpenClaw
  • MiniMax Code
  • LightRAG
  • OpenSpec
Автоматизация
  • Python
  • PyTest
  • FastAPI
  • Allure
  • Selenium
  • Locust
  • Yandex.Tank
  • JUnit
  • Maestro
DevOps / CI/CD
  • Azure DevOps
  • GitLab
  • Docker
  • CI/CD
Менеджмент
  • Пирамида тестирования
  • Test design
  • Quality Gates
  • Grafana-метрики
  • Performance reviews / one2one
  • Ретро
  • Onboarding
  • ФСТЭК-сертификация
IoT
  • MQTT
  • Zigbee
  • Home Assistant
  • Промышленные шлюзы данных

Вне работы

  • Умный дом: Home Assistant + Zigbee, 60+ устройств — проектирую и поддерживаю сам
  • Путешествия и походы: 18 стран, турклуб МГУ, пеший и автотуризм, лесные музыкальные фестивали
  • Моноколесо, сноуборд, барабанная установка

Образование

  • Национальный исследовательский ядерный университет «МИФИ»
    Кибернетика
    2011
Курсы и тренинги
  • 2024Школа начинающего руководителя · Kaspersky · 6 недель
  • 2021Интенсив для руководителей · VK

Связаться со мной

Для HR и рекрутеров: подробное CV с контактами предыдущих работодателей — по запросу через любой удобный канал.

Запросить полное CV

Отвечу в течение 24 часов в рабочее время (пн–пт, 10:00–19:00 МСК).

Минимум 10 символов0 / 2000