Резюме · beltsov.ru
Роман БельцовQA Lead / Head of QA
15 лет в тестировании, 4 года руководил командами — до 15 человек в Kaspersky. ИБ, финтех, встраиваемые системы; сертификация ФСТЭК. С 2025 внедряю LLM в QA: RAG по документации, AI-агенты, оценка качества LLM. Выпустил своё Android-приложение с локальной LLM.
Ключевые достижения
- KasperskyРуководитель группы до 15 человек · 2023–2026
- AI-тест-дизайн с RAG: 4 ч → 25 мин на кейс
- 100% API под автотестами: месяц вместо года
- Две сертификации ФСТЭК: с первого раза и в срок
- Smoke-цикл: 1 месяц → 2–5 дней
- «Я слышу: наедине с собой»Android-приложение с локальной LLM · 2026
- Ответ LLM: 24–28 с → 1,5–2,6 с
- Оценка LLM: LLM-as-a-Judge, DeepEval
- Guardrails в коде
- AI-агенты: 207 требований, ~1000 автотестов
- VK PayЭквайринг · 2020–2023
- Стабильность тестов: 10% → 97%
- e2e в 6 раз быстрее
- Эквайринг ×6 к 11.11
- LuxoftПочта России · 2017–2020
- Релиз за 30 минут
- CI/CD и нагрузка (Яндекс.Танк)
- Сервис на 130 000 пользователей
- OracleOracle Primavera · 2016–2017
- Фреймворк автоматизации: −30% ручного тестирования
- Наставник 3 инженеров
Опыт работы
Собственный проект «Я слышу: наедине с собой»
июль 2026 — н.в.Android-приложение с локальной LLM на телефоне: голосовой дневник с ИИ-наставникомОпубликовано в Google Play ↗Соло, разработка с AI-агентами: 646 коммитов, 30+ релизов, ~23 тыс. строк Kotlin, 207 требований, ~1000 автотестовВсё на телефоне, без сервера: распознавание речи и LLM (Gemma)Достижения- AI (2026)
- Оптимизация инференса LLM: ответ 24–28 с → 1,5–2,6 с, причину нашёл замером.
- Оценка качества LLM (eval): LLM-as-a-Judge, эталонный набор тестовых диалогов, слепой попарный судья на DeepEval — регрессия качества на каждое изменение промпта.
- Guardrails: кризисные реплики, утечка промпта — проверка кодом, покрыта тестами.
- Prompt engineering: эксперименты по одной переменной; короткий промпт-контекст сократил ответ с 2164 до 281 знака и выиграл у слепого судьи.
- AI-агенты (Claude Code) и spec-driven development: каждый тест привязан к требованию, 30+ релизов в Google Play.
- Продуктовые метрики в GA4 — без текста пользователя.
Лаборатория Касперского
декабрь 2023 — июль 2026 · 2 года 8 месяцевРуководитель группы тестирования (команда до 15 человек)Москва, РоссияIoT-шлюз данных на базе KasperskyOS (KISG) · ~30 разработчиковKaspersky NGFW — межсетевой экран для глубокой фильтрации трафика · ~100 разработчиков, 20–30 в тестированииОбязанности- Выстраивание процесса и пирамиды тестирования
- Автоматизация процессов тестирования
- Получение сертификата ФСТЭК
- Работа с командой: ретро, one2one, performance reviews, собеседования
- Создание тестовых окружений
Достижения- AI (2025–2026)
- RAG по внутренней документации: локальный LightRAG (chunking, embedding, reranker) + MCP.
- LLM генерирует тест-дизайн и API-автотесты с опорой на документацию, каждый результат проверяет инженер.
- Тест-дизайн: 4 ч → 25 мин на кейс.
- 100% API (40 эндпоинтов, 500+ тестов) под автотестами за месяц вместо года.
- Мониторинг занятости стендов (React + FastAPI) против «забыл освободить»: +30% утилизации без закупок.
- Замер отдачи автоматизации: e2e ловили доли процента дефектов → проверки перенесены вниз по пирамиде.
- NGFW (2024–2026)
- Заменил авторское тестирование в одно лицо на домены с подкомандами: выросли лиды, ответственные за блоки функционала.
- Ввёл тегирование требований — объём работ каждой команды на релиз стал однозначным.
- Спланировал релизы от реальной ёмкости команды: замерил, куда уходит время, выровнял покрытие по всему функционалу.
- Внедрил тест-планы с сьютами разной глубины и конфигурациями продукта вместо формальных прогонов.
- Собрал еженедельную отчётность о качестве: покрытие, непроверенные требования, дефекты по приоритетам — основа решения о релизе.
- Пересобрал бэклог за 2022–2025, организовал стенд и автоматизацию для тестов на стабильность.
- KISG (2023–2024)
- Построил тест-дизайн и тест-планы с нуля: 100% трассируемость 400 требований.
- Подготовил доказательную базу тестирования для двух сертификаций ФСТЭК — IoT-шлюза (межсетевой экран) и KasperskyOS, два отдельных релиза — с первого раза и в срок.
- Собрал тестовую инфраструктуру из 13 стендов с централизованным управлением.
- Сократил smoke-цикл с 1 месяца до 2–5 дней, развёртывание стенда — с 2 недель до 1–3 дней.
- Упростил тест-кейсы: прогон выполняет Junior вместо Senior.
- Команда (оба продукта)
- Нанял 7 инженеров: скрининг, техническое интервью, решение по офферу.
- Перестроил онбординг: первый самостоятельный прогон через неделю вместо 2 месяцев.
- Вёл one2one, performance reviews, ретро.
VK Pay
май 2020 — август 2023 · 3 года 4 месяцаAutomation QA Lead (команда до 5 человек)Единая платёжная система для Топ-1 социальной сети и медиаплатформы в РоссииОбязанности- Определение и реализация стратегии тестирования продукта, приоритеты
- Полная автоматизация процессов тестирования (Quality Gates)
- Работа с командой: one2one, performance reviews, собеседования
Достижения- Автоматизация и стабильность
- Создал функциональные / интеграционные / нагрузочные тесты в CI и тестовые окружения.
- Стабильность тестов и окружения: с 10% до 97%.
- Время прохождения e2e-тестов — в 6 раз быстрее.
- Производительность
- Подготовил эквайринг к распродаже 11.11 AliExpress: нагрузочное тестирование (Locust), ×6 пропускной способности.
- Настроил мониторинг производительности: JTL Reporter, Grafana.
Luxoft
2017 — 2020Эксперт по автоматизации QA и CI/CDПлатформа встраивания и сервис внутренних коммуникаций для клиента Почта РоссииОбязанности- Автоматизация тестирования, налаживание полного цикла CI/CD
- Проведение нагрузочного тестирования с Яндекс.Танк (Phantom, BFG на Python)
Достижения- CI/CD и сервис коммуникаций
- Сократил релизный цикл до 30 минут.
- Разработал и внедрил сервис внутренних коммуникаций для 130 000 пользователей.
Oracle Russia & CIS
2016 — 2017Старший QA-инженерСопровождение объектов капитального строительства в системе Oracle PrimaveraОбязанности- Автоматизация тестирования, фреймворк для веб и мобильных приложений
- Наставничество группы из 3 человек в области автоматизации QA
Достижения- Автоматизация тестирования
- Внедрил фреймворк автоматизации: время ручного тестирования −30%.
вКалендаре
2014 — 2016Развитие собственного проектаАфиша мероприятий по всей России — vkalendare.comНПП «РАДИКО»
2013 — 2014QA-инженерПовышение качества систем радиационного контроля для атомной промышленностиParagon Software
2009 — 2012Специалист по качеству ПОБазовый опыт тестирования и автоматизации, команда QA 15 человек
Навыки
AI в тестировании
- RAG
- MCP
- AI-агенты
- LLM-as-a-Judge
- DeepEval
- Evaluation-driven development
- Guardrails
- Prompt engineering
- Оптимизация инференса LLM
- Локальные LLM: Qwen, Gemma, Llama, Mistral
- oMLX
- LM Studio
- llama.cpp
- LiteRT-LM
- Облачные LLM: Claude, MiniMax, GLM
- OpenRouter
- Claude Code
- Codex
- OpenCode
- Hermes Agent
- OpenClaw
- MiniMax Code
- LightRAG
- OpenSpec
Автоматизация
- Python
- PyTest
- FastAPI
- Allure
- Selenium
- Locust
- Yandex.Tank
- JUnit
- Maestro
DevOps / CI/CD
- Azure DevOps
- GitLab
- Docker
- CI/CD
Менеджмент
- Пирамида тестирования
- Test design
- Quality Gates
- Grafana-метрики
- Performance reviews / one2one
- Ретро
- Onboarding
- ФСТЭК-сертификация
IoT
- MQTT
- Zigbee
- Home Assistant
- Промышленные шлюзы данных
Вне работы
- Умный дом: Home Assistant + Zigbee, 60+ устройств — проектирую и поддерживаю сам
- Путешествия и походы: 18 стран, турклуб МГУ, пеший и автотуризм, лесные музыкальные фестивали
- Моноколесо, сноуборд, барабанная установка
Образование
- Национальный исследовательский ядерный университет «МИФИ»Кибернетика2011
Курсы и тренинги
- 2024Школа начинающего руководителя · Kaspersky · 6 недель
- 2021Интенсив для руководителей · VK
Связаться со мной
Для HR и рекрутеров: подробное CV с контактами предыдущих работодателей — по запросу через любой удобный канал.