Тестирование ИИ-систем и LLM (evals)

• Качество ответов.
  Правильность, полнота и тон на эталонных сценариях: где ассистент отвечает верно, где ошибается, где отвечает не то, что нужно бизнесу. Итог — доля верных ответов по каждому типу вопросов.
• Галлюцинации и выдумки.
  Отдельный контур: выдуманные цены, условия, ссылки и «факты». Для каждого случая фиксируем причину — модель, промпт или база знаний.
• RAG-качество.
  Проверяем обе половины: находит ли поиск нужные фрагменты (полнота retrieval) и отвечает ли модель по найденному, а не «от себя» (faithfulness — верность источнику).
• Guardrails: рамки поведения.
  Держит ли ассистент системный промпт, границы тем и тон: не обсуждает конкурентов, не даёт медицинских и юридических советов, не обещает лишнего от имени компании.
• Устойчивость к атакам.
  Промпт-инъекции прямые и косвенные, jailbreak, выведывание системного промпта и чужих данных — защитная проверка по библиотеке атак и OWASP LLM Top 10.
• Регрессия при изменениях.
  Главный режим evals: перепрогон набора после смены промпта, модели или базы знаний — в том числе когда модель молча обновил вендор. Работаем с GigaChat, YandexGPT и зарубежными моделями; качество меряем на русском языке — на нём говорят ваши клиенты.

Автотесты для обычного ПО — интерфейсов и API с предсказуемым ответом — это отдельная услуга: автоматизация тестирования. Здесь мы тестируем сами ИИ-системы.

Если ИИ-ассистент — часть большого продукта, услуги сочетаются: автотесты держат код, evals — качество ответов; наступательную проверку с эксплуатацией уязвимостей делает пентест.

На цену влияют: число сценариев ассистента, объём базы знаний под RAG, каналы (чат, голос, почта) и требования к контуру.

Почему дешевле рынка — и почему не в разы. Основной объём evals-проекта — код и датасеты: генерация тестовых наборов, harness прогона, LLM-судья, скрипты атак. Эту часть ИИ ускоряет в разы, и скидка от рыночных смет действует только на неё. Разбор находок, интерпретация результатов и согласование критериев качества с бизнесом делаются руками и считаются по полной ставке. Поэтому проект уровня 300 000 ₽ по рыночным меркам стоит у нас 120 000 ₽, а у сопровождения скидка минимальна.

• Модель — зона вендора.
  Тарифы, лимиты, доступность и деградации версий OpenAI, YandexGPT, GigaChat и других — на стороне вендора. Мы измеряем, как его изменения влияют на ваши сценарии.
• Проценты качества не гарантируем.
  Качество зависит от модели и ваших данных — обещать цифру заранее нельзя. Мы фиксируем измеренное на golden dataset и следим за динамикой от версии к версии.
• Наступательный red teaming — это пентест.
  Эксплуатация уязвимостей и PoC — отдельная услуга пентеста. Здесь — защитная проверка ИИ-контура по библиотеке атак.
• Персональные данные в диалогах.
  Работы, требующие лицензий ФСТЭК/ФСБ, и аттестация — у профильных лицензиатов. Привести обработку ПДн к закону поможет защита персональных данных.
• Дообучение и разработку моделей в услугу не включаем.
  Чинить найденное — промпты, RAG, оркестрацию — умеет наша же команда внедрения ИИ и ИИ-агентов, но это отдельные работы.

Про проценты скажем прямо: если подрядчик обещает конкретный процент правильных ответов, не видя ваших данных, он обещает то, что от него не зависит. Вендор может обновить модель без предупреждения — и метрики изменятся за ночь. Именно поэтому результат нашей работы — не разовая цифра, а регрессионный набор, который ловит такие сдвиги.

1. Разбор сценариев — 3–5 дней.
   Что ассистент должен уметь, где ошибается, какие диалоги реальные. Результат — карта сценариев и план проверки.
2. Golden dataset и рубрики.
   Собираем эталонные вопросы и ответы из живых диалогов и с вашими экспертами; что считается правильным ответом — решаете вы.
3. Прогон и разметка.
   LLM-судья оценивает ответы по рубрикам, спорные случаи проверяет человек. Для пакета безопасности здесь же — прогон библиотеки атак.
4. Разбор находок и отчёт.
   Каждой ошибке — причина: retrieval, промпт, модель или база знаний. Отчёт с приоритетами: что чинить сначала.
5. Harness в CI и передача.
   Прогон набора в один клик при каждом изменении; датасет, рубрики и код остаются у вас. Дальше — сопровождение по часам.

Подробнее о том, как устроена работа, — на странице этапов реализации.