Опубликовано: 15.10.2026 | Источник: TechCrunch

**Семантический анализ** - **Поддомен:** QA/Автоматизация (на стыке с AI/ML — верификация кода, сгенерированного LLM) - **Роль эксперта:** QA-лид - **Схема структуры:** C (Введение → FAQ → Темы ВКР карточками → Основная часть → Чек-лист → Ошибки → CTA → Эксперт → Источник) - **Primary keyword:** верификация кода, сгенерированного ИИ, для ВКР - **LSI-запросы:** Qodo, LLM-generated code, SAST/Semgrep, mutation testing, ISO/IEC 25010, OWASP Top 10, CI/CD-пайплайн, C4-диаграммы, code coverage, defect density - **5 вопросов студентов:** какую тему взять на стыке AI и QA; где брать датасет сгенерированного кода; как считать эффективность верификации; нужно ли обучать модель или хватит API; как оформить схемы и код по нормоконтролю - **5 сущностей:** ГОСТ 34, ISO/IEC 25010, OWASP Top 10, C4/UML, метрики поддомена (Coverage, Mutation Score, Defect Density) ```html

Верификация ИИ-кода в ВКР: как построить защищаемую систему контроля качества

В конце марта 2026 года компания Qodo привлекла $70 млн на решение, казалось бы, «второстепенной» задачи — проверки кода, который пишут языковые модели. Логика инвестиции проста: пока одни продают генераторы, кто-то должен отвечать за то, чтобы сгенерированный код не уронил прод. Для выпускника ИТ-специальности это прямой сигнал: тема «как убедиться, что сгенерированный ИИ код работает» — не модная надстройка, а отдельное инженерное направление с метриками, архитектурой и научной новизной. Ниже — как превратить этот тренд в защищаемую ВКР, какие инструменты использовать, какие метрики считать и где студенты чаще всего спотыкаются.

Частые вопросы студентов — отвечаем сразу

Можно ли взять эту тему, если я не ML-инженер и не собираюсь обучать модель?

Можно и нужно. Верификация ИИ-кода — прикладная дисциплина на стыке QA и автоматизации. Вы работаете с уже готовыми API (OpenAI, GigaChat, локальный Code Llama), а ваш научный вклад — методология оценки и пайплайн контроля качества. Обучать модель не требуется.

Где брать данные, если «исторических» датасетов с ИИ-кодом почти нет?

Датасет вы собираете сами: 50–200 задач уровня LeetCode/Codeforces, для каждой — эталонное решение и N вариаций, сгенерированных LLM при разных temperature и промптах. Дополнительно можно использовать HumanEval, MBPP и SWE-bench как публичные бенчмарки. Такой «самопальный» корпус — нормальная и защищаемая методология.

Как измерять эффективность верификации, а не «на глаз»?

Как минимум тремя метриками: доля корректных сгенерированных решений после фильтра (Precision/Recall), Mutation Score тестового набора, Defect Density на 1000 строк. Плюс временные метрики пайплайна. Тогда защита превращается в разговор о цифрах, а не о вкусовщине.

Нужен ли мне реальный CI/CD или можно обойтись скриптом?

Формально хватит локального скрипта, но комиссия любит воспроизводимость. Соберите минимальный GitHub Actions workflow: прогон линтера, SAST, unit-тестов и метрик. Это 30 строк YAML, а вес в разделе «Реализация» — весомый.

Темы ВКР, которые рождаются из кейса Qodo

• Тема 1. Автоматизированная верификация кода, сгенерированного LLM, в CI/CD-пайплайне.
  Актуальность: раунд Qodo на $70 млн подтверждает, что рынок смещается от генерации к проверке.
  Цель: разработать пайплайн автоматической верификации ИИ-кода с оценкой по ISO/IEC 25010.
  Задачи: 1) обзор подходов к верификации; 2) проектирование архитектуры пайплайна (C4, уровень Container); 3) реализация статического и динамического анализа; 4) оценка метрик Precision/Recall и Mutation Score.
  Структура: Гл.1 — анализ методов верификации ИИ-кода; Гл.2 — проектирование и реализация пайплайна; Гл.3 — эксперименты и метрики эффективности.
• Тема 2. Методика оценки качества ИИ-сгенерированных unit-тестов.
  Актуальность: инструменты вроде Qodo генерируют тесты — но кто проверяет сами тесты?
  Цель: построить метрику качества автосгенерированных тестов на базе Mutation Score и покрытия ветвлений.
  Задачи: 1) анализ существующих метрик; 2) сбор корпуса LLM-тестов; 3) расчёт mutation score через mutmut/PITest; 4) сравнение с тестами, написанными людьми.
  Структура: Гл.1 — теория тестирования и метрик; Гл.2 — методика и инструменты; Гл.3 — валидация на корпусе.
• Тема 3. Оценка уязвимостей в коде, сгенерированном большими языковыми моделями, по OWASP Top 10.
  Актуальность: ИИ-код чаще, чем человеческий, воспроизводит небезопасные паттерны (SQL-инъекции, прямые пути).
  Цель: разработать методику выявления и категоризации уязвимостей в LLM-коде.
  Задачи: 1) обзор OWASP Top 10 и SAST-инструментов; 2) генерация корпуса уязвимого кода; 3) прогон Semgrep/Bandit/CodeQL; 4) статистический анализ по категориям.
  Структура: Гл.1 — анализ угроз; Гл.2 — методика и реализация сканера; Гл.3 — экспериментальная оценка.

Как встроить материал статьи в главы работы

Глава 1. Анализ: где кейс Qodo усиливает теорию

Не пересказывайте новость TechCrunch. Используйте её как триггер для постановки проблемы: «рынок сместился от автогенерации к верификации, что подтверждается инвестициями». Далее — сравнение подходов: статический анализ (Semgrep, SonarQube), динамический (unit-тесты, property-based тесты), формальная верификация (Dafny, Frama-C). Хорошо зайдёт таблица сопоставления по критериям ISO/IEC 25010: функциональная корректность, надёжность, безопасность, сопровождаемость.

Глава 2. Проектирование: диаграммы, которые ждёт комиссия

Минимум, который нужен: контекстная C4-диаграмма (кто вызывает пайплайн — разработчик, CI, репозиторий) и диаграмма Container (генератор кода, статический сканер, тест-раннер, агрегатор метрик). Для последовательности обработки одного pull request — UML Sequence. BPMN уместен, если у вас бизнес-процесс ревью, а не технический пайплайн.

Пример минимального CI-workflow для верификации ИИ-кода:

name: verify-ai-code
on: [pull_request]

jobs:
  verify:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - name: Скан уязвимостей
        run: semgrep --config=auto --json --output=semgrep.json .
      - name: Тесты и покрытие
        run: pytest --cov=src --cov-report=json
      - name: Мутационное тестирование
        run: mutmut run --paths-to-mutate src/ || true
      - name: Агрегация метрик
        run: python scripts/aggregate_metrics.py semgrep.json coverage.json

Глава 3. Эффективность: считаем честно

Три обязательные величины. Mutation Score = убитые мутанты / всего мутантов — показывает, насколько тесты «ловят» поломки. Defect Density = дефектов / KLOC — сравнивает ваш фильтр с бейзлайном без него. Precision / Recall верификатора — насколько точно он отсеивает именно некорректный код. Без этих цифр третий раздел превращается в пересказ.

# Утрированный псевдокод агрегации
correct_after_filter = sum(1 for c in candidates if verifier(c))
precision = correct_after_filter / len([c for c in candidates if verifier(c)])
recall    = correct_after_filter / len([c for c in candidates if is_actually_correct(c)])
mutation  = killed_mutants / total_mutants

Границы применимости: где ИИ-верификация не спасёт

Честно оговорите в выводах: статический анализ LLM-кода не ловит ошибки в бизнес-логике и требованиях, а генерация тестов может закреплять неверное поведение. Именно поэтому в архитектуре нужен слой «человеческого ревью» и система отслеживания, например на базе OpenTelemetry — чтобы видеть дефекты, которые проскочили в прод.

Чему вы научитесь на такой ВКР

• Проектировать отказоустойчивый CI/CD-пайплайн верификации и обосновывать его архитектуру диаграммами C4/UML.
• Считать метрики качества (Coverage, Mutation Score, Defect Density, Precision/Recall) и защищать выводы цифрами.
• Работать с SAST-инструментами (Semgrep, CodeQL, Bandit) и категоризировать уязвимости по OWASP Top 10.
• Интегрировать LLM-сервисы (Qodo, OpenAI API, локальные модели) в реальные процессы разработки, а не в демо-ноутбук.
• Оформлять ТЗ, схемы и листинги по ГОСТ 34 и требованиям нормоконтроля — без «поехавших» таблиц на защите.

Источник: Qodo raises $70M for code verification as AI coding scales (опубликовано 2026-03-30)

```