Дообучение модели: когда fine-tuning полезен, а когда достаточно базы знаний

Когда модель раз за разом нарушает нужный формат ответа, возникает идея дообучить её на своих примерах. Иногда это оправдано. Но сначала нужно понять, где находится причина ошибки: в инструкции, поиске нужных сведений или самом способе выполнения задачи.

Fine-tuning означает дополнительное обучение уже подготовленной модели. Меняются её параметры или небольшие добавляемые компоненты. Например, подходы PEFT позволяют обучать ограниченное число параметров. Это технический способ настройки, а не гарантия качества будущих ответов.

Сначала проверьте простую версию

Подготовьте ясную инструкцию, несколько хороших примеров и независимый набор заданий. Измерьте, что получается у базовой модели. Без этого сравнивать дообученную версию будет не с чем.

Если система не знает действующую цену, проблема часто в отсутствии источника. Для ответа по обновляемым документам подходит поиск с передачей найденных фрагментов, то есть RAG. Дообучение не стоит использовать как единственный способ хранить часто меняющийся прайс.

Симптом	Что проверить первым
Ответ слишком длинный	Инструкцию и примеры желаемой длины
Не найдено правило компании	Базу знаний и поиск
Нестабильная классификация при хорошей инструкции	Качество разметки и возможность дообучения
Ошибка расчёта	Передачу расчёта проверяемому инструменту

Учебная задача классификации

Представим службу эксплуатации оборудования. Она делит обращения на настройку, поломку и запрос документов. В сообщениях много отраслевых сокращений. Базовая модель понимает обычные примеры, но путает часть устойчивых формулировок.

Сначала специалисты согласуют границы категорий. Фраза «не работает после изменения настроек» может относиться к разным маршрутам. Если разметчики расходятся, модель получит противоречивое обучение. Дообучение не устраняет такую неопределённость само по себе.

Подготовка примеров

Для каждого входного сообщения нужен утверждённый желаемый результат. В набор включают разные формулировки, сложные случаи и допустимое решение «нужна проверка». Копии одного удачного примера не создают разнообразия.

Отделите данные для обучения от заданий для итоговой проверки. Похожие обращения одного диалога не должны незаметно попасть в обе части. Иначе высокий результат покажет узнавание примеров вместо способности работать с новым запросом.

Права на использование материалов и состав передаваемых данных согласуют заранее. Вырезать имя из сообщения недостаточно, если оставшееся описание раскрывает клиента или секретную информацию.

Как проходит эксперимент

1. Зафиксируйте версию базовой модели, инструкцию и исходный результат.
2. Подготовьте размеченные примеры в формате выбранного инструмента.
3. Отложите независимые задания до обучения.
4. Запустите обучение с ограничением бюджета.
5. Сравните обе версии на одинаковых заданиях.
6. Разберите ошибки по категориям, включая редкие и опасные.

В документации SFT Trainer описано обучение по подготовленным данным и поддерживаемые форматы примеров. Требования к минимальному числу записей и стоимости зависят от инструмента и модели. Универсального обязательного количества для любой задачи нет.

Стоимость шире одной тренировки

В смету входят подготовка и проверка данных, вычисления, испытания и дальнейшая обработка запросов. При локальной установке учитывают оборудование и обслуживание. Название открытой модели не делает этот процесс бесплатным.

Если дообученная версия сократила текст инструкции, посчитайте, компенсирует ли экономия расходы на её подготовку. При маленьком потоке обычный запрос с примерами может быть проще и дешевле. При большом потоке важно проверить устойчивость результата на новых формулировках.

Что делать после запуска

Среднее качество может скрыть ухудшение на редкой категории. В учебной службе эксплуатации пропуск аварийного обращения важнее нескольких ошибок маршрута для запроса инструкции. Вес таких ошибок определяют до сравнения, чтобы выбрать полезную для процесса модель.

Сохраняйте версию модели и результаты проверки. Изменение категорий или процесса может потребовать новых примеров. При ухудшении нужен способ вернуться к прежней версии, пока команда разбирает причину.

Дообучение можно сочетать с поиском по документам и проверкой действий. Выбор зависит от обнаруженной ошибки. Если нужно определить, какой слой вашей системы требует изменения, обсудите задачу с TRUE.