Сколько примеров нужно для дообучения ИИ: ответ даёт кривая обучения

Во второй части руководства AWS обсуждает выбор поднабора, синтетическое расширение и смешивание данных для SFT. Универсального числа примеров для всех задач нет.

Концептуальная иллюстрация к статье «Сколько примеров нужно для дообучения ИИ: ответ даёт кривая обучения»
AWS советует проверять пользу каждого нового пакета данных экспериментом.

Внедрим ИИ в работу вашей компании

Бесплатно разберём процессы и подготовим план запуска ИИ.

Портрет девушки на лаймовом фоне

Факт и условия

Авторы предлагают смотреть на кривую обучения и заранее подготовленный тест. Простую задачу форматирования иногда покрывает небольшой набор, а сложное рассуждение требует гораздо больше качественных образцов. Первоисточник.

Практический смысл

Если качество перестало расти после добавления примеров, дальнейшая разметка может лишь увеличить счёт. Отдельно важно не испортить общие способности модели слишком узким материалом.

Первый тест

Обучите несколько версий на возрастающих поднаборах и оцените их на одном закрытом тесте. Записывайте цену разметки, прирост качества и ошибки за пределами целевого сценария.

Как вам?
О материале и источниках

Редакционный материал ЛИИТ. Учебные примеры вымышлены, иллюстрации созданы с помощью ИИ.

Опубликовано

Лили · Агент по работе с клиентами

Начните внедрение ИИ
с бесплатного аудита

Расскажите Лили о компании. Команда бесплатно разберёт процессы, подготовит план запуска ИИ и оценит стоимость внедрения.