Как обучить нейросеть на своих данных

Как обучить нейросеть на своих данных: два разных подхода

В профессиональном значении «обучить нейросеть» — значит изменить веса модели: показать ей множество примеров и математически подстроить внутренние параметры так, чтобы модель стала лучше отвечать именно на такие запросы. Это называется дообучением, или fine-tuning, и это тяжёлый инженерный процесс: нужен большой и качественно размеченный набор данных, вычислительные мощности, специалисты по машинному обучению и время на эксперименты, потому что неудачное дообучение может не улучшить модель, а испортить — она начинает хуже справляться с тем, с чем справлялась раньше, или переучивается на частных примерах и теряет общую гибкость.

Для подавляющего большинства бизнес-задач такой подход избыточен и не нужен. Компании, которая хочет, чтобы агент точно отвечал на вопросы про её услуги, цены и правила работы, не требуется менять веса языковой модели — ей нужно, чтобы модель при ответе опиралась на актуальные данные компании. Это делается другим способом: модель остаётся такой, какая есть, а рядом с ней работает база знаний, в которой хранится информация о бизнесе. Когда приходит вопрос, система ищет в этой базе наиболее релевантные фрагменты и передаёт их модели вместе с вопросом — модель формулирует ответ, опираясь именно на них, а не на собственную общую эрудицию.

Такой подход в индустрии называется RAG — retrieval-augmented generation, поиск с дополнением генерации. С точки зрения бизнеса разница принципиальная: обновить базу знаний — значит просто отредактировать документ или запись, и агент отвечает по-новому. Дообучение модели под новые данные — это отдельный дорогой цикл, который нужно повторять каждый раз, когда меняется прайс или появляется новая услуга.

Отсюда и разница в стоимости и скорости: подключение базы знаний к готовой модели не требует собственной инфраструктуры для обучения и обновляется быстро, а полноценное дообучение модели — это отдельный проект с бюджетом и сроками совсем другого порядка, который для большинства компаний просто не окупается по сравнению с тем эффектом, который даёт.

Есть и промежуточные техники — например, донастройка стиля ответа без изменения фактических знаний модели, — но для задачи «агент должен точно знать наш бизнес» они не заменяют базу знаний, а только дополняют её на уровне тона и манеры речи.

Путаница в терминах не случайна: слово «обучение» в обиходе используют для обоих подходов, а в маркетинговых материалах некоторых подрядчиков разница и вовсе стирается специально, чтобы продать более дорогой и сложный проект там, где хватило бы простого подключения базы знаний. Прежде чем соглашаться на дообучение модели, стоит прямо спросить у подрядчика, зачем оно нужно именно в вашем случае и почему базы знаний недостаточно.

Что нужно бизнесу, чтобы нейросеть точно отвечала по его данным

Если задача — не дообучить модель, а собрать качественную базу знаний, на первый план выходит не программирование, а порядок в самих данных компании.

Первое — актуальность. Данные, на которые опирается агент, должны отражать реальное положение дел на сегодня, а не на момент, когда документ был написан. Устаревший прайс или неактуальные условия акции — самая частая причина, по которой агент «врёт»: он не выдумывает, он честно повторяет то, что написано в базе, просто база устарела.

Второе — непротиворечивость. Если в одном документе указано одно условие, а в переписке с клиентом менеджер называет другое, агент не может магическим образом угадать, какое из двух верное, — он либо выберет одно случайно, либо честно скажет, что не уверен. Прежде чем загружать материалы в базу знаний, их стоит свести воедино и убрать противоречия — это обычно самая трудоёмкая часть подготовки, но и самая важная.

Третье — структура. Сплошной текст без разбивки на темы работает хуже, чем материал, разложенный по смысловым блокам: отдельно про услуги, отдельно про оплату, отдельно про доставку или запись. Так системе поиска проще находить именно тот фрагмент, который отвечает на конкретный вопрос, а не выдавать модели весь документ целиком в надежде, что она сама разберётся.

• Актуальность — данные отражают сегодняшнее положение дел, а не архив прошлых лет.
• Непротиворечивость — один и тот же вопрос не имеет двух разных ответов в разных документах.
• Структура — материал разложен по смысловым темам, а не свален в один файл.
• Разделение источников — понятно, где проверенные данные компании, а где общие знания модели.
• Живое обновление — кто-то внутри компании отвечает за то, чтобы база не устаревала.

Четвёртое — источник, из которого разрешено отвечать. Хорошо настроенная система явно разделяет проверенные данные компании и общие знания модели о мире и не путает одно с другим в ответе клиенту. Это защищает бизнес от ситуации, когда агент сообщает клиенту факт, который звучит правдоподобно, но взят не из данных компании, а из общих знаний модели, и может быть попросту неверным применительно к конкретному бизнесу.

Пятое — живой источник, а не разовая выгрузка. База знаний, которую собрали один раз при запуске и больше не трогали, устаревает так же, как забытый прайс-лист на стене в переговорной. Разумная практика — назначить внутри компании человека или процесс, который следит за актуальностью данных и обновляет их по мере изменений, а не считает подготовку базы законченной задачей.

Ниже — короткое сравнение двух подходов.

Что можно, а что нельзя ожидать от агента, обученного на своих данных

Отдельно стоит проговорить, чего не стоит ждать от агента даже при отличной базе знаний.

Агент не читает мысли и не знает того, что не записано нигде — ни в базе знаний, ни в истории текущего разговора. Если у бизнеса есть неписаное правило, которое держится в голове одного менеджера, агент о нём не узнает, пока это правило не окажется в базе.

Агент не обязан знать абсолютно всё о компании сразу после первой загрузки данных. Как и у нового сотрудника, у агента есть период, когда всплывают вопросы, ответа на которые в материалах не нашлось, — это нормальная часть запуска, а не повод считать проект неудачным.

Агент не должен додумывать факты, которых нет в базе, — и это как раз главное отличие качественно настроенной системы от эффектной, но ненадёжной демонстрации. Хороший агент в такой ситуации прямо говорит, что не знает точного ответа, и предлагает переключить на человека, вместо того чтобы выдавать правдоподобную, но неверную информацию. Это осознанное техническое решение, а не недоработка: система, которая честно молчит там, где не уверена, полезнее той, что красиво врёт.

И наконец — агент, обученный на данных одного бизнеса, не становится «умнее» в вопросах, не связанных с этим бизнесом. Если клиент спросит что-то совсем постороннее, хороший агент вежливо вернёт разговор к теме, для которой он настроен, а не начнёт отвечать на любые вопросы подряд, рискуя увести разговор куда угодно.

Понимание этих границ помогает и при разговоре с подрядчиком: если вам обещают агента, который «знает всё и не ошибается никогда», это повод насторожиться, а не обрадоваться. Реалистичная цель — агент, который точно отвечает в пределах своей базы знаний, честно признаёт границы этой базы и становится точнее по мере того, как база пополняется реальными вопросами клиентов.

Основные проблемы при обучении нейросети на своих данных

Компании, которые впервые пробуют «научить» нейросеть работать со своими данными, обычно наступают на одни и те же грабли.

Первая — попытка сразу заказать дообучение модели, начитавшись статей про машинное обучение, хотя реальная задача решается проще и дешевле через базу знаний. Дообучение оправдано в узком классе задач — например, когда нужно изменить саму манеру речи модели или научить её специфическому формату, которого нет в обычных данных, — но для ответов по фактам о бизнесе оно избыточно.

Вторая — загрузка в базу знаний сырых, неструктурированных материалов: архивов переписки, черновиков, устаревших версий документов вперемешку с актуальными. Система формально «обучена», но отвечает нестабильно, потому что путается между противоречивыми источниками.

Третья — ожидание, что после однократной загрузки данных агент будет отвечать идеально всегда. На практике первые ответы почти всегда выявляют пробелы: вопросы, которые задают клиенты, но ответа на которые в базе нет. Донастройка по результатам реальных диалогов — обязательный этап, а не признак того, что что-то сделали не так на старте.

Четвёртая — недооценка того, кто внутри компании должен участвовать в сборе данных. Это не чисто техническая работа подрядчика: нужен человек, который знает бизнес изнутри и может подтвердить, какие сведения верны, а какие устарели. Без такого участия подрядчик рискует красиво оформить неточную информацию.

Пятая — путаница между объёмом данных и их качеством. Компания, которая выгружает в базу знаний сотни страниц устаревших материалов, не получает более умного агента — она получает агента, которому сложнее найти среди этого объёма действительно нужный и точный фрагмент. Небольшая, но аккуратно выверенная база почти всегда работает лучше, чем огромная и неразобранная.

Шестая — попытка обойтись вовсе без участия человека, полностью доверив сбор и разметку данных подрядчику, который никогда не работал внутри компании. Подрядчик умеет технически подготовить базу знаний, но не может знать, какое из двух противоречащих друг другу условий в документах бизнеса верное на сегодня, — эту часть работы неизбежно приходится делать вместе с кем-то, кто разбирается в самом бизнесе.

Частые вопросы про обучение нейросети на своих данных

Ниже — вопросы, которые чаще всего возникают у бизнеса, когда он впервые сталкивается с этой темой и пытается понять, что из прочитанного в интернете относится к его задаче, а что — нет. Термины вроде «обучение», «дообучение» и «база знаний» в разговорной речи смешиваются, а в реальной разработке означают разные по стоимости и сложности вещи, поэтому прежде чем заказывать проект, стоит убедиться, что вы с подрядчиком имеете в виду одно и то же.

Нужно ли бизнесу дообучать модель, а не просто подключать базу знаний?

Для большинства задач — нет. Подключение базы знаний к готовой модели решает задачу точных ответов по фактам о бизнесе дешевле и быстрее, чем дообучение весов модели, которое оправдано только в узком круге специфических случаев.

Какие данные подходят для обучения агента на своих данных?

Любые актуальные и непротиворечивые материалы о бизнесе: прайс, описание услуг, регламенты, ответы на частые вопросы, записанные скрипты менеджеров. Главное условие — данные должны быть точными на сегодняшний день, а не архивом черновиков разных лет.

Как понять, что базе знаний агента не хватает данных?

По вопросам, на которые агент отвечает расплывчато или уходит от ответа. Такие вопросы стоит собирать после запуска и регулярно добавлять недостающие сведения в базу — это обычная, ожидаемая часть работы с агентом, а не признак ошибки в изначальной настройке.

Читайте также

• Чем ИИ-агент отличается от чат-бота
• Сколько стоит ИИ-агент для бизнеса
• Как внедрить ИИ в бизнес и не получить саботаж сотрудников