Почему нейросеть выдумывает факты

Нейросеть выдумывает не нарочно. Языковая модель обучена писать правдоподобный текст — продолжение, которое выглядит как ответ. Проверять факты она не умеет. Когда модель знает ответ, правдоподобное совпадает с верным. Когда не знает — она всё равно пишет что-то похожее на ответ: имя автора, название книги, номер статьи закона, адрес сайта. Такие уверенные выдумки называют галлюцинациями.

Почему так получается

• Модель порождает текст по кусочку, выбирая вероятное продолжение (как именно — в уроке Как работает языковая модель). Знание и догадка для неё выглядят одинаково.
• Модель не хранит тексты дословно, а хранит закономерности. Точные детали — даты, числа, цитаты — восстанавливаются «по памяти» и искажаются.
• При обучении и оценке моделей ответ по существу обычно ценится выше, чем «не знаю», — поэтому модель склонна угадывать, а не признаваться в незнании.
• Знания модели заканчиваются датой среза — о более новом она может «додумать».

Когда выдумок больше всего

• редкие факты: история маленького города, биография малоизвестного человека;
• список литературы, цитаты, ссылки, номера законов и статей;
• точные числа: население, цены, характеристики техники;
• свежие события;
• вопросы с ложной посылкой: «Почему Пушкин получил Нобелевскую премию?» — модель может начать объяснять, вместо того чтобы поправить (Нобелевскую премию по литературе начали вручать в 1901 году, после смерти Пушкина).

Как снизить число выдумок

1. Дайте материал. Вставьте текст и попросите отвечать только по нему: «Если в тексте ответа нет — так и напишите».
2. Разрешите не знать. Допишите в запрос: «Если не уверены — скажите об этом».
3. Спрашивайте конкретно. Узкий вопрос — меньше простора для догадок.
4. Просите источники — и открывайте их. Сервисы с поиском в интернете дают ссылки. Но модель может пересказать страницу неверно или сослаться на страницу, где этого нет.
5. Проверяйте важное сами — по шагам из справки Как проверить ответ нейросети.

Подводный камень: «Вы уверены?»

Переспрашивать модель — плохая проверка. На вопрос «Вы уверены?» она может извиниться и заменить верный ответ неверным — или, наоборот, настаивать на ошибке. Модель подстраивается под собеседника. Проверяют не модель, а факт — по независимому источнику.