Как проверить ответ нейросети
Короткий ответ: выпишите из ответа конкретные утверждения — числа, имена, даты, цитаты, ссылки — и сверьте каждое с источником, который не зависит от модели. Общие рассуждения проверять не так важно, как факты: ошибка обычно прячется именно в деталях.
По шагам
- Выделите проверяемое. Что в ответе можно проверить: «закон принят в 2021 году», «скорость света — около 300 000 км/с», «по словам Эйнштейна…». Каждое такое утверждение — отдельный пункт проверки.
- Начните с важного. Сначала то, на что вы будете опираться: числа в отчёте, дозировки, сроки, суммы, условия договора.
- Найдите первоисточник. Не пересказ, а оригинал: текст закона, официальный сайт организации, учебник, научную статью, инструкцию производителя.
- Откройте каждую ссылку. Модель может дать адрес, которого нет, или страницу, где написано другое. Ссылка засчитывается, только если по ней действительно сказано то же самое.
- Сверьте с вторым источником. Если первоисточника нет, найдите два независимых источника, которые подтверждают факт.
Что и как проверять
| Что в ответе | Как проверить |
|---|---|
| Факт, дата, имя | Энциклопедия, учебник, официальный сайт |
| Цитата | Найти её в книге или выступлении, откуда она взята |
| Книга, статья | Поиск по названию и автору в каталоге библиотеки или у издательства |
| Закон, правило | Официальный текст; законы Беларуси — на Национальном правовом интернет-портале |
| Расчёт | Пересчитать самостоятельно или на калькуляторе |
| Код | Запустить и проверить на своих примерах, включая крайние случаи |
| Совет о здоровье, деньгах, правах | Врач, банк, юрист — модель их не заменяет |
Чем может помочь сама модель
Можно попросить: «Перечислите утверждения из ответа, в которых вы можете ошибаться» или «Какие источники подтверждают каждый пункт?». Это помогает найти слабые места. Но доказательством такой ответ не служит: модель может ошибиться и в оценке самой себя. Переспрашивать «Вы уверены?» бесполезно — модель подстраивается под вопрос (подробнее в справке Почему нейросеть выдумывает факты).
Подводные камни
- Уверенный тон и аккуратное оформление ничего не говорят о точности.
- Похожий ответ от другой нейросети — не проверка: модели учились на похожих текстах и могут ошибаться одинаково.
- Устаревшие сведения. Цены, законы, версии программ меняются, а знания модели заканчиваются датой среза.
- Сайт из ответа. Если модель дала ссылку на незнакомый сайт, проверьте, что это действительно официальный сайт организации, а не похожий по названию.