Этот гайд 100% бесплатный
Читайте весь чек-лист бесплатно. А если хотите уверенно работать с нейросетями, у нас 11 курсов по AI, контенту и автоматизации. Полный доступ за $44.90.
Как проверить ответ нейросети: чек-лист
В 2023 году юристы принесли в суд США шесть судебных решений, которых не существует. Их придумал чат-бот. Ниже шесть шагов, красные флаги и готовый промпт, чтобы за минуту не повторить эту ошибку.
Шесть дел, которых не было
Пассажир подал иск к авиакомпании Avianca, дело слушалось в федеральном суде Нью-Йорка (Mata v. Avianca). Адвокаты истца сослались на прецеденты, которые нашёл для них чат-бот. Шесть из них оказались выдумкой: названия, номера дел и цитаты из решений. 22 июня 2023 года судья оштрафовал юристов и их фирму на $5 000.
Самое поучительное: юрист спросил у чат-бота, настоящие ли это дела. Тот ответил «да» и добавил, что их можно найти в юридических базах. Спрашивать нейросеть, права ли она, бесполезно. Проверять нужно снаружи.
Шесть шагов проверки
Не нужно проверять каждое слово. Проверяйте то, на что будете опираться: факт для документа, цифру для отчёта, совет, по которому примете решение.
Попросите первоисточник
Напишите: «Откуда это? Дай ссылку на первоисточник». Первоисточник это сам закон, исследование, официальный сайт или отчёт компании. Пересказ в блоге или новость «со ссылкой на» им не считается.
Откройте источник сами
Перейдите по ссылке. Страница существует? Это тот самый документ? Найдите в тексте нужное место через поиск по странице (Ctrl+F). Бывает, что ссылка настоящая, а про ваш факт там ни слова.
Сверьте числа и даты
Каждую цифру, сумму, процент и год сверьте с источником. Внимательнее к слишком точным числам. Если данные за прошлые годы, а ответ говорит «сейчас», они могли устареть.
Проверьте цитаты
Скопируйте кусок цитаты в кавычках в поисковик. Если фраза нигде не находится дословно, это пересказ, а не цитата. Не вставляйте её в документ или пост как прямую речь.
Отделите знание от догадок
Попросите: «Отметь, что ты знаешь точно, а что предполагаешь». Нейросеть пишет одинаково уверенно и о проверенном, и о придуманном. Эта просьба помогает увидеть, где ответ держится на догадке.
Найдите второй источник
Проверьте ключевой факт независимо: обычный поиск, официальный сайт или другая нейросеть с включённым поиском по интернету. Два независимых источника сходятся, значит можно опираться. Не сходятся, значит копайте дальше.
Когда ответу пока нельзя верить
- Ссылка не открывается или ведёт на главную страницу либо на ошибку 404.
- Идеальная цитата с номером страницы, которую вы не можете найти.
- Слишком точные числа без источника, вроде «ровно 37,4%».
- Уверенный тон там, где специалисты спорят или данные часто меняются.
- Нейросеть соглашается с вашей формулировкой: на «правда же, что...?» отвечает «да».
- Автор, журнал или закон, о которых вы больше нигде не слышали.
Право, медицина, деньги
Чек-лист снижает риск, но не превращает нейросеть в специалиста. Если ошибка стоит здоровья, денег или суда, ответ ИИ это черновик вопросов, а не решение.
Право
Номера законов, статьи, судебная практика. Сверяйте с официальной базой законов вашей страны, решение принимайте с юристом. Именно здесь ошиблись адвокаты в деле Avianca.
Медицина
Диагнозы, дозировки, сочетание лекарств. Нейросеть поможет подготовить вопросы к врачу, но не заменит его. Не меняйте лечение по совету чат-бота.
Деньги
Налоги, кредиты, инвестиции, договоры. Правила зависят от страны и года. Проверяйте на сайте налоговой или регулятора и обсуждайте с финансовым консультантом.
Промпт «Проверь себя»
Вставьте его после любого важного ответа в ChatGPT, Claude, Gemini или другой нейросети. Он не гарантирует правду, зато показывает, где ответ держится на догадке и что открыть самому в первую очередь.
Проверь свой предыдущий ответ.
1. Раздели утверждения на три группы: «уверен, есть источник», «предполагаю», «не знаю».
2. Для каждого факта, числа, даты и цитаты дай первоисточник: название, автор или организация, год и прямая ссылка. Если точного источника нет, так и напиши: «источник не найден». Не придумывай ссылки.
3. Отметь, что мне стоит перепроверить самому в первую очередь.
4. Если нашёл ошибку, исправь её и скажи, что именно изменилось.Ссылки из ответа всё равно открывайте сами. Нейросеть может исправить одну выдумку и тут же придумать другую.
Отмечайте по ходу проверки
Проверка ловит ошибки. А можно, чтобы их было меньше?
Чек-лист работает после ответа. Следующий шаг: понимать, откуда берутся выдумки, и задавать вопросы так, чтобы нейросети меньше приходилось угадывать.
- Как нейросеть устроена и почему она уверенно ошибается
- Как писать запросы, после которых меньше догадок
- Как получать ответ по вашим файлам, а не по памяти модели
- Типичные ошибки новичков и безопасность данных
Названия сервисов и их режимы, например поиск по интернету, меняются. Описание актуально на октябрь 2026 года, проверяйте текущие возможности в самом сервисе. Факты о деле Mata v. Avianca взяты из решения суда от 22 июня 2023 года.
Хотите понимать нейросети, а не только проверять их?
Всё из блока выше разбираем в курсе «Основы AI». Он для тех, кто не программирует: от того, как устроены модели, до ежедневной работы с ними.
Посмотреть курсЧитать дальше
AI-автоматизацияЕщё по теме
Комментарии