Цифровые «галлюцинации»: почему фактчекинг необходим при работе с ИИ-текстами
ИИ умеет писать быстро, убедительно и красиво, но не всегда его слова – правда. О том, что даже самые умные алгоритмы не освобождают человека от ответственности за проверку фактов, мы поговорили с Юрием Чеховичем, кандидатом физико-математических наук, экспертом в области академической этики, машинного обучения и ИИ, основателем сервиса интеллектуальной проверки академических работ domate.
Галлюцинации машин могут стоить не только репутации, но и миллионов. Тому примером недавняя история, которая произошла с консалтинговой компанией Deloitte Australia. Суть в том, что компания передала в Департамент занятости и трудовых отношений отчёт о работе, который содержал ошибки – несуществующие ссылки на академические статьи, выдуманные цитаты из решения Федерального суда и даже неправильно написанное имя судьи. Проблемы обнаружил академик Кристофер Радж из Сиднейского университета, предположив, что отчёт составлен с помощью ChatGPT.
Инцидент вызвал резонанс: сенатор Дебора О’Нил заявила, что «у Deloitte проблемы с человеческим интеллектом» и предложила австралийскому правительству просто купить подписку на ChatGPT. Для консалтингового гиганта, активно продвигающего ИИ-услуги, ситуация стала мощным ударом по имиджу, особенно с учётом того, что компания сама подчёркивает необходимость человеческой проверки результатов ИИ-моделей.
В итоге после разбирательств руководство Deloitte признало ошибку и согласилось вернуть часть гонорара – сумма составила 440 тысяч долларов.
Эта история стала показательной для мировой научной и профессиональной среды. Компания, входящая в «большую четвёрку» – группу крупнейших мировых консалтинговых и аудиторских фирм – признала, что использовала искусственный интеллект при подготовке отчёта для австралийского правительства, и из-за ошибок в тексте была вынуждена вернуть почти полмиллиона долларов.
Почему этот случай важен? Потому что Deloitte – символ надёжности и безупречных стандартов. Их отчёты считаются эталоном качества, а услуги стоят дорого именно из-за репутации и профессионализма. Но даже «лучшие из лучших» доверили часть работы искусственному интеллекту и не проверили итог на «галлюцинации» вручную – не провели фактчекинг. Этот кейс наглядно показывает, что без человеческого контроля ИИ способен подвести даже тех, кто привык к эталонной точности.
Ошибки, связанные с использованием ИИ, становятся заметными, как правило, только у крупных компаний, когда ситуация выходит в публичное поле и превращается в скандал. У малого бизнеса всё иначе: если искусственный интеллект допустил неточность, это, скорее всего, останется внутри. Статистику подобных случаев никто не ведёт, ведь заказчики уверены, что специалисты подходят к работе внимательно, даже если на деле часть задач давно делегирована алгоритмам.
Кто должен нести ответственность?
Потеря доверия к компании со стороны клиентов может обойтись дороже любых штрафов. Кто же должен нести ответственность за непроверенные факты, выдуманные цифры и прочие ошибки? Сейчас это вопрос повышенной важности для многих компаний, использующих ИИ в своих процессах.
Если компания использует нейросети при подготовке отчётов или аналитических материалов, это должно быть чётко прописано в договоре с клиентом. Исполнитель обязан гарантировать качество результата вне зависимости от того, человек или алгоритм готовил материалы. В случаях, когда ошибка обнаружена, ответственность несёт поставщик услуги: именно он должен обеспечивать надлежащую проверку данных, вносить правки и выплачивать компенсацию в случае обнаружения проблем.
Избежать подобных ситуаций было бы можно, если бы действовала эффективная система внутреннего контроля качества. В крупных компаниях ответственность за итоговый отчёт обычно несёт ответственный сотрудник, который ставит свою подпись в финальной версии документа, или отдельная команда, задача которой – удостовериться, что работа выполнена на должном уровне.
Но на практике такой контроль требует почти столько же усилий и затрат, сколько сама подготовка отчёта, поэтому система сегодня даёт сбои. Решение кроется в выстраивании прозрачных, но строгих правил проверки, а также в обучении сотрудников этичному и ответственному использованию ИИ.
Правила грамотной проверки фактов
Фактчекинг – это не формальность и не «галочка» в конце отчёта, а важный этап подготовки любого текста, особенно если в процессе участвует искусственный интеллект. Главная проблема сегодня даже не в том, что ИИ иногда «галлюцинирует», а в том, что какая-либо последующая проверка банально отсутствует. Стоит начать делать её системно – и большинство проблем исчезнут сами собой.
Каждое утверждение, каждая цифра, каждая ссылка, полученная с помощью ИИ, должны пройти верификацию. Если в тексте указаны ссылки, необходимо убедиться, что они реально существуют и ведут к тем источникам, о которых идёт речь в тексте. Если это библиографические ссылки, важно проверить, публиковалась ли вообще такая работа и действительно ли в ней есть те данные, на которые ссылается автор. ИИ нередко «выдумывает» правдоподобные, но несуществующие статьи, цитаты и фамилии.
То же касается фактов и статистики. Любые цифры требуют перехода к первоисточнику: нужно не просто удостовериться в наличии таких данных, но и проверить, насколько корректно они интерпретированы. Источник должен быть авторитетным – официальным, рецензируемым, признанным в профессиональном сообществе.
Галлюцинация – это не просто опечатка, а уверенное, но ложное утверждение, поданное с видом достоверного факта: бывает, модель уверяет, что привела данные в нужном формате или сослалась на реальное исследование, хотя на деле такого источника не существует. Это свойство генеративных моделей связано с их природой: они не «знают» истину, а лишь формируют правдоподобные ответы на основе вероятностных связей в обучающих данных. Поэтому результат может выглядеть убедительно, но не иметь ничего общего с реальностью.
Сегодня самая распространённая ошибка – считать, что использование ИИ экономит время и силы. На практике всё наоборот: результаты, полученные машиной, почти всегда требуют внимательной перепроверки. Иначе под видом автоматизации компания или отдельный автор рискует понести репутационные или даже финансовые убытки.
Поэтому при работе с текстами, созданными алгоритмами, важно помнить одно простое правило: доверяй, но проверяй, а лучше – не доверяй вовсе.
Представьте, что вы получили статью от неизвестного вам автора, верить на слово которому у вас нет повода. Да, его текст выглядит аккуратно и убедительно, но за каждой цитатой и цифрой могут скрываться искажения и ошибки. Именно в таком «режиме паранойи» и стоит подходить к проверке текстов, созданных ИИ.
С проверенными экспертами ситуация иная: если вы уже работали с человеком, знаете границы его компетентности и не раз убеждались в точности его данных, можете полагаться на него и дальше. Искусственный интеллект не даёт такой гарантии. Даже если однажды модель выдала безупречный текст, это не значит, что при следующем запросе она не ошибётся. Каждый новый результат требует новой проверки.
И конечно, важно учитывать, что системы искусственного интеллекта постоянно меняются. Они не статичны – обновляются алгоритмы, корректируются внутренние параметры, изменяются методы генерации ответов. Иногда на работу модели влияет даже нагрузка на сервер: при большом потоке запросов она может «срезать углы», упуская важные детали. Всё это делает поведение ИИ непредсказуемым.
Какова цена ошибки
Проблема использования ИИ в текстах – это не про опечатки в рецептах и не про неточности в формулировках. Когда дело касается медицины, права или даже международных путешествий, цена неверного ответа может оказаться слишком высокой.
Если чат-бот перепутает ингредиенты блюда, максимум, что случится – ужин пойдёт насмарку. Но если пользователь ищет советы по приёму лекарств или ответы на юридические вопросы, ошибка может стоить ему здоровья, времени и денег. Если вы летите в другую страну и не знаете, нужна ли вам виза, эффективнее будет поискать ответ на сайте посольства, а не спрашивать у ИИ.
Подобные ситуации показывают, что в вопросах здоровья и безопасности доверять алгоритмам без проверки нельзя. Даже самая продвинутая модель способна галлюцинировать и выдавать убедительные, но неверные факты. Поэтому критическое мышление и фактчекинг остаются обязательными инструментами для всех, кто взаимодействует с искусственным интеллектом.
Несмотря на развитие технологий, сверка фактов пока остаётся в основном ручной работой, особенно когда речь идёт о проверке текстов и научных источников. Да, существуют профессиональные службы и специалисты, которые занимаются проверкой информации на уровне общественно значимых данных – например, чтобы опровергнуть фейковые новости или устоявшиеся заблуждения. Для большинства пользователей инструменты проще: поискать источники в интернете, перейти по сгенерированным ссылкам, внимательно прочитать материалы, не принимая на веру убедительно оформленные, но непроверенные утверждения.
Как приучить студентов проверять факты при использовании ИИ в работе
Актуальная задача для образования сегодня – интеграция фактчекинга в процессы. Проверка фактов должна стать частью курсов по академическому письму, начиная со школьного уровня, чтобы студенты умели не только писать, но и проверять информацию. Если ошибки в фактах обнаружены (например, указаны несуществующие источники или приведены ложные данные), ответственность полностью ложится на автора работы, то есть на студента.
Для преподавателей проверка фактов в студенческих работах требует огромных усилий, поэтому им остаётся пользоваться детекторами ИИ и обращать внимание на наличие признаков, свойственных алгоритмам.
Что касается последствий, здесь многое зависит от политики конкретного учебного заведения. Чаще всего при обнаружении в работе ИИ-следов студенту предлагают переделать работу или выполнить альтернативное задание, чтобы подтвердить собственные знания. В случае серьёзных нарушений возможны и более строгие меры. Если работа содержит ложные факты, это означает, что на данный момент студент не подтвердил свои знания и навыки. Оценка должна отражать уровень квалификации студента – вот что главное.
