Почему нейросети ошибаются и как не купить галлюцинацию

«Нейросеть знает ответ» — нет, подбирает продолжение

Нейросеть «знает» ответ — это миф: она предсказывает следующий фрагмент текста по вероятностям, выученным на больших объёмах данных. Готовые ответы она не хранит, а складная речь не доказывает знание фактов.

Я бы тоже хотел получать вместе с ответом честную отметку «тут я не знаю». Но отдельного надёжного сигнала у модели нет: ошибка выглядит так же уверенно, как правильный ответ.

Галлюцинации ИИ — правдоподобные, но неверные результаты. Не обязательно очевидная нелепость: ошибочным может оказаться имя, дата, число, ссылка или юридическая формулировка внутри вполне убедительного текста.

Допустим, ты поручил подготовить документ и получил аккуратный результат. Пока факты не сверены, у тебя есть текст для проверки, а не основание для решения.

Я отделяю одно от другого: уверенность формулировки — свойство ответа, а достоверность ещё предстоит установить. Хорошая подача не служит доказательством.

Модель поумнее не заменяет контроль

«Тогда выберу модель получше». Я не против, но надёжность даёт процесс: сверка результата, ограничение полномочий, подтверждение человеком и журнал действий.

Особенно дорого обходятся ошибки в цифрах, датах, именах, ссылках и юридических формулировках. Именно здесь правдоподобие нельзя принимать за правильность.

Представь отчёт для принятия решения. Пока число не сверено с исходными данными, оформление отчёта ничего не доказывает — даже если мне очень нравится, как получилось.

С агентом вопрос шире: он не только выдаёт текст, но и выполняет действия в пределах предоставленных доступов. Значит, проверять нужно не только ответ, но и границу разрешённых действий.

Я разделяю способность выполнить задачу и право принять решение. Если ты позволяешь непроверенному результату запускать следующий шаг, проверка остаётся позади действия, которое должна была остановить.

Поэтому обещание «буду внимательнее» меня не устраивает. Мне нужен понятный порядок: с чем сверяем результат, кто его подтверждает и что агенту запрещено делать самостоятельно.

«Готово» должно подтверждаться свежей проверкой

В Ultima используется метод Spec Code Verification: сначала задаётся требуемый результат, затем выполняется работа, затем проверяется, что получилось.

Работа закрыта, когда проверка на свежем состоянии зелёная. «В прошлый раз работало» — не доказательство того, что задача выполнена сейчас.

Для меня это граница между сообщением о готовности и приёмкой. Само слово «готово» ничего не говорит о том, была ли проведена проверка.

Ультима — мультиагентная ИИ-система оркестрации бизнес-процессов. Агенты выполняют задачи в браузере, работают с файлами, документами и отчётами; решения остаются за человеком.

Пример из практики: при аудите уязвимости агент нашёл и закрыл дыру, через которую шли фрод-заявки. Что делать с находкой, решал человек.

Доступы ограничивают необходимым минимумом: ИИ-агент делает только то, на что получил разрешение, и оставляет след в журнале. Выполнение задачи не означает передачу всех полномочий.

Сделай проверку условием приёмки

Мой практический вывод один: проверка ИИ должна быть условием приёмки, а не необязательной процедурой после внедрения. Это правило нужно закрепить в самой задаче.

Если агент готовит документ, укажи, с чем сверить факты и кто подтвердит результат. Одного требования «подготовить правильно» для описания проверки недостаточно.

Числа сверяй с исходными данными, ссылки — с содержимым по указанному адресу. Повтор той же формулировки моделью не считай независимым подтверждением.

Выдавай доступы под задачу: право подготовить документ не обязано включать право отправить его. Подтверждение человеком должно стоять перед действием, которое требует такого решения.

Сохраняй журнал действий, чтобы видеть, что агент сделал и на каком шаге. Журнал не заменяет сверку результата — это отдельная часть контроля.

Ошибки нейросетей нельзя исключить просьбой «никогда не ошибайся». Поэтому внедрение ИИ я бы оценивал по тому, где процесс остановит непроверенный результат, а не по убедительности демонстрации.

Не выдавай уверенной ерунде право действовать.