Почему нейросети ошибаются и как не купить галлюцинацию
Нейросеть не знает — она предсказывает. Разбираю, откуда берутся уверенные ошибки и какие правила не дают галлюцинации попасть в твой процесс.
«Нейросеть знает ответ» — нет, подбирает продолжение
Модель не хранит ответы — она предсказывает следующий фрагмент по вероятностям. Складная речь не доказывает знание фактов, а ошибка выглядит так же уверенно, как правильный ответ. Галлюцинации ИИ — правдоподобные, но неверные результаты: имя, дата, число, ссылка.
Модель поумнее не заменяет контроль
Надёжность даёт процесс: сверка, ограничение полномочий, подтверждение человеком, журнал. Агент не только выдаёт текст, но и действует в пределах доступов — проверять нужно оба.
«Готово» подтверждается свежей проверкой
В Ultima метод Spec, Code, Verification: сначала результат, потом работа, потом проверка. Работа закрыта, когда проверка на свежем состоянии зелёная. «В прошлый раз работало» — не доказательство.
Сделай проверку условием приёмки
Я бы сверял числа с исходными данными, ссылки — с содержимым. Доступы выдавай под задачу: право подготовить документ не включает право отправить.
Не выдавай уверенной ерунде право действовать.
Ошибки неизбежны, но в Ультиме проверка и подтверждения встроены в процесс, а не оставлены на удачу — коротко на лендинге.
Что такое Ультима