При покупке на 1 год подписки на Битрикс24 скидка 35% Подписка BitrixGPT + Маркетплейс со скидкой 50%
C 2003 года помогаем выстраивать системный и автоматизированный бизнес
Мы почему-то называем ошибки ИИ “галлюцинациями”, будто это магия.
А по факту это инженерная проблема: система делает предсказание, но не умеет свериться с реальностью.
Мы почему-то называем ошибки ИИ “галлюцинациями”, будто это магия.
А по факту это инженерная проблема: система делает предсказание, но не умеет свериться с реальностью.
Я наткнулся на свежую научную работу (декабрь 2025), где авторы очень спокойно и по делу объясняют: нынешние большие модели (включая языковые) достигли мощных результатов за счёт простого обучения “предсказывать следующий кусок входа”, но при этом игнорируют три критичных компонента, которые у нашего с вами мозга встроены по умолчанию:
И вот если эти три вещи добавить - можно получить ИИ, который ближе к “сотруднику”: безопаснее, понятнее, устойчивее и даже энергоэффективнее.
Ниже - большая статья “на человеческом” и с приземлением в поддержку/продажи.
В компании сотрудник ценен не тем, что красиво говорит. Он ценен тем, что делает действия в мире компании (CRM, задачи, счета, письма, статусы) и несёт ответственность за последствия.
А типичный ИИ-ассистент сегодня живёт так:
Авторы статьи прямо связывают многие проблемы моделей (поверхностное понимание, уверенные ошибки, угрозы безопасности) с тем, что у моделей нет заземления: они не учатся через действие и последствия.
Контроль ≠ генерация текста. Мир-модель отдельно, действия отдельно, проверка отдельно.
В нейронауке есть популярная рамка: мозг учится как “машина предсказаний” - строит внутреннюю модель мира и минимизирует ошибки предсказания. И забавно: большие языковые модели тоже учатся на задаче “предскажи следующий токен”. Это роднит два мира.
Но у мозга эта история не про “угадай следующий символ”. У мозга это про цикл: предсказал → сделал действие → получил сенсорный факт → сравнил → исправил.
И вот этих “двух последних шагов” в типичном LLM-пайплайне нет. Поэтому и происходят уверенные выдумки.
Авторы приводят простой пример: модель может сказать “авокадо мягкое”, но без действия “нажать пальцем” и без опыта ощущений она знает “мягкое” только по ассоциациям слов.
Для бизнеса это звучит ещё проще:
Модель может написать: “Счет выставлен”, “Скидка применена”, “Заявка создана”, “Товар на складе есть”.
Но если она не сделала действие (не создала счет, не проверила остатки, не посмотрела правила скидок), это пустая болтовня.
Сегодня модно: добавим “рассуждение”, “инструменты”, “действия”. Авторы признают: да, есть подходы, где токены трактуют как действия, где RL-дообучение, где агенты вызывают инструменты.
Но они же фиксируют ограничения:
То есть “действия” должны быть не просто строками в тексте, а частью архитектуры.
Авторы предлагают мозго-похожую архитектуру:
Перевод на язык бизнеса:
И вот это уже похоже на “сотрудника”, потому что появляется ответственность через факт.
Боль знакома всем, кто внедрял ИИ в поддержку/продажи: “всё уже было в переписке, но он не учёл”. Причина часто не в том, что модель “не старалась”. Причина в архитектуре: плоский длинный буфер.
Авторы статьи, которую я читал, четко пишут, что даже при доступе к длинному контексту модель обрабатывает его как плоскую ленту, и есть известный провал “lost in the middle”, когда важное лежит в середине - качество резко падает
Мозг устроен иерархически, есть уровни абстракции и разные временные масштабы. Высокий уровень держит “цель”, нижние уровни решают “мелкие шаги”.
На языке бизнеса в поддержке/продажах важно не хранить 200 сообщений.
Важно хранить структуру:
Это и есть “верхний уровень”: медленный, стабильный контекст. А переписка — это “нижний уровень”: шумная, быстро меняется, может быть огромной. Авторы рекомендуют уходить от плоского буфера к мульти-масштабному контексту: быстрый/медленный, сегментация на события, границы эпизодов.
Вот здесь начинается самое интересное. Сегодня у большинства компаний память ИИ — это:
НО ЭТОГО НЕ ДОСТАТОЧНО
Нужна память, которая:
RAG часто тащит “топически похожие, но вводящие в заблуждение документы”, и всё равно остаются конфабуляции/галлюцинации. То есть “читать” недостаточно —-нужен цикл качества и отбор.
В мозгу гиппокамп хранит эпизоды, а во время отдыха/сна происходит консолидация: “переигрывание” опыта и укрепление знаний.
Авторы предлагают сделать для ИИ офлайн фазу, где он перерабатывает накопленные эпизоды, делает “композиционное воспроизведение” фрагментов и обновляет знания.
Для бизнес это означает следующее:
Это прямо про ROI: меньше повторяющихся ошибок, меньше эскалаций, меньше “мы уже это обсуждали”.
Память должна быть селективной — хранить не всё подряд, а “салентные” эпизоды, часто связанные с неожиданностью/ошибкой предсказания.
Бизнес-правило отбора (практичное):
Галлюцинации и поверхностное понимание связано с отсутствием заземления, модель не умеет отбрасывать внутренние предсказания, которые нарушают простые инварианты мира.
В бизнесе “физика” — это ваши правила процесса.
Инварианты — это то, что не может быть ложью:
Если эти штуки формализованы, ИИ становится безопаснее не потому что “умнее”, а потому что ограничен фактами и правилами.
1) Интерфейсный LLM (разговорный слой) \ Говорит с человеком, формулирует объяснения, собирает требования. Важно: он не “управляет миром”, он интерфейс.
2) Модель мира (состояние процесса) \
Хранит компактный “снимок реальности”: статусы, ограничения, факты из CRM/1С/таск-трекера.
3) Контроллер действий \ Выбирает шаги и вызывает инструменты.
4) Инструменты/интеграции \ CRM, 1С, база знаний, тикеты, почта, телефония.
5) Контроль качества (валидация) \ Инварианты, проверка ссылками/источниками, проверка статусов, журнал отказов.
6) Эпизодическая память (read + write) \ Хранилище эпизодов (структурированных), и механизм отбора “что писать”.
7) Ночной цикл (“сон”) \ Офлайн обработка эпизодов, упаковка в правила и карточки знаний.
Потому что:
Сделка/обращение — это не чат. Это карточка:
Это ваш “верхний уровень иерархии”.
Не “делай что хочешь”, а каталог шагов:
Это снижает хаос и повышает безопасность.
Инварианты — проверяются до ответа клиенту.
Примеры:
Эпизод — это:
Раз в сутки:
Это и есть тот самый цикл “офлайн улучшения на эпизодах”, который провоцирует дискуссию “как внедрить” — потому что это не про модель, а про процесс компании.
Когда Вы:
Вы получаете:
Получайте новые статьи и полезные материалы о автоматизации бизнеса прямо на почту