При покупке на 1 год подписки на Битрикс24 скидка 35% Подписка BitrixGPT + Маркетплейс со скидкой 50%
C 2003 года помогаем выстраивать системный и автоматизированный бизнес
Раньше вопросно-ответные системы на базе RAG были "только для чтения".
Один раз загрузили документы — и дальше ассистент лишь вытаскивает фрагменты и отвечает.
А теперь появляется более интересная идея: ассистент может становиться умнее после запуска — не через переобучение модели, а через аккуратное пополнение базы знаний тем, что он сам сгенерировал в ходе работы.
Раньше вопросно-ответные системы на базе RAG были "только для чтения".
Один раз загрузили документы — и дальше ассистент лишь вытаскивает фрагменты и отвечает.
А теперь появляется более интересная идея: ассистент может становиться умнее после запуска — не через переобучение модели, а через аккуратное пополнение базы знаний тем, что он сам сгенерировал в ходе работы.
Но тут же ловушка: если просто “дописывать всё подряд”, база очень быстро засорится выдумками и начнётся самоподкрепляющаяся деградация — ассистент будет находить и подтверждать собственные ошибки.
В статье предложена архитектура, которая решает эту проблему: двунаправленный RAG — RAG с безопасной обратной записью в базу знаний через многоступенчатую проверку качества.
Классический RAG решает сразу несколько задач:
Но у него есть фундаментальный минус: корпус (база знаний) статичен.
Система устроена так, что поток идёт в одну сторону: запрос → поиск по базе → генерация ответа
И всё.
А теперь важная мысль: во время реальной эксплуатации ассистент постоянно генерирует очень ценные “артефакты знаний” — пояснения, выжимки, синтез информации из разных фрагментов. Часто это даже полезнее, чем исходные куски документов.
Но мы эти артефакты… просто выбрасываем после каждого ответа.
Отсюда естественный вопрос: а почему бы не сохранять лучшие ответы, чтобы потом находить их поиском и отвечать быстрее и точнее?
Кажется, что решение простое:
Но есть главная угроза: наивная запись всех ответов обратно быстро загрязняет базу выдумками, и дальше запускается цикл деградации — система начинает подтверждать собственные ошибки и ухудшается итерация за итерацией.
Это важная управленческая мысль:
И вот почему это особенно опасно: загрязнение базы трудно откатить, поэтому лучше иногда “недобавить полезное”, чем один раз добавить вредное. Ложные отказы лучше ложных допусков.
Предлагается схема, в которой поток становится двусторонним:
То есть система “учится” не через переобучение модели, а через управляемое расширение базы знаний.
Ключевая часть — многоступенчатый слой принятия, который решает задачу безопасности: что можно записывать, а что нельзя.
Проверки идут последовательно:
Смысл: каждое предложение ответа должно следовать из найденных документов.
Используются модель проверки “следует / не следует” между фрагментом источника и предложением ответа.
И вводят порог: средняя оценка опоры должна быть не ниже 0,65, иначе ответ не принимается.
Смысл: если ответ содержит ссылки на документы, они должны ссылаться на то, что реально было найдено поиском.
Иначе — отказ.
Смысл: не плодим дубликаты и почти-дубликаты.
Если новый ответ слишком похож на то, что уже есть в базе, то добавлять его бессмысленно и даже вредно (раздувает базу).
Порог новизны в статье: не ниже 0,10.
И вот после трёх проверок происходит простое решение: принять и записать / отклонить и не записывать.
Одна из сильных идей статьи: кроме “принятых” ответов, авторы предлагают хранить журнал причин отказов — то есть объяснения, почему ответы не прошли проверку.
И использовать этот журнал при будущих запросах: подмешивать прошлые предупреждения и ошибки, чтобы ассистент не повторял те же провалы.
Это очень практичный подход:
Независимые исследователи называют это “обучением без загрязнения базы”.
Авторы сравнили три системы:
Покрытие — это доля запросов, для которых поиск находит релевантные материалы.
То есть двунаправленный вариант почти вдвое лучше обычного RAG по покрытию, но при этом не “срывается в неконтролируемый рост”, как наивный вариант.
То есть на 72% меньше, чем наивный подход.
Тут очень показательно:
Наивный подход сильно “ломает доверие” к ссылкам — потому что база пополняется некачественными материалами и ссылки перестают быть точной опорой.
Двунаправленный RAG удерживает качество ссылок заметно лучше, потому что есть проверка и отбраковка.
Да, проверки увеличивают время:
Исследования отмечают важный контекст: такой режим особенно разумен для офлайн-пополнения базы, где качество важнее скорости.
Если перевести идею статьи на реальный бизнес-процесс, получается понятная картина:
В итоге база знаний становится живой, но не теряет управляемость.
По сути, вы получаете слой “управления знаниями” поверх RAG:
Исследователи сами проговаривают ограничения:
И это, на самом деле, плюс: статья не продаёт “магическую таблетку”, а показывает инженерную дисциплину.
Главный вывод статьи простой:
Самоулучшающийся RAG возможен, если есть строгая приёмка.
Обычный RAG — безопасный, но не развивается. \
Наивная запись — развивается быстро, но разрушает доверие и засоряет базу.
Двунаправленный РАГ — середина: растёт, но под контролем.
И вот что для меня тут самое интересное: это шаг к системам, которые реально “учатся после запуска” без переобучения модели — через дисциплину работы с знаниями.
Получайте новые статьи и полезные материалы о автоматизации бизнеса прямо на почту