Разработчики из Университета Решетнева предложили метод, который помогает сократить случаи, когда нейросети выдают неверную информацию. Этот метод можно использовать в образовании, на портале «Госуслуги», а также в медицине и юриспруденции.
Сейчас проблему частично решают с помощью RAG-систем, где нейросеть сначала ищет данные в базе знаний, а затем формирует ответ. Однако это не устраняет ошибки полностью, так как они могут возникать из-за опечаток или противоречивых запросов.
Команда под руководством Анастасии Поляковой изучила типичные ошибки и создала их классификатор. Они разработали автоматизированный процесс тестирования, который сравнивает ответы с эталоном и оценивает точность.
Главным достижением стало создание модуля мониторинга, который работает в реальном времени. Он следит за запросами и оценивает риск неверных ответов, присваивая нейросети степень уверенности. В случае ошибки модуль уведомляет оператора.
Методика универсальна и подходит для различных моделей, от чат-ботов до медицинских и юридических помощников.
