RSS VentureBeat
Подписаться
Исследователи Google представили «достоверную неопределенность», позволяющую большим языковым моделям предлагать наилучшие предположения вместо галлюцинаций.
Большие языковые модели испытывают трудности с галлюцинациями, что препятствует их использованию в корпоративных приложениях. Современные методы снижения ошибок часто подавляют правильные ответы, создавая "налог на полезность". Исследователи Google предлагают "достоверную неопределенность" — метакогнитивную технику для согласования ответа модели с ее внутренней уверенностью. Это позволяет моделям адекватно выражать неопределенность, например, "Мое лучшее предположение —", избегая подхода "все или ничего". В агентивном ИИ эта метакогниция действует как слой управления, позволяя системам знать, когда следует использовать внешние инструменты для восполнения недостатка информации.
Исторически улучшение фактической точности больших языковых моделей заключалось в увеличении объема фактов, а не в повышении осведомленности о границах знаний. Простое обучение модели большему количеству фактов ограничено конечной емкостью. Трудность для больших языковых моделей заключается в том, чтобы знать, чего они не знают, и воздерживаться. Это часто приводит к тому, что модели отказываются от правильных ответов, тем самым снижая полезность.
Переосмысление галлюцинаций как "уверенных ошибок" позволяет моделям квалифицировать неопределенную информацию. Достоверная неопределенность гарантирует, что лингвистическая неопределенность соответствует внутренней уверенности, поэтому оговорки используются только тогда, когда есть реальная неуверенность. Эта метакогнитивная способность имеет решающее значение для автономных систем.
Для агентивных приложений достоверная неопределенность управляет тем, когда следует извлекать информацию из внешних инструментов. Она помогает агентам избегать поиска уже известной информации или уверенно давать неверные ответы из памяти, когда требуется поиск. Она также помогает оценивать результаты работы инструментов, сопоставляя внешние сигналы с внутренними знаниями.
Обучение достоверной неопределенности включает в себя дообучение под наблюдением, но это сталкивается с "парадоксом самообучения", поскольку цель для неопределенности динамична. Промпт-инжиниринг предлагает доступную отправную точку для предприятий, с доступными фреймворками, такими как MetaFaith. Однако более глубокая метакогниция в конечном итоге потребует продвинутого обучения с подкреплением. Оценка истинной самосознательности моделей остается серьезной проблемой.
