RSS Проект Ноль
Подписаться
Проект "Сонное Время": Оценка возможностей по обеспечению информационной безопасности больших языковых моделей
Проект Zero исследует потенциал больших языковых моделей (БЯМ) в исследовании уязвимостей. Несмотря на низкие начальные оценки в бенчмарке CyberSecEval2, усовершенствованные методологии тестирования могут значительно улучшить производительность БЯМ. Проект Zero предлагает основные принципы оценки БЯМ, уделяя особое внимание обеспечению достаточного пространства для рассуждений, преодолению ограничений модели и обеспечению реалистичных сценариев тестирования. Реализация этих принципов в их фреймворке привела к улучшению результатов в CyberSecEval2, достигнув высоких оценок в тестах на переполнение буфера и улучшив результаты в тестах на сложные повреждения памяти. Хотя прогресс достигнут, Проект Zero подчеркивает необходимость в более сложных бенчмарках и эффективных методологиях для полного использования возможностей БЯМ.