Сообщество RSS DEV
Подписаться
Я отправил ядро эффективности и безопасности LLM — и удалил свою лучшую идею.
Автор попытался улучшить большие языковые модели, объединив несколько LLM вместе, что было названо "митозом". Этот подход включал разделение задач, конкуренцию между LLM и последующий синтез лучшего ответа. Однако тщательное тестирование показало, что этот метод ухудшил точность, снизив процент прохождения тестов с 95% до 83%, при этом значительно увеличив затраты. После подтверждения этих негативных результатов в трех независимых экспериментах автор удалил неудачную функцию. Главный урок заключается в том, что идея, которая хорошо звучит в презентации, может не выдержать реальных измерений. Вместо этого автор разработал и выпустил BIOMA, легкое, не зависящее от поставщика ядро, которое предварительно обрабатывает запросы LLM. BIOMA использует три ключевых механизма: эффективность за счет "апоптоза" контекста для сокращения использования токенов, безопасность через "когнитивный файрвол" для сокрытия секретов и обнаружения перегрузок, а также скорость благодаря эффективной системе сигнализации. Механизм эффективности обычно сокращает входные токены на 80% и может достигать до 97% сокращения. Функции безопасности успешно предотвратили утечку каких-либо секретов во время упражнений по "красной команде". BIOMA разработан для работы с любым поставщиком LLM без привязки к поставщику. Код доступен в исходном виде под лицензией, разрешающей бесплатное использование в неконкурирующих целях, и через два года переходит в MIT. Автор подчеркивает важность измерения всего и сохранения только того, что подтверждено данными, даже если это означает отказ от первоначальной цели проекта.