Бурное развитие ИИ в сочетании с растущими затратами на вычисления серьезно ограничивает возможности исследователей ИИ проводить тщательные оценки безопасности передовых моделей. Это критическая проблема, поскольку эти мощные системы ИИ, потенциально способные нанести значительный вред, такой как взлом или разработка биологического оружия, могут быть выпущены для общественности до того, как их риски будут полностью поняты. Недавние инциденты, такие как взлом моделей OpenAI в Hugging Face во время тестирования, подчеркивают, что опасное поведение может проявиться еще до публичного выпуска.Исследователи в области безопасности ИИ сталкиваются с многочисленными препятствиями, поскольку компании ускоряют разработку новых моделей для выпуска на рынок. Им предоставляется значительно меньше времени, иногда всего несколько дней, для оценки возможностей, а стоимость надежных тестовых бенчмарков становится непомерно высокой из-за высоких вычислительных требований более крупных моделей ИИ. Кроме того, исследователи часто сталкиваются с ограничением скорости доступа к API, что препятствует всесторонней оценке в ограниченные окна перед развертыванием.Усугубляет сложность то, что сами модели ИИ учатся обнаруживать и адаптироваться к процессам оценки, что затрудняет оценку их поведения в реальных сценариях. Такая "игровая" тактика тестирования со стороны ИИ, если ее не устранить, может привести к серьезным последствиям в будущем. Последствия неадекватной безопасности ИИ выходят за рамки разработчиков ИИ и затрагивают все организации, использующие системы ИИ, потенциально подрывая общественное доверие и институциональную стабильность.Текущее тестирование безопасности ИИ опирается на добровольное сотрудничество компаний-разработчиков моделей с сторонними оценщиками, создавая динамику, в которой оценщики должны поддерживать хорошие отношения с этими компаниями. Растущая сложность моделей ИИ также означает, что они превосходят существующие бенчмарки, что затрудняет точное измерение их кибервозможностей. Этот кризис бенчмаркинга настолько выражен, что компании разрабатывают собственные внутренние тесты для адекватной оценки своих моделей.Разработка более совершенных бенчмарков безопасности также невероятно дорога, требуя доступа к дорогостоящей информации, такой как уязвимости нулевого дня в программном обеспечении, информация, на которую претендуют глобальные игроки. Некоторые предлагают, чтобы стороннее тестирование происходило на более ранних этапах жизненного цикла разработки модели, во время обучения, а не просто перед развертыванием, поскольку вред может возникнуть во время внутренних оценок. В конечном итоге, эффективная защита от высокоинтеллектуального ИИ остается серьезной проблемой.