Projet RSS Zéro
Suivre
Projet Dodo: Évaluation des capacités de sécurité offensive des grands modèles de langage
Le projet Zero explore le potentiel des grands modèles de langage (LLMs) dans la recherche sur les vulnérabilités. Malgré des scores initiaux faibles au benchmark CyberSecEval2, des méthodes de test raffinées peuvent améliorer significativement les performances des LLM. Le projet Zero propose des principes directeurs pour évaluer les LLM, en mettant l'accent sur la fourniture d'un espace suffisant pour la réflexion, la gestion des limitations du modèle et la garantie de scénarios de test réalistes. La mise en œuvre de ces principes dans leur cadre a augmenté les performances au benchmark CyberSecEval2, avec des scores en tête des tests de débordement de tampon et des résultats améliorés sur les tests de corruption de mémoire avancée. Bien que des progrès aient été faits, le projet Zero souligne la nécessité de benchmarks plus défis et de méthodes plus efficaces pour exploiter pleinement les capacités des LLM.