Les équipes ont souvent du mal avec des invites dispersées, des itérations inefficaces et des difficultés à suivre les améliorations de performance. LLM-Evalkit est une application open-source conçue pour structurer ce processus. C'est un framework léger construit sur les SDK Vertex AI utilisant Google Cloud. LLM-Evalkit centralise et rationalise l'ingénierie des invites pour une itération plus efficace. Actuellement, la gestion des invites sur Google Cloud est fragmentée, ce qui entraîne des efforts dupliqués et des résultats incohérents. LLM-Evalkit regroupe ces outils en une seule application cohérente pour la création, les tests, le versioning et l'évaluation comparative. Cela permet un meilleur suivi de l'historique des invites et des performances, créant un système d'enregistrement fiable. Il fait passer l'itération des invites d'une "sensation" subjective à une mesure systématique et basée sur les données. Les équipes définissent des problèmes spécifiques, rassemblent des ensembles de données pertinents et construisent des mesures concrètes pour une notation objective. LLM-Evalkit offre également une interface conviviale sans code pour rendre l'ingénierie des invites accessible aux non-développeurs. Cela démocratise le processus, permettant une itération plus rapide et une meilleure collaboration. Il aide les équipes à passer d'une expérimentation ad hoc à un flux de travail structuré et efficace.