Comment utiliser la génération structurée pour les évaluations LLM-as-a-Judge

La génération structurée est un sous-domaine de l'apprentissage automatique qui guide les sorties des modèles génératifs pour qu'elles s'adaptent à des schémas spécifiques. Elle est utilisée pour s'assurer que le texte généré suit une structure prédéfinie, comme du JSON valide. Cette technique est essentielle pour construire des agents de raisonnement complexes, à plusieurs étapes, dans les évaluations de modèles de langage (LLM), en particulier pour les modèles open source. Le processus implique de définir un schéma et d'analyser la sortie pour s'assurer qu'elle répond aux exigences. Par exemple, une grammaire JSON simple peut être définie à l'aide de la bibliothèque Lark, qui permet de spécifier des chaînes JSON valides et invalides. Pour guider la sortie du modèle, une fonction peut être créée pour échantillonner de manière récursive le modèle, en utilisant une fonction de validation pour vérifier si le texte généré est valide ou incomplet. Cette approche peut ajouter un surcoût computationnel, mais des implémentations optimisées peuvent minimiser l'impact sur la latence. La génération structurée peut être appliquée à des métriques de jugement LLM comme la détection d'hallucinations, où les méthodes heuristiques traditionnelles ont du mal en raison de la subtilité du concept. Une définition universellement acceptée de "hallucination" est nécessaire, et l'une de ces définitions vient d'un article de l'Université de l'Illinois à Champagne-Urbana, qui la décrit comme une sortie générée qui entre en conflit avec les contraintes ou s'écarte du comportement souhaité lors du déploiement réel.