Amélioration de la qualité et de l'interprétabilité des LLM avec le service d'évaluation Vertex Gen AI

Les développeurs qui utilisent de grands modèles de langage (LLM) sont confrontés à deux défis majeurs : gérer l'aléatoire des sorties LLM et atténuer leur tendance à produire des informations incorrectes. L'imprévisibilité des LLM peut être à la fois un atout créatif et un obstacle, en particulier lorsque la cohérence et l'exactitude factuelle sont essentielles. Cette aléatoire, bien qu'elle soit utile pour générer du contenu créatif, peut entraîner des "hallucinations" où le modèle produit avec confiance des informations erronées, réduisant ainsi la confiance dans sa fiabilité. De nombreux tâches, comme résumer des informations ou créer du contenu marketing, n'ont pas de réponse unique correcte, ce qui rend la variabilité des LLM à la fois un défi et une opportunité. Par exemple, une institution financière a besoin de s'assurer que les résumés des conversations avec les clients sont précis, concis et bien écrits. Ils ont abordé ce problème en générant plusieurs réponses LLM et en utilisant le service d'évaluation Vertex Gen AI pour sélectionner la meilleure. En générant plusieurs versions d'un résumé avec une aléatoire contrôlée, ils ont augmenté la probabilité de trouver une réponse optimale. Ces réponses ont ensuite été comparées à l'aide d'une évaluation par paires pour identifier la plus précise et la plus pertinente. Enfin, la meilleure réponse a été évaluée à l'aide d'une évaluation point à point pour s'assurer qu'elle répondait aux normes de qualité, avec des scores et des explications pour la transparence. Ce flux de travail, qui peut être adapté pour différentes utilisations et modalités, transforme la variabilité LLM en force en évaluant systématiquement et en sélectionnant la meilleure sortie, améliorant ainsi la qualité, la fiabilité et la confiance dans le contenu généré par LLM.