Déverrouillez le pouvoir de l'ETL piloté par LLM : transformez des CSV variables en JSON propre avec C#, noyau sémantique et Llama 3.2-3B

Ce projet démontre un processus ETL alimenté par un modèle de langage (LLM) dans une application console .NET 8. Les processus ETL traditionnels ont du mal à gérer les changements de noms de colonnes CSV, mais cette approche utilise un LLM pour inférer les mappages de colonnes à l'exécution. En échantillonnant les premières lignes d'un fichier CSV, l'application interroge un modèle léger llama3.2-3B pour identifier lesquelles colonnes CSV correspondent à un schéma de client fixe. Le mappage inféré est ensuite utilisé pour transformer l'ensemble du fichier CSV. Le processus convertit les données CSV dynamiques en un enregistrement de client structuré avec des champs Id, Nom, Adresse e-mail, Date d'inscription et État actif. Les méthodes `Convert` et `Lookup` gèrent la normalisation des données et les conversions de type, y compris l'analyse de dates flexible. L'application diffuse le fichier CSV complet, traite chaque ligne en utilisant le mappage généré par le LLM, et produit un JSON délimité par des lignes. Cette méthode élimine la nécessité de fichiers de configuration fragiles et gère les données réelles désordonnées avec grâce. La solution entière est construite avec environ 150 lignes de code C#, en exploitant le noyau sémantique et Ollama. Cela montre le pouvoir des LLM pour l'intégration de données dynamiques, offrant une alternative robuste et efficace aux méthodes ETL traditionnelles.