Microsofts GraphRAG-implementering har effektivt använts för att bygga kunskapsgrafer från källtextdokument bearbetade genom en stor språkmodell (LLM). Utgången är strukturerad information om entiteter och deras relationer, vilket sedan bearbetas med grafalgoritmer som Leidens community detection-algoritm för att generera sammanfattningar. Denna inlägg diskuterar hur man lagrar GraphRAG-utgång i Neo4j och implementerar lokala och globala sökare med hjälp av LangChain eller LlamaIndex. Datat som används är "En julsaga" av Charles Dickens. Även om graffektextraktionsprocessen kan hoppas över, är vissa viktiga konfigurationer att välja entitets typer (organisationer, personer, händelser, geo) och ställa in maximala skördar för att utföra flera extraktionspass för omfattande informationsinsamling. Utgången från graffektextraktionspipelinen lagras som parquet-filer, vilka sedan importeras till Neo4j. Importprocessen kan utföras med hjälp av en kostnadsfri molnbaserad Aura-instans eller en lokal Neo4j-miljö, med importkoden tillhandahållen som en Jupyter-anteckningsbok på GitHub. Efter att ha importerat data till Neo4j utförs en enkel grafanalys med hjälp av Cypher-frågor för att förstå strukturen och innehållet i den extraherade datan. Till exempel kan fördelningen av extraherade entiteter och nodgrader analyseras för att få insikter i datan. De extraherade entiteterna och deras relationer visualiseras och valideras med hjälp av Neo4j Browser. För att implementera sökare, använder den lokala sökaren vektor sökning för att identifiera relevanta noder och sedan traversera länkad information för att injicera i LLM-prompten. Vektorindexet konfigureras, och sökningsfrågan definieras för att samla in relevant textdata, såsom textbitar, communityrapporter och relationsbeskrivningar. Detta implementeras med både LangChain och LlamaIndex, med sökningsfrågan anpassad för varje ramverk. Den globala sökaren, å andra sidan, itererar över communitysammanfattningar på en specificerad hierarkisk nivå, genererar intermediära sammanfattningar och en slutlig respons. Denna strategi förenklar sökningsprocessen men kräver att man väljer den lämpliga hierarkiska nivån för de bästa resultaten. Sammanfattningsvis, integreringen av GraphRAG med Neo4j och sökarramverk som LangChain och LlamaIndex möjliggör avancerad dataåtkomst från strukturerade kunskapsgrafer, utnyttjande både lokala och globala sökningsstrategier. Denna implementering visar de praktiska tillämpningarna av GraphRAG vid analys och fråga om strukturerad information extraherad från textkällor.