RSS DEV 커뮤니티

요약을 위한 Graph + LLM 또는 그냥 LLM?

저자는 특정 기준에 따라 여러 문서의 요약을 생성하는 방법을 탐색하고 있습니다. 두 가지 접근 방식을 고려하고 있습니다. 그래프를 생성하고 대규모 언어 모델(LLM)을 사용하여 요약이나 질의 응답을 생성하는 것, 또는 개별 문서의 요약을 생성하고 나중에 결합하는 것입니다. 저자는 주제에 대한 뉴스 기사를 가져오고, 그래프를 생성하고, 정보를 요약하는 코드를 작성했습니다. 코드는 뉴스 기사를 가져오기 위해 DuckDuckGo 검색 API를 사용하고, 문서에서 엔티티와 관계를 추출하기 위해 생성적 인공지능 API를 사용합니다. 엔티티와 관계는 그래프를 생성하는 데 사용되며, 그래프는 주제에 대한 요약을 생성하는 데 사용됩니다. 저자는 그래프를 생성하는 것이 최선의 접근 방법인지 확신하지 못하고 의견을 구하고 있습니다. 코드는 그래프를 생성하기 위해 NetworkX 라이브러리와 그래프를 시각화하기 위해 Matplotlib 라이브러리를 사용합니다. 저자는 요약을 포함한 콘텐츠를 생성하기 위해 Gemini 1.5 Flash 002 모델을 사용하고 있습니다. 생성된 요약은 500-800 단어의 이야기가며, 다양한 뉴스 기사 간의 관계를 활용합니다. 저자는 접근 방식을 개선하고 싶어하며 제안에 열려 있습니다.
favicon
dev.to
Graph + LLM or simply LLM for summarization?