이 논문은 아프리카 의료 분야의 대규모 언어 모델(LLM) 평가를 위한 새로운 벤치마크 데이터셋인 AfriMed-QA를 소개합니다. 이 데이터셋은 16개 아프리카 국가와 60개 의과대학에서 수집한 영어 의료 질문과 답변을 담고 있습니다. AfriMed-QA는 다양한 의료 전문 분야에 걸쳐 객관식 질문, 단답형 질문, 그리고 일반 사용자 질문을 포함합니다. 연구진은 다양한 LLM을 평가했으며, 더 큰 모델이 이 데이터셋에서 더 나은 성능을 보인다는 것을 발견했습니다. LLM 응답에 대한 인간 평가 결과는 특히 일반 사용자 질문에 대해 긍정적인 결과를 보였습니다. 모델 비교 및 진행 상황 추적을 용이하게 하기 위해 리더보드가 생성되었습니다. 연구팀은 데이터셋을 다국어 및 멀티모달 데이터로 확장할 계획입니다. 이 연구는 지리적 대표성을 포함한 한계를 인정하고, 문화적으로 적절한 평가의 필요성을 강조합니다. 이 연구는 다양한 의료 환경에서 LLM을 적용하는 것의 중요성을 강조합니다. AfriMed-QA는 아프리카 및 그 외 지역의 의료 분야에서 공정한 AI 도구 개발을 촉진하는 것을 목표로 합니다. 이 프로젝트는 ACL 2025에서 최우수 사회적 영향 논문상을 수상했습니다. AfriMed-QA 데이터셋과 평가 코드는 공개적으로 이용 가능합니다.