この論文は、アフリカの医療分野における大規模言語モデル（LLM）を評価するための新しいベンチマークデータセットであるAfriMed-QAを紹介しています。このデータセットは、16のアフリカ諸国と60の医学部から収集された、英語の医療に関する質問と回答をまとめたものです。AfriMed-QAには、多肢選択問題、短答問題、および様々な医療専門分野にわたる消費者からの質問が含まれています。著者らは様々なLLMを評価し、より大規模なモデルがこのデータセットでより良いパフォーマンスを発揮することを発見しました。LLMの回答に対する人間による評価では、特に消費者からの質問に対して有望な結果が得られました。モデルの比較と進捗状況の追跡を容易にするために、リーダーボードが作成されました。チームは、多言語およびマルチモーダルデータを含むようにデータセットを拡張する予定です。この研究では、地理的表現など、いくつかの限界が認められており、文化的に関連性の高い評価の必要性が強調されています。この研究は、多様な医療環境でのLLMの利用に適応させることの重要性を強調しています。AfriMed-QAは、アフリカおよびそれ以外の地域における医療のための公平なAIツールの開発を促進することを目指しています。このプロジェクトは、ACL 2025でBest Social Impact Paper Awardを受賞しました。AfriMed-QAデータセットと評価コードは、オープンに利用可能です。