Dieser Artikel stellt AfriMed-QA vor, einen neuartigen Benchmark-Datensatz zur Bewertung großer Sprachmodelle (LLMs) im Kontext der afrikanischen Gesundheitsversorgung. Der Datensatz umfasst medizinische Fragen und Antworten in englischer Sprache aus 16 afrikanischen Ländern und 60 medizinischen Fakultäten. AfriMed-QA enthält Multiple-Choice-Fragen, Fragen mit kurzen Antworten und Verbraucheranfragen aus verschiedenen medizinischen Fachgebieten. Die Autoren evaluierten verschiedene LLMs und stellten fest, dass größere Modelle auf diesem Datensatz besser abschnitten. Menschliche Bewertungen der LLM-Antworten zeigten vielversprechende Ergebnisse, insbesondere bei Verbraucheranfragen. Eine Bestenliste wurde erstellt, um den Modellvergleich zu erleichtern und den Fortschritt zu verfolgen. Das Team plant, den Datensatz um mehrsprachige und multimodale Daten zu erweitern. Die Studie räumt Einschränkungen ein, einschließlich der geografischen Repräsentation, und hebt die Notwendigkeit kulturell relevanter Bewertungen hervor. Die Forschung unterstreicht die Bedeutung der Anpassung von LLMs für den Einsatz in vielfältigen Gesundheitseinrichtungen. AfriMed-QA zielt darauf ab, die Entwicklung gerechter KI-Tools für die Gesundheitsversorgung in Afrika und darüber hinaus zu fördern. Dieses Projekt erhielt den Best Social Impact Paper Award auf der ACL 2025. Der AfriMed-QA-Datensatz und der Evaluierungscode sind öffentlich zugänglich.