Grosses Sprachmodell der EPFL für medizinisches Wissen

Grosse Sprachmodelle (Large Language Models, LLMs) sind Deep-Learning-Algorithmen, die auf riesigen Textmengen trainiert werden, um Milliarden mathematischer Beziehungen zwischen Wörtern (auch «Parameter» genannt) zu lernen. Sie sind den meisten von uns als algorithmische Grundlage für Chatbots wie ChatGPT von OpenAI und PaLM, das für Bard von Google verwendet wird, bekannt. Die grössten Modelle von heute haben Hunderte von Milliarden von Parametern und kosten ebenfalls Milliarden von Dollar für ihr Training.

Während generalistische Modelle wie ChatGPT den Nutzerinnen und Nutzern bei einer Reihe von Aufgaben helfen können, die von E-Mails bis zu Gedichten reichen, können Modelle, die sich auf einen bestimmten Wissensbereich konzentrieren, kleiner und leichter zugänglich sein. So können beispielsweise LLMs, die sorgfältig auf hochwertiges medizinisches Wissen trainiert werden, den Zugang zu evidenzbasierten Informationen demokratisieren, um die klinische Entscheidungsfindung zu unterstützen.

Es wurden bereits zahlreiche Anstrengungen unternommen, um das medizinische Wissen und die Argumentationsfähigkeiten von LLMs zu nutzen und zu verbessern, aber bisher ist die daraus resultierende KI entweder Closed Source (z. B. MedPaLM und GPT-4) oder in ihrem Umfang mit etwa 13 Milliarden Parametern begrenzt, was ihren Zugang oder ihre Fähigkeit einschränkt.

In dem Bestreben, den Zugang und die Darstellung zu verbessern, haben Forschende der EPFL School of Computer and Communication Sciences MEDITRON 7B und 70B entwickelt, zwei Open-Source-LLMs mit 7 bzw. 70 Milliarden Parametern, die an den medizinischen Bereich angepasst sind und in ihrem Papier MEDITRON-70B: Scaling Medical Pretraining for Large Language Models beschrieben werden.

Aufbauend auf dem von Meta veröffentlichten, frei zugänglichen Llama-2-Modell und unter ständiger Mitwirkung von Klinikerinnen und Biologen wurde Meditron auf sorgfältig kuratierten, hochwertigen medizinischen Datenquellen trainiert. Dazu gehörten von Expertinnen und Experten begutachtete medizinische Literatur aus frei zugänglichen Quellen wie PubMed und ein einzigartiger Satz verschiedener klinischer Praxisleitlinien, die mehrere Länder, Regionen, Krankenhäuser und internationale Organisationen abdecken.

«Nach der Entwicklung von Meditron haben wir es anhand von vier wichtigen medizinischen Benchmarks evaluiert, die gezeigt haben, dass seine Leistung alle anderen verfügbaren Open-Source-Modelle sowie die geschlossenen Modelle GPT-3.5 und Med-PaLM übertrifft. Meditorn-70B liegt sogar innerhalb von 5 % von GPT-4 und 10 % von Med-PaLM-2, den beiden leistungsstärksten, aber geschlossenen Modellen, die derzeit auf medizinisches Wissen zugeschnitten sind», so Zeming Chen, Hauptautorin und Doktorandin im Natural Language Processing Lab (NLP) von Professor Antoine Bosselut, der das Projekt federführend betreut.

In einer Welt, in der viele Menschen dem rasanten Fortschritt der künstlichen Intelligenz misstrauisch oder sogar ängstlich gegenüberstehen, betont Professor Martin Jaggi, Leiter des Labors für maschinelles Lernen und Optimierung (MLO), wie wichtig es ist, dass Meditron von der EPFL als Open-Source-Projekt entwickelt wurde, einschliesslich des Codes für die Kuratierung des medizinischen Pretraining-Korpus und der Modellgewichte.

«Es ist transparent, wie Meditron trainiert wurde und welche Daten verwendet wurden. Wir möchten, dass Forschende unser Modell einem Stresstest unterziehen und es durch ihre Verbesserungen zuverlässiger und robuster machen, indem sie in dem langen und notwendigen Prozess der Validierung in der realen Welt auf der Sicherheit des Tools aufbauen. All dies ist bei den geschlossenen Modellen, die von den grossen Technologieunternehmen entwickelt werden, nicht möglich», erklärt er.

Professor Mary-Anne Hartley, Ärztin und Leiterin des Labors für intelligente globale Gesundheitstechnologien, das gemeinsam im MLO und der Yale School of Medicine angesiedelt ist, leitet die medizinischen Aspekte der Studie: «Wir haben Meditron von Anfang an unter dem Aspekt der Sicherheit entwickelt. Einzigartig ist, dass es medizinisches Wissen aus transparenten Quellen mit hochwertiger Evidenz kodiert. Jetzt kommt es darauf an, sicherzustellen, dass das Modell diese Informationen angemessen und sicher vermitteln kann.»

Eine dieser Quellen für hochwertige Erkenntnisse sind die klinischen Praxisleitlinien des Internationalen Komitees vom Roten Kreuz.

«Es kommt nicht oft vor, dass neue Gesundheitstools die Bedürfnisse humanitärer Kontexte berücksichtigen», sagt Dr. Javier Elkin, Leiter des Digital Health Program beim Internationalen Komitee vom Roten Kreuz (IKRK). «Das IKRK ist ein wichtiger Hüter humanitärer Grundsätze, und wir freuen uns über die Zusammenarbeit mit dieser EPFL-Initiative, die es uns ermöglicht, unsere Richtlinien in die Technologie zu integrieren.»

Im Rahmen eines vom EssentialTech Centre an der EPFL koordinierten Humanitarian Action Challenge Grant wird Anfang Dezember ein gemeinsamer Workshop in Genf das Potenzial – aber auch die Grenzen und Risiken – dieser Art von Technologie erkunden, mit einer speziellen Sitzung der Autoren zu MEDITRON.

«Wir haben Meditron entwickelt, weil der Zugang zu medizinischem Wissen ein universelles Recht sein sollte», so Bosselut, «und wir hoffen, dass es sich als nützlicher Ausgangspunkt für Forschende erweisen wird, die diese Technologie in ihrer Praxis sicher anpassen und validieren wollen.»