So können Unternehmen ChatGPT verantwortungsvoll nutzen

In seinem heute veröffentlichten Impulspapier „Besser versichert mit ChatGPT?“ ermutigt der Wissenschaftliche Beirat für digitale Transformation der AOK Nordost Krankenkassen, die Gesundheitsversorgung mit generativer KI zu verbessern.

„Krankenkassen sollten sich dem Einsatz von generativer KI grundsätzlich öffnen, denn die Chancen sind groß“, sagt Inga Bergen. Sie ist Sprecherin des Expertengremiums und hat bereits zwei Unternehmen im Bereich eHealth als CEO aufgebaut. Wenn Unternehmen bereit seien, in Kooperation mit Expertinnen und Experten unternehmensinterne KI-Modelle zu trainieren, könnten sie damit ihr Wissensmanagement weiter professionalisieren und ihre internen Geschäftsprozesse besser strukturieren.

Wenn der Einsatz datenschutzkonform erfolge, sei es auch denkbar, KI für Chatbots in der Kundenkommunikation zu verwenden oder Versicherte mit individualisierten Angeboten bei Gesundheitsthemen zu unterstützen, zum Beispiel in der Prävention.

Damit eine Krankenkasse oder ein anderes Unternehmen diese Chancen nutzen kann, sei es im ersten Schritt nötig, Kompetenz und Know-how aufzubauen, indem eine unternehmensinterne interprofessionelle Arbeitsgruppe eingesetzt wird. Auf dieser Grundlage könne nach einer internen Debatte zu Chancen und Risiken eine KI-Strategie entwickelt werden.

Bevor konkrete Anwendungsfälle erprobt werden, sei es wichtig, eine rechts- und datenschutzkonforme Umsetzung zu gewährleisten. Der Beirat führt diesbezüglich aus, dass KI-Anwendungen bislang nur rudimentär reguliert seien. Erst im Juni 2023 wurde vom europäischen Parlament der Entwurf der europäischen KI-Verordnung (AI-Act) angenommen. Diese Verordnung trete frühestens 2024 in Kraft. Bis dahin müsse man die Verwendung von ChatGPT und anderer generativer KI an den allgemeinen Vorschriften des geltenden Rechts messen.

Viele Datenschützer sehen ChatGPT kritisch. So hatte die italienischen Datenschutzbehörde ChatGPT im April 2023 zwischenzeitlich gesperrt. Aus Sicht der Aufsichtsbehörde verstoße ChatGPT gegen Datenschutzregeln, weil es massiv personenbezogene Daten speichere. Darüber seien die Nutzer nicht hinreichend informiert worden.

Das Unternehmen OpenAI, das ChatGPT entwickelt hat, reagierte jedoch auf die Sperrung. Nutzerinnen und Nutzern haben nun die Möglichkeit, die Speicherung und Weiterverarbeitung sämtlicher personenbezogener Daten zu deaktivieren und werden darüber auch informiert. Damit hat sich die italienische Datenschutzbehörde zufriedengegeben und die Nutzung wieder erlaubt. Ob die deutschen Datenschutzbehörden dies auch so sehen, ist laut Beirat noch unklar.

Sollten Krankenkassen so lange mit dem Einsatz von generativer KI warten, bis die deutschen Datenschutzbehörden zu einer eindeutigen Einschätzung gekommen sind? Nein, meint der Beirat. Wenn man auf die Eingabe personenbezogener und anderer schützenswerter Daten verzichte und die Speicherung der Eingaben deaktiviere, sei das datenschutzrechtliche Risiko gering. Auf die Einhaltung dieser „Spielregeln“ für den Einsatz von generativer KI sollten Krankenkassen ihre Mitarbeitenden mit entsprechenden Datenschutzhinweisen, Einwilligungsprozessen, Dokumentationen und einer Datenschutzfolgenabschätzung verpflichten.

Auch auf einen weiteren Kritikpunkt an der Verwendung von ChatGPT geht der Beirat ein: ChatGPT liefert häufig noch fehlerhafte Antworten. Die Texte, die ChatGPT ausgibt, taugten deshalb aktuell nur als Entwürfe für die Weiterverarbeitung – jedenfalls dort, wo es um medizinisch oder rechtlich relevante Fakten gehe. Deshalb sei bei allen Anwendungskontexten laut Beirat eine Qualitätskontrolle unerlässlich.

„ChatGPT ist ein Tool, das man benutzen kann, das aber ohne eine Qualitätskontrolle nicht funktioniert. Krankenkassen müssen also ihre Mitarbeitenden befähigen, Faktenchecks durchzuführen. In Zukunft brauchen wir hier neue spezialisierte Berufe, um diese Aufgabe effizient zu erfüllen. Derzeit sollten Krankenkassen generative KI eher wie eine Art Sparringspartner nutzen, mit dem sie schneller arbeiten können“, erläutert Inga Bergen, Sprecherin des Beirats.

Es gebe aber eine Möglichkeit, die Präzision der Ergebnisse, die generative KI im Krankenkassen-Kontext liefere, signifikant zu erhöhen. Anstatt auf „fremde“ Systeme wie ChatGPT zurückzugreifen, könne ein Unternehmen in Kollaboration mit KI-Experten ein unternehmensinternes generatives KI-Modell trainieren. Wenn dieses System auf eigenen Servern laufe, lasse sich der Datenbestand der Krankenkasse mit der generativen KI verknüpfen. Dies eröffne vielfältige Anwendungsmöglichkeiten.

Die unabhängigen Beirätinnen und Beiräte geben Krankenkassen zum Schluss ihres Impulspapiers aber auch eine Mahnung mit auf den Weg. Es brauche eine kritische Distanz und Wachsamkeit, um mit generativer KI wohlüberlegt umzugehen. Die Idee datengesteuerter Effizienz könne nicht das entscheidende Kriterium sein, nach dem Entscheidungen bewertet werden. Hier gelte es, gegenzusteuern. Achtsam, reflektiert und verantwortungsbewusst.

Drei Fragen und drei Antworten zum Positionspapier mit Beirats-Sprecherin Inga Bergen finden Sie auf unserem Blog AOK Nordost Forum Live.

Der im November 2016 gegründete Wissenschaftliche Beirat für Digitale Transformation der AOK Nordost berät die Gesundheitskasse kritisch und unabhängig bei Fragen der digitalen Transformationen im Gesundheitswesen. Mehrere Mitglieder des Beirats beraten in anderen Funktionen auch die Bundesregierung zu diesen Fragen.

Mitglieder des Beirats sind:

- Prof. Dr. Dirk Heckmann (Geschäftsführer)
- Dipl.-Pol. Inga Bergen (Sprecherin)
- Prof. Dr. Wilfried Bernhardt
- Prof. Dr. Dr. Walter Blocher
- Prof. Dr. Stefan Heinemann
- Prof. Dr. Dr. h.c. Stefan Jähnichen
- Prof. Dr. Anne Paschke
- Dipl.-Psych. Marina Weisband