„Wir erforschen das Gehirn, um die KI besser zu verstehen und umgekehrt“
Sprache wird im Gehirn in bestimmten Bereichen verarbeitet. Prof. Dr. Fatma Deniz von der TU Berlin erforscht mit Hilfe von Magnetresonanztomographie-Scans, in welchen Arealen dies geschieht. Im Interview mit G+G erläutert sie, welchen Nutzen die Forschungsergebnisse haben, etwa bei Sprachstörungen oder der Weiterentwicklung von Künstlicher Intelligenz (KI).
Wie und wo wird Sprache im Gehirn verarbeitet?
Prof. Dr. Fatma Deniz: Es gibt eine Reihe von Gehirnregionen, in denen Sprache verarbeitet wird, wie den Temporallappen oder den präfrontalen Cortex. Je nachdem, ob eine Person etwas liest oder sich anhört, kommen zusätzliche Bereiche für die sensorische Verarbeitung hinzu – zum Beispiel der visuelle Cortex, wenn etwas über die Augen wahrgenommen wird.
Gibt es also einen Unterschied in der Verarbeitung, je nachdem, ob Sprache gesprochen oder gelesen wird?
Deniz: Es besteht vor allem ein Unterschied im Bereich der sensorischen Verarbeitung, nicht jedoch auf der semantischen Ebene. Wenn ich zum Beispiel jemandem zuhöre, erhalten meine Ohren ein Signal des Gesprochenen. Dieses wird zum auditorischen Cortex gesendet und anschließend, wie bei der gelesenen Sprache, in mehreren Schritten über den Temporallappen und den präfrontalen Cortex weiterverarbeitet: Die Phoneme werden zusammengebaut, die Wörter verarbeitet – bis hin zum grammatikalischen und semantischen Verständnis.
Ist der allgemeine Trend zum Hören statt Lesen also kein Grund zur Besorgnis?
Deniz: Bezogen auf die Verarbeitung von semantischen Informationen und den Wissensstand sehe ich keinen Grund zur Sorge. Denn die semantische Verarbeitung, also das Erfassen der Wortbedeutungen und wie sie zusammenhängen, ist – wie oben erläutert – beim Lesen oder Zuhören ziemlich ähnlich. Es geht eher darum, ob sich jemand beim Hören genauso gut konzentrieren kann. Denn dabei erledigen wir zum Beispiel oft etwas anderes parallel.
Ist es relevant, ob Probanden bei der Erforschung der Sprachverarbeitung im Gehirn einzelne Wörter oder Sätze lesen – wie es bisher gehandhabt wurde – oder ob die Wörter und Sätze in Geschichten eingebettet werden?
Deniz: Das macht einen großen Unterschied. In den ersten Dekaden der MRT-Forschung konzentrierte sich die Forschung auf einzelne Wörter oder sogar Phoneme. Daraus entstanden wichtige erste Erkenntnisse. Es zeigte sich aber, dass wir nicht zu einem Gesamtverständnis des Sprachverarbeitungsprozesses im Gehirn gelangen, wenn wir Wörter aus ihren Kontexten nehmen. Denn wir sprechen in Bedeutungszusammenhängen. Wir brauchen also beides: Kontrollierte Experimente, die isoliert bestimmte Aspekte beleuchten, und ganz wichtig die Forschung mit natürlicher Sprache und deren Repräsentation im Gehirn.
„Wir können aus den sprachverarbeitenden Gehirnregionen, die ein Modell vorhersagt, Rückschlüsse ziehen, um die KI-Modelle zu verbessern.“
Vizepräsidentin für Digitalisierung und Nachhaltigkeit der TU Berlin und Leiterin des TU-Fachgebiets „Sprache und Kommunikation in Biologischen und Künstlichen Systemen“
Sie haben die Verarbeitung natürlicher Sprache mit Hilfe von MRT erforscht. Wie sind Sie dabei vorgegangen?
Deniz: In unserer Studie kamen elf Geschichten mit einer zehnminütigen Dauer zum Einsatz. Denn wer im MRT-Scanner liegt, hat keine viel längere Aufmerksamkeitsspanne. Zudem ist es darin unkomfortabel und laut. Die Geschichten waren sehr interessant erzählt, teilweise mit autobiografischen Elementen, um die Konzentration zu fördern. In einer ging es zum Beispiel um das Coming-out eines homosexuellen Mannes vor seiner Familie und deren Reaktion. Das war sehr berührend. Wir hatten neun Probanden – Männer und Frauen – die jeweils sechs Stunden für das Hören und sechs Stunden für das Lesen gescannt wurden, nicht am Stück, sondern aufgeteilt auf einen Zeitraum von mehreren Wochen.
Wie wurden die gesammelten Daten weiterverarbeitet?
Deniz: Nach der Datenerhebung haben wir damit begonnen, aus diesem natürlichen Sprachstimulus relevante Informationen, sogenannte Merkmale, herauszufiltern, die sich auf bestimmte Hypothesen beziehen. Eine Hypothese, die wir verfolgt haben, war die genannte, nämlich ob gelesene und gesprochene Sprache semantisch ähnlich im Gehirn repräsentiert ist oder nicht.
Dabei helfen uns KI-Algorithmen, die zum Beispiel auch hinter Modellen wie ChatGPT stehen. Wir extrahieren dafür für jedes Wort aus den Geschichten eine sogenannte Vektor-Repräsentation. Man kann sich das vorstellen wie die Quantifizierung eines Wortes, das heißt: Wir machen daraus eine Zahlenkombination. Dadurch konnten wir zeigen, dass Wörter, die in einem ähnlichen Kontext verwendet werden, eine ähnliche Zahlenkombination haben. Auf diese Weise entstehen Modelle, die vorhersagen können, welche Gehirnregionen semantische Informationen verarbeiten. Wie das Gehirn dies genau macht, können wir aber nicht sagen – genauso wenig wie bei der KI. Das nennt man auch „Blackbox.“
Können die Erkenntnisse zur Optimierung der Künstlichen Intelligenz (KI) wie ChatGPT beitragen?
Deniz: Wir können aus den sprachverarbeitenden Gehirnregionen, die ein Modell vorhersagt, Rückschlüsse ziehen, um die KI-Modelle zu verbessern. Das ist wie ein Kreislauf oder eine Möglichkeit zur Synergie: Wir erforschen das Gehirn, um die KI besser zu verstehen und umgekehrt.
Helfen die Forschungsergebnisse bei der Verbesserung der Kommunikation, etwa Menschen mit Sprachproblemen, zum Beispiel nach einem Schlaganfall oder bei Legasthenie?
Deniz: Es gibt bereits Forschungen dazu, zum Beispiel in den USA, wie die Erkenntnisse genutzt werden können, um Menschen zu helfen, die etwa aufgrund eines Schlaganfalls nicht mehr sprechen können. Dies geschieht mit Hilfe von Elektroden, die auf der Gehirnoberfläche implantiert wurden. Sie decodieren, einfach gesagt, die Gehirndaten und wandeln sie in Sprache um, die zum Beispiel von einem Avatar vorgelesen werden kann. Das funktioniert wie bei der KI mithilfe von Modellierung und Wahrscheinlichkeiten. Dies bringt viele Möglichkeiten, aber unter dem Stichwort „Mind-Reading“ auch ethische Implikationen mit sich.
Für Legastheniker wiederum könnten unsere Erkenntnisse zur ähnlichen Verarbeitung von gehörter und gelesener Sprache hilfreich sein, zum Beispiel zur Entwicklung passender Lernmaterialien. Hier steht die Forschung jedoch noch am Anfang.
Kann KI bei Sprachproblemen oder auch beim Lernen zum Beispiel von Fremdsprachen unterstützen?
Deniz: Wir sehen bereits an Modellen wie ChatGPT oder DeepL, wie hilfreich KI-basierte Übersetzungstools sein können. Darüber hinaus kann KI gesprochene Texte erkennen, analysieren und Input dazu geben. Auch kann KI das personalisierte Lernen fördern, zum Beispiel, indem individuelle Übungen erstellt werden.
Mitwirkende des Beitrags
Autorin
Datenschutzhinweis
Ihr Beitrag wird vor der Veröffentlichung von der Redaktion auf anstößige Inhalte überprüft. Wir verarbeiten und nutzen Ihren Namen und Ihren Kommentar ausschließlich für die Anzeige Ihres Beitrags. Ihre E-Mail-Adresse wird nicht veröffentlicht, sondern lediglich für eventuelle Rückfragen an Sie im Rahmen der Freischaltung Ihres Kommentars verwendet. Die E-Mail-Adresse wird nach 60 Tagen gelöscht und maximal vier Wochen später aus dem Backup entfernt.
Allgemeine Informationen zur Datenverarbeitung und zu Ihren Betroffenenrechten und Beschwerdemöglichkeiten finden Sie unter https://www.aok.de/pp/datenschutzrechte. Bei Fragen wenden Sie sich an den AOK-Bundesverband, Rosenthaler Str. 31, 10178 Berlin oder an unseren Datenschutzbeauftragten über das Kontaktformular.