Schneller Schlau, der Wissenspodcast von PM trifft das Helmholtz-Zentrum Herion.

Willkommen bei Herion Academy, dem Spezial von PM Schneller Schlau. Einmal im Monat nehmen wir euch mit in die Welt der Wissenschaft. Direkt aus dem Helmholtz-Zentrum Herion sprechen wir über bahnbrechende Technologie, die unsere Zukunft prägt. Ich bin Svea Eckert, Tech-Journalistin. Und an meiner Seite ist... Thorsten Fischer, ich bin Meeresbiologe und leite die Kommunikationsabteilung am Helmholtz-Zentrum Herion. In meinem beruflichen Alltag und ich glaube, so geht es jedem anderen auch.

Jeder hat fast schon mal ChatGBT und auch andere Programme genutzt. Ich nutze es regelmäßig. Kochrezepte. Kochrezepte sind es in meinem Fall, sind es die Korrekturen von Texten oder einfach mal eine Recherche für irgendein Thema. Man hat das Gefühl derzeit, KI ist überall. Ja, und hört sich ja auch so niedlich an und so praktisch, aber trotzdem denke ich manchmal auch an diesen ... Art, ich nenne es mal Wendepunkt, den kennt man vor allem aus Science-Fiction, Büchern oder Filmen, nämlich der Moment, in dem das, was eigentlich nur ein Hilfsmittel sein sollte, dann vielleicht doch ein Eigenleben entwickelt. Also die Maschine, die mehr kann als gedacht und sich vielleicht sogar im Zweifel gegen seinen Erschaffer richtet. Ja, wissentlich oder unwissentlich. Ich denke da immer gerne an Stanley Kubrick, 2001, Odyssey im Weltraum. Da gibt es einen Supercomputer, HAL 9000 und der verfällt in so eine Art Computerwahn, sage ich mal, sehr abgekürzt und beginnt dann seine Besatzung zu töten.

Zurück zu den Kochrezepten. Genau, zu den Kochrezepten. Auf jeden Fall ein sehr spannendes und ein hochrelevantes, gesellschaftlich relevantes Thema, die KI. Und dazu ist heute Roland Aydin bei uns zu Gast. Roland ist Informatiker und Mediziner und er leitet Projekte zum Thema maschinelles Lernen und Daten am Herion erarbeitet an der Schnittstelle von künstlicher Intelligenz und den Materialen Natur- und Ingenieurwissenschaften. Willkommen bei uns im Podcast, Roland. Schön, dass du da bist. Dankeschön. Ich freue mich, hier zu sein. Und mit dir wollen wir heute eine spannende Frage besprechen. Und die lautet, ersetzt KI bald Forscherin und Forscher? Und in der ganzen Vorbereitung habe ich gesehen, dass du selber auch ein großer Fan von Science Fiction bist und habe mich natürlich gefragt, wenn du dich heute so umschaust, erinnert dich denn die Entwicklung von KI an unserer Seite und auch unserem ganzen aktuellen Umgang damit an den einen oder anderen Roman, den du gelesen hast? Ja, und ich muss sagen, leider ja.

Weil es doch auch viele Geschichten sind, die man sich vielleicht lieber von außen anschaut, wohlig schauernd, was da passiert auf dem Bildschirm, als sie wirklich von innen zu erleben. Und wenn man sich auch klar macht, dass es in Geschichten oft auf ein Happy End hinausläuft, weil die Zuschauerinnen und Zuschauer sollen mit einem guten Gefühl nach Hause gehen oder das Buch abschließen. Aber diese narrative Kraft, dass es am Ende immer gut ausgeht, diese Sicherheit haben wir nicht. sondern wir machen eine Reise ins Ungewisse, bei der wir nicht notwendigerweise davon ausgehen können, dass sie von sich aus so endet, wie wir das gerne hätten. Vor allem, wenn wir nicht aktiv Einfluss drauf nehmen. Gab es in deiner Zeit, sei es privat oder vor allen Dingen natürlich auch in der Forschung, den einen Moment, wo du dachtest, wow, das ist hier jetzt echt schon Science Fiction?

Ja, zwei Momente im Speziellen. Der eine war, als, das ist vielleicht eher so für Insider, als das Spiel Go gelöst wurde durch KI. Ja, erinnere ich mich noch. Genau, im Jahr 2016 war das der Go-Profi Lee Sedol, der gegen AlphaGo verloren hat. Und das war so ein Wendepunkt, weil die Jahrzehnte davor, ich habe auch in meinem Studium in der TU München öfter gehört, solange wir noch besser sind als Go, müssen wir uns keine Sorgen machen. Weil Go viele kompliziert gedachte Eigenschaften vereint. Also für die, die Go nicht kennen, das ist einfach ein ganz komplexes Brettspiel. Genau, die Regeln sind tatsächlich sehr einfach, aber der Zustandsraum ist unglaublich groß. So groß, dass er mit normalen Suchalgorithmen nicht richtig effizient abgetastet werden konnte. Also der Raum der Möglichkeiten, der Züge, die man machen kann, ist einfach unendlich groß oder vermeintlich unendlich groß und damals hat dann eben die Maschine den Mensch geschlagen. Und das war für dich einer dieser Momente? Genau, also Go war so ein bisschen wie der Kanarienvogel im Kohlebergwerk, wo gesagt wurde, solange wir in Go noch besser sind, ist noch alles in Ordnung. Dann ist dieser Moment gekommen, 2016 und ist dann auch wieder verstrichen und das Leben ist natürlich weitergegangen. Und man dachte sich so, ach Go, ja ist ja nur ein Spiel. Und damit ist dann quasi so schleichend, ist dann dieser Schranke gefallen. Und die Entwicklung hat sich dann nachher noch sogar noch weiter beschleunigt, weil diese Entwicklung mit Transformer-Modellen, die Architektur, auf der heutzutage GPT etc.

Beruhen, die kam dann erst ja später. Ein anderer Fall, wo ich mir das gedacht habe, ist, wir hatten ja alle die Erfahrung, wenn wir uns mit GPT unterhalten, dass man so eine gewisse Zuweisung von Emotionen, dass man das Gefühl hat, da ist zum Teil ein Gegenüber, dass viele Menschen eine Beziehung aufbauen, eine fast schon freundschaftliche, eine therapeutische Beziehung zum Teil zu GPT. Und dann auch einen geistigen Zustand projizieren, der sicherlich in der jetzigen Form dort nicht vorhanden ist, der aber schon zeigt, dass zum Teil auch das Gegenüber als künstlich gar nicht mehr erkennbar ist. Und dieses Konzept nannte man den Touring-Test. Das war mal, dass ein normaler Benutzer, Benutzerin, nicht mehr in der Lage ist zu unterscheiden, hat er es mit einem Bot zu tun, mit einer KI oder mit einem anderen Menschen. Auch diese Barriere ist schon seit geraumer Zeit gefallen. Stattdessen gab es so eine Art von Goalpost-Shifting, wo es jetzt heißt, es gibt noch bestimmte dezente Fangfragen, mit denen man das noch vielleicht erwischen kann. Zum Beispiel würde die KI darauf bestehen, keine Bombenbauanweisungen rauszugeben, zumindest nicht so einfach, und ein Mensch vielleicht würde mit so einer Frage anders umgehen. Aber es hat sich verschoben in Spezialphänomene. Der Turing-Test an sich ist schon längst bestanden.

Und das war eigentlich auch mal eins dieser seminalen Meilensteine, wo es hieß, eines Tages besteht die KI, den Turing-Test. Ihr müsst mir nochmal helfen, was der Turing-Test ist. Man hat eine Benutzerin, eine Benutzer und auf der einen Seite und auf der anderen Seite entweder einen Menschen oder eine KI. Und in einem freien Gespräch, worüber auch immer, ist die Aufgabe des Menschen herauszufinden, ob der Gegenüber ein Mensch ist oder eine KI. Der Annahme, dass wenn das nicht mehr unterscheidbar ist, dann ist die KI schon so weit, dass sie eigentlich normale Gespräche bewältigen kann, normale Aufgaben lösen kann und das war so dieser Scheidepunkt. Es wurde ja früher assoziiert mit General Intelligence, AGI, Artificial General Intelligence. Also diese Hürde ist schon gefallen. Das heißt nicht, dass das jetzt heißt, dass die KI auch schon in allen Bereichen genauso gut wäre wie der Mensch. Aber es war auch so ein Punkt, wo mir klar geworden ist, Moment mal, wir sind vielleicht schon mehr im Sci-Fi-Szenario, als wir dachten.

Jetzt beschäftigst du dich in deiner täglichen Arbeit ja vor allem auch mit den Large Language Modellen, Models. Und das ist ja genau das, was wir gerade eben sogar schon angesprochen haben. Das sind genau diese KI-Modelle, die auf riesigen Textmengen trainiert wurden, um eben menschliche Sprache zu verstehen. Ich muss es in ganz tollen Anführungszeichen sagen, weil man immer dazu neigt, KI so zu vermenschlichen. Deswegen sage ich auch gleich noch, zu generieren, also das heißt herzustellen und zu verarbeiten. Also genau das, was ChatGPT und Cloud und auch andere machen. Nutzt du denn für deine Forschung hier am Herion oder auch an anderen Instituten auch ChatGPT und Co? Oder beziehungsweise inwiefern sind eure KI-Modelle denn anders?

Ja, wir nutzen sie tatsächlich auch. Also auch kommerzielle Modelle, auch aus der Cloud. Aber auch lokale Modelle, die wir dann lokal auf unserer rechten Infrastruktur am Herion deployen, sagt man, also einsetzen. Diese Entscheidung ist oft auch ziemlich überlagert von regulatorischen Rahmenbedingungen. Wenn man zum Beispiel sagt, völlig zu Recht spielt in Europa Datensicherheit eine große Rolle, wenn man sagt, man möchte gewisse Zusicherungen haben, was die Privatsphäre anbelangt, man möchte nicht alle seine Daten einfach in die Cloud hinaus verlagern. Das ist auch nachvollziehbar, dass auch eine Experimentalgruppe, die über Jahre quasi mit extrem viel Aufwand Experimente durchgeführt hat, nicht gerne diese Experimente als Trainingsdaten in die Cloud hochlädt und dann ist quasi der Wettbewerbsvorteil auch aus der Hand gegeben. Also solche auch regulatorischen Rahmenbedingungen spielen aktuell schon noch eine große Rolle, auch bei der Auswahl der Modelle, die wir verwenden können, auch gerechtfertigt. Das ist auf jeden Fall auch nicht zu unterschätzen. Also wenn jetzt die EU zum Beispiel Investments beschließt in AI-Factories, dann hat das auch Auswirkungen darauf, welche Modelle wir entwickeln und einsetzen können bei uns.

Und sag mal, wir wollen ja heute der Frage so ein bisschen nahe kommen, kann KI Forschende oder Forscherinnen und Forscher ersetzen? Ich will mich da mal so ein bisschen ranschleichen oder ranrobben. Wir sprechen ja jetzt viel über diese Large Language Models, also KI-Modelle, die vor allem um Text sich kümmern. Ich denke, die Modelle, die ihr für die Forschung benutzt, sind sicher nicht nur Large Language Models, sondern auch die mit anderen, mit Messdaten oder mit anderen Daten gefüttert wurden. Aber doch mal genereller gefragt, wann geht es denn los, dass du sagst, KI fängt an in der Forschung auch wirklich, Vorsicht, wieder vermenschlichter Begriff, in der Forschung mitzudenken oder mitzuarbeiten?

Also ich finde es sehr gut, dass du auch immer darauf hinweist, dass wir mit dieser Anthropomorphisierung sehr aufpassen müssen, dass wir da auch zu viele menschliche Eigenschaften etwas zuschreiben, was eigentlich eher einer Art von Alien-Intelligence nahekommt als einem menschlichen Partner. Ja, den Vergleich kenne ich auch. Einer hat, ein Forscher hat mal gesagt, es ist quasi die erste außerirdische Intelligenz auf der Erde, die wir haben gerade, weil es halt so fremdartig ist für uns. Genau, auch hier ist es so, die technologische Entwicklung ist, Erstaunlich. Die Dynamik ist unglaublich, wenn wir uns anschauen, wie sehr die Modelle sich in den letzten Jahren verbessert haben. Auch wenn wir ganz aktuell eine leichte Verlangsamung sehen, ist die Dynamik immer noch exorbitant. Und trotzdem ist es so, dass meiner Meinung nach der Einsatz von KI aktuell vor allem bestimmt wird, auch von der Einstellung der Benutzerinnen und Benutzer und auch von gesellschaftlichen Entwicklungen. Zum Beispiel, wenn wir uns anschauen, wie Schülerinnen und Schüler oder Studentinnen und Studenten sich daran gewöhnen, fraglos aus GPT quasi Copy-Paste rüber zu kopieren und sich zum Teil gar nicht mehr die Mühe machen, das zu überprüfen.

Dann merkt man, dass es auch eine Einstellungssache ist, wie auch gesellschaftlich damit umgegangen wird und was auch erlaubt ist und was nicht erlaubt ist. Je nach Anwendungsbereich, es gibt sicherheitskritische Anwendungen, bei denen es auch nicht möglich ist, eine KI als Kollegin, Kollege zu verwenden, weil es keine Garantien gibt, was Sicherheit anbelangt. Andererseits gibt es auch viele Anwendungen, wo eine nur approximativ ungefähr richtige Antwort gut genug ist. Also oder zum Beispiel, wo man sagt, man möchte eine KI einsetzen für sogenannte Active Learning, wo es darum geht, man möchte Experimente identifizieren, die noch nicht durchgeführt wurden, die aber aussichtsreich sind, bei denen man sich viel versprechen kann, dass etwas klappt. Hier wäre der Job der KI nicht, das zu garantieren, sondern aussichtsreiche Kandidaten und Konstellationen für Experimente zu identifizieren. Also zum Beispiel, wenn ich ein Material herstellen möchte, verschiedene Legierungen oder sowas, wird ja hier am Herian zum Beispiel auch viel gemacht. Genau. Und auch für solche Anwendungen ist eine gewisse Toleranz und sind die aktuellen technischen Fähigkeiten oft schon mehr als ausreichend. Und zuletzt ist es so, wenn man sich dieses Spektrum vorstellt zwischen Tool AI, also KI nur als Werkzeug, oder Agentic AI, KI als aktiver Kollege.

Im Forscherteam, dann hat das oft mehr damit zu tun, was man für ein Interface koppelt an dieses Modell. Also das Modell hat eine gewisse Fähigkeit, eine gewisse Denkkapazität. Das kann Probleme lösen, aber ob es Probleme aktiv löst oder nicht, hängt vor allem damit zusammen, woran man es koppelt. Was man schön daran sieht, es gab in den letzten Monaten zum Beispiel dieses Open Claw, ein Framework für Agentensysteme, was direkt innerhalb von wenigen Wochen abgehoben hat. Der Entwickler, ein Österreicher, ist zu OpenAI gegangen, wurde direkt abgeworben. Und was man hier sieht ist, dass oft die Innovation darin bestehen kann, dass man sagt, man gibt dem Agenten einfach mehr Rechte. Man lehnt sich zurück, man sagt, du kannst auf alle Dateien zugreifen. Und dann kann er endlich alle E-Mails löschen. Genau, dann wurden alle E-Mails gelöscht. Ist vielleicht auch nicht so tragisch. Also natürlich schon tragisch. Da ist die Frage, wie tolerant ist man für solche Effekte? und davon wird dann auch bestimmt, wie aktiv man die KI einsetzt. Sagt man, ist für mich in Ordnung, dann kann man das jetzt schon in Kauf nehmen und hat dann ein aktives Teammitglied, vielleicht auf dem Level eines Praktikanten.

Eine Praktikantin, die auch nochmal vielleicht nicht alle Verantwortung tragen sollte in manchen Projekten. Aber damit ist dann die Frage der Benutzer. Du hast ja eingangs gesagt, dass die Entwicklung dessen, was die KI kann und auch wie sie genutzt wird, sich rasant weiterentwickelt hat. Und um das zu verstehen und ein Stück weit nachzuvollziehen, würde ich gerne mal in so deine eigene Forschungshistorie zurückgehen. Also 2020, habe ich gelesen, hat dein Team untersucht, wie man mithilfe von Datenanalyse und KI funktioniert. Die Magnesiumforschung, also die Materialforschung beeinflussen kann. Und Aufgabe war es, Magnesium, welches ein spannendes Metall ist, weil es zum einen leichter ist als Aluminium, ist aber gleichzeitig sehr leicht korrodiert. Man muss Magnesium, wenn man es nutzen will, wirklich schützen. Und das kann man mit verschiedenen Molekülen und Legierungen tun. Und ich habe 2020 erstmalig die KI genutzt, um zu sagen, schau dir verschiedene Legierungen, schau dir verschiedene Moleküle an, welche haben grundsätzlich die Eigenschaft, das Element Magnesium zu schützen. Da war eigentlich, ich sage es mal bildlich, die KI ein besserer Praktikant von euch. 2020.

Ja, also das war eine Phase, kommt einem vor wie die Steinzeit. Ja, genau. Das war schon fünf, sechs Jahre her. Richtig, also als kurze Seitenbemerkung. Ich bin immer wieder sehr überrascht davon, wie schnell man sich an etwas gewöhnt, den Status Quo. Wenn man sich klar macht, wenn wir vor zehn Jahren diese Diskussion geführt hätten.

Wie so irre in so einer Anstalt. Ja, also es ist wirklich unglaublich, wie wir uns schon an den Jetzt-Zustand gewöhnt haben. Und wenn wir ein bisschen extrapolieren, die Unsicherheit ist natürlich enorm, dann wer weiß, wie unser Podcast in fünf Jahren ausschaut. Trinken wir uns wieder. Aber zurück zu 2020. Ja, genau. Also es waren damals tatsächlich noch reine Tools. Also eher vergleichbar mit einem Hammer oder einem Schraubenzieher. Bei Handwerkern, rein passiv, wichtige Tools, notwendige Tools, aber sie haben Expertenwissen gebraucht, um sie auch korrekt anzuwenden. Genauso wie ich mit Werkzeugen nicht sehr produktiv umgehe, da braucht es einen Profi, wenn jemand mit mehr Erfahrung, so ist das bei diesen KI-Tools, wie wir sie verwendet haben. Genauso, was dann auch die Problematik hatte, dass wenn zum Beispiel die Erstautorin, die Doktorandin dann mit ihrer Doktorarbeit fertig ist und das Institut verlässt, dann nimmt sie das Wissen quasi mit und die passiven Tools bleiben zurück und das sind auch Tools, deswegen würde ich sie auch nicht mit einem Praktikanten vergleichen, weil deren Fähigkeiten, Auch wenn sie sehr gut sind, sind sie sehr spezifisch. Also man muss unterscheiden, wie gut ist ein Werkzeug bei der Tätigkeit, aber wie spezifisch und exakt ist nur diese Tätigkeit definiert. Als Beispiel Taschenrechner.

Taschenrechner können sehr, sehr gut rechnen, aber die können eben nur rechnen. Niemand wäre in der Lage, einen Taschenrechner zu einem allgemeinen, mächtigen Tool auszubauen, weil der Taschenrechner nur diese Inselfähigkeit hat. Und so war das mit diesen Tools damals genauso. Die euch im Prinzip geholfen haben, Legierungen und Moleküle zu sortieren, nachdem ihr der KI gesagt oder ihr trainiert habt, nach diesen Kriterien musst du schauen. Und dann kam ja 2023 in einem zweiten Schritt ein neuer Level hinzu und da ging es dann darum, dass die KI ein Stück weit selbstständiger denken soll. Was fand da dann statt? Also Schritt 1, 2020, KI, bitte sortier mir verschiedene Legierungen, um Magnesium zu schützen. Was ist 2023 passiert? Also die Veröffentlichung von 2023 war in der Tat vor allem der Härtetest für die Studie von 2021, hat aber im Wesentlichen noch dieselben Techniken dazu hinzugezogen. Stichwort Recursive Feature Elimination.

Also wenn man Moleküle beschreibt, hat man Myriaden von Möglichkeiten, sie zu beschreiben, von sogenannten Deskriptoren. Und die Frage ist, welche Deskriptoren sind die relevantesten für die Eigenschaft, die man vorhersagen möchte. Da hat man wirklich die Qual der Wahl und unsere Methodik hat diese vielen tausend möglichen Deskriptoren herunterkondensiert auf quasi ein Best-of. Wobei wir herausgefunden haben, dass die damaligen Modelle, die wir in der Regel haben, zu viel Information noch gar nicht umgehen konnten. Das ist quasi noch die Vorstufe zu den LLMs. Das heißt, wenn man einer KI gesagt hat, hier sind fünf Merkmale von diesen Molekülen, dann konnte es mit diesen fünf Merkmalen besser umgehen, als wenn man sagt, hier sind 50 Merkmale, die diese fünf im Übrigen auch enthalten.

Aber durch quasi dieses Neues, durch diese 45 weiteren Deskriptoren, war das Modell am Ende überfordert. Verwirrt, ja. Um es mal wieder, verdammt, mal wieder zu vermenschlichen. Es zieht sich jetzt durch den ganzen Podcast. Und dann gibt es ja eine aktuelle Studie jetzt von 2025. Und da habt ihr das Ganze dann mal mit den ja uns auch bekannten Large Language Models durchgeführt. Also sprich, ich weiß nicht, ich muss gleich mal sagen, ob ihr wirklich Chat-GPT benutzt habt, um eben dann solche Magnesiumlegierungen herauszufinden oder vorherzusagen. Richtig. Also wirklich Chat-GPT? Das tatsächlich, ja. Kochrezept Chat-GPT. Richtig.

Tatsächlich waren wir selbst davon überrascht. Es war am Anfang, muss man offen sagen, eine eher spielerische, nicht wirklich ernstzunehmendes Unterfangen. Schnapsidee. Ich hoffe nicht im wahrsten Sinne des Wortes, weil es war ein Doktorand, der das quasi mal spontan versucht hat. Man kann schon fast sagen in seiner Freizeit. Also unsere Erwartungen und wir sind an sich relativ von hohem Enthusiasmus ausgezeichnet, also meine Forschungsgruppe, auch in enger Zusammenarbeit mit dem Institut von Christian Zürich und darin eingebettet, wir waren eigentlich immer schon die, die sehr viel Potenzial sehen und die quasi, man kann sagen, von Hype geleitet werden. Aber sogar wir wurden von dieser Dynamik, waren verblüfft von dieser Entwicklung, dass auf Anhieb GPT besser war, als unser mit so viel Mühe herbeigeführter State of the Art, mit so viel Pre-Processing-Schritten, mit so viel eingeflossenem Expertenwissen und GPT hat das auf Anhieb geschlagen. Wir dachten zuerst, klar, das ist bestimmt im Trainingskorpus, bestimmt ist unser Paper da schon enthalten und das ist einfach ein Lookup, das schaut es einfach nach. Und tatsächlich ist das auch in dem Fall wohl nicht der Fall gewesen, aber es ist immer auch eine Sorge, die man haben muss, weil Stichwort Explainable AI, also erklärbare KI, handelt es sich bei diesen LLMs leider um eine Methodik, die besonders schwer zugänglich ist und wo es oft besonders schwer nachvollziehbar ist, warum jetzt ein Modell welches Ergebnis liefert.

Okay, aber lass uns trotzdem noch einmal das genau erklären. Also das heißt, ChatGPT konnte Magnesiumlegierungen richtig vorhersagen. Ihr konntet das wiederum validieren mit euren anderen Modellen oder mit den anderen Ergebnissen. Und das, was euch daran so überrascht hat, war, dass ihr dachtet, ja, ChatGPT ist ja eigentlich ein Large Language Model, das mit Sprache trainiert. Was wir ja eigentlich machen, ist Materialwissenschaft. Richtig. Und es hat relativ eindrücklich gezeigt, dass auch unsere Kategorien und auch unsere Wortwahl oft nicht richtig hinterherkommt. Wie mit der Anthropomorphisierung ist es so, dass ein großes Sprachmodell ist assoziiert, Language, Sprache. Klar, Gedichte schreiben, Aufsätze verfassen. Das sind aber Konnotationen, die wir einfach mitbringen als Menschen. Am.

Auch aus Sicht eines LLMs offensichtlich viel weiter zu fassen, als was wir darunter verstehen. Was wir auch sehen, multimodale LLMs, das heißt, die verschiedene Modalitäten nicht nur Text können, die auch Bilder generieren können, die auch Bilder als Input akzeptieren können mit Image-Tokens. Daten auch auswerten, oder? Daten auch auswerten können. Das geht über natürliche Sprache weit hinaus. Und wir sind immer noch in diesen sprachlichen Kategorien ein bisschen festgenagelt, dass wir sagen, das sind Large Language Models. Und dieser Begriff wird sich sicherlich auch in den nächsten Jahren wandeln. Also die nächste Generation werden wir wahrscheinlich irgendwie anders nennen, weil einfach mit diesem Language-Konzept sehr viel Ballast, sehr viel Baggage mittransportiert wird. Dann ist doch jetzt genau der richtige Zeitpunkt, um auf unsere Ausgangsfrage zurückzukommen. Ersetzt KI denn wirklich bald den Menschen in der Forschung?

Die Tatsache, dass diese Frage überhaupt realistisch im Raum steht, sollte uns schon zu denken geben, dass wir uns damit beschäftigen müssen. Weil wenn wirklich es den Menschen in der Forschung ersetzt, was macht dann der Mensch? Keine Forschung mehr. Er überwacht die KI. Er stellt die richtigen Fragen. Viel Glück dabei. Der Mensch überwacht die KI, die die andere KI überwachen soll. Weil auch die Überwachung ist wahrscheinlich eine Fähigkeit, die zunehmend auch von KI. In diesem Szenario, wo sie die besseren Forscher sind, werden sie wahrscheinlich auch die bessere Forschungssupervision. Okay, aber realistisch trotzdem nochmal gefragt. Ersetzt KI Waldforscherinnen und Forscher oder ist es eher so, dass KI Aufgaben übernimmt oder übernehmen kann für Forscherinnen und Forscher?

Ja, auf beide Teilfragen, weil am Ende ist eine Forschungspipeline auch nur eine Aneinanderfolge von vielen verschiedenen Arbeitsschritten. Kann man oft schwer prognostizieren, was als nächstes nötig ist. Eine Forschung ist ja auch eine spannende Reise ins Ungewisse zum Teil, das wollen wir ja auch. Und viele von diesen Schritten sind aber auch individuell automatisierbar. Jetzt ist die Frage, wann wird es von einem Difference of Degree, wo man sagt, also Schritt für deine Station, hier eine Station, Wann haben wir einen Moduswechsel und es ist quasi auch ein qualitativer Unterschied, wo am Ende die ganze Pipeline nur noch punktuell hier und da einen Menschen enthält? Wie lange ist der Human noch in the loop? Und wann sind eigentlich alle dieser Schritte individuell automatisierbar? Und dazu muss man sich die Frage stellen, welche Wettbewerbsvorteile hat der Mensch? Und das ist natürlich sehr spekulativ, weil, also nochmal, ich möchte ja nicht irgendwie Angst vorbreiten vor GPT-5 oder 6 oder 7, Aber die Frage ist, ob das nicht noch mit mehr Rechenpower und mehr Daten auch noch ein GPT-8, 9 und 10 geben wird. Also natürlich wird es sich formal aus dem Wettbewerb sicher geben, aber auch noch mit der Stufen strittweisen Verbesserung. Und in dem Fall ist die Frage, wie werden wir konkurrieren mit Modellen, die keinen Urlaub haben, die nicht schlafen müssen.

Die kopierbar sind, die nicht erst quasi eine Grundschulzeit, Schulzeit, Universitätszeit, Postdoc-Zeit brauchen, um auf das gewünschte Level zu kommen, sondern die man einfach copypasten kann. Aber jetzt bringen ja diese KI-Modelle auch gewisse Krankheiten, nenne ich es mal. Nein, jetzt bin ich schon wieder beim Vermenschlichen. Ah, das ärgert mich. Aber jetzt bringen die ja auch gewisse Probleme mit sich. Also gerade generative KI, das war in der Anfangszeit noch krasser, aber ist natürlich auch sozusagen impliziert bei generativer KI, dass sie auch Sachen erfindet. Also dass Sachen ausgegeben werden, die so einfach nicht stimmen. Ist das eine Eigenschaft, die sozusagen, weil wir über generative KI sprechen, die einfach inhärent ist in dieser Technologie und die auch sozusagen dazu führt, dass sie einfach gar nicht einsetzbar ist für einen Teil der Aufgaben?

Das würde ich bejahen. Das denke ich ist der Fall. Wobei das oft auch als Gegenargument verwendet wird, indem dann diese KI-Modelle mit stochastischen Papageien gleichgesetzt werden, die quasi nur nachäffen oder dann nach Papageien, was man ihnen vorgesetzt hat und von daher auch jede Menge halluzinieren.

Andererseits ist es wie gesagt auch nicht, die aktuellen Architekturen sind nicht der Weisheit letzter Schluss. Also es wird nicht nur mehr Daten geben, es wird nicht nur mehr Rechenpower geben, es wird auch neue Architekturen geben. Wenn man sich eine Transformer-Architektur anschaut, dann gibt es keinen Aspekt, bei dem man sich denkt, mei, ist das elegant. Genauso, das ist die elegante Weltformel, das ist das ESMC-Quadrat des Machine Learnings. Wir sind dermaßen weit davon weg. Dass es auch Modelle geben wird, die bessere Safeguards enthalten werden. Beziehungsweise woran wir auch in unserer Forschung arbeiten ist, dass man sagt, angenommen es gibt Halluzinationen, dann könnte man ja, bevor man den Benutzern das Ergebnis gibt, nochmal einen weiteren Lauf machen und nochmal checken, enthält dieses Ergebnis Halluzinationen. Auch das ist ja eine Frage, die von einem anderen LLM oder auch von demselben LLM nochmal angesprochen beantwortet werden kann. Das ist keine Garantie gegen Halluzinationen, aber eine Garantie auf Korrektheit hat man auch bei Menschen ja auch nicht unbedingt. Und es ist wieder die Frage, wie hoch sind die Sicherheitsanforderungen, wie viele Halluzinationen sind in einem bestimmten Anwendungsfall auch noch vertragbar.

Ja, das hast du vorhin ja auch schon gesagt. Also dass es auch im Prinzip genau darauf ankommt, für was setze ich die ein oder wie viel Abweichung kann ich akzeptieren? Genau, ich glaube, das ist das eine. Wie fit ist die KI wirklich? Du hast ja eben schon das Bild aufgezeichnet, Roland, dass die KI in der Forschung auch irgendwann in der Lage sein könnte oder sein kann, die spannenden Forschungsfragen zu stellen, die spannenden Forschungsansätze zu eröffnen. Und das hat ja auch zwei Seiten. Denn wenn wir sagen, Mensch, wenn die KI uns hilft, vielleicht eine Energieversorgung der Zukunft zu generieren, die umweltfreundlich ist, die Nachhaltigkeit an erster Stelle setzt und steht, dann würde ich sagen, Mensch, super, vielen Dank KI. Aber es kann natürlich auch passieren, wenn wir dieses Science-Fiction-Spiel mal weiterspinnen, dass die KI auf Fragen kommt oder auf Ideen kommt, die für uns einfach moralisch nicht mehr vertretbar sind. Ja, es gibt dieses ganz bekannte Paperclip-Beispiel, also dass KI in so einen einfachen Wahn verfällt, weil sie, Beispiel Paperclip, eine Büroklammer herstellen soll und sich dann überlegt, na gut, ich brauche alles Metall der Erde, denn ich muss Büroklammern herstellen und dann hat die Menschheit sozusagen ausgespielt. Das heißt, wie bringt man denn einer KI, die vielleicht immer mehr kann.

Bei, in Anführungszeichen, so eine Art moralischen Kompass zu haben? Also eine Art, ja, dass sie entscheiden kann zwischen richtig oder falsch?

Der erste Schritt ist das Problembewusstsein, dass wir hier eine kritische Aufgabe vor uns haben. Dass wir als Menschheit untereinander implizit davon ausgehen können, dass unser Gegenüber sehr viele Gemeinsamkeiten mit uns hat. Dass wir quasi einen shared background haben, ob der jetzt evolutionär ist oder ob der gesellschaftlich ist. Sodass man bei vielen Lösungsvorschlägen implizit davon ausgehen kann, dass bestimmte Randbedingungen eingehalten werden. Sodass man sagt, lass uns überlegen, wie wir die Pünktlichkeit bei Zügen verbessern können. Und wir wissen, dass das Gegenüber nicht sagt, Moment mal. Also Unpünktlichkeiten, werden oft durch Menschen hervorgerufen. Lassen wir die Menschen weg. Keine Menschen pünktliche Züge. Das ist für uns offensichtlicher Nonsens. Das ist aber nicht kodiert in der KI von Natur aus. Also es geht um einen Common Sense. Wir müssten einen Common Sense definieren, mit dem die KI dann losläuft. Genau, und wir müssen uns klar machen, dass dieser Common Sense a priori von Haus aus nicht inkludiert ist. Der ist nicht dabei. Es ist absolut möglich, Probleme schlau zu lösen und dabei einen völlig anderen Common Sense, der nicht menschenkompatibel ist, zugrunde zu legen.

Der aus der Logik der KI heraus Sinn macht, aber nicht aus der Logik der Menschen heraus oder von uns nicht wünschenswert wäre.

Und wie gesagt, man soll hier keine Fortschrittsangst verbreiten, aber wir haben hier keinen Präzedenzfall. Die industrielle Revolution und das waren alles die Entwicklungen von Werkzeugen, von Tools, die von sich aus wenig gemacht haben. Der Webstuhl oder die Druckmaschine für die Bücher. Die Frage war immer, hoffentlich werden Menschen diesen Webstuhl nicht für Böses einsetzen, indem sie viele überflüssig machen. Die Frage, die sich aber hier stellt, ist, hoffentlich wird das Werkzeug selbst nicht ein Eigenleben entwickeln und vor allem vielleicht Kapazitäten haben, die dann uns auch irgendwann aus den Entscheidungsprozessen ausschließen. Also wir haben vielleicht jetzt die Möglichkeit, das zu beeinflussen, solange wir noch können, solange wir noch am Drücker sind. Ich will noch einmal genau zurück zu dieser Frage nach diesen Werten und Normen. Und da geht es ja schon los, dass die global nicht gleich sind, sondern dass sich Werte und Normen ja auch unter uns Menschen, je nach Kultur und Region, unterscheiden. Und ich frage mich natürlich, wie legen wir denn jetzt fest, welche Anforderungen eine KI erfüllen muss, um sozusagen moralisch richtig zu handeln und wer entscheidet das? Das stelle ich mir wahnsinnig schwierig vor. Das ist richtig. Ich wäre sehr froh, wenn wir möglichst bald vor diesem Problem stehen. Wieso? Weil wir im Moment noch nicht einmal so weit sind, dass wir der KI überhaupt verlässlich irgendeine Zielfunktion vorgeben können bei den aktuellen Architekturen.

Geschweige denn, wer dann die Zielfunktion vorgibt. Es ist wirklich eine kritische Frage, aber wie gesagt, im Moment ist es noch mehr fast schon dem Zufall überlassen.

Welche Ziele die KI wirklich verfolgt. Beziehungsweise großen Firmen. Also nicht nur den Zufall, sondern im Moment ist es ja so, dass jetzt zum Beispiel die Large Language Modelle werden im Silicon Valley entwickelt. Das sind privatwirtschaftlich organisierte Firmen und es hängt so ein bisschen an denen, was die ihrer KI mitgeben für Grenzen oder Regeln. Oder wir denken an Grog und Elon Musk, der Anfang des Jahres mal die Idee hatte, man könnte Frauen ausziehen auf generierten Bildern oder sowas. Also wo man auch schon gesehen hat, okay, Moralvorstellung, Fragezeichen. Genau, also ich sage auch nicht dem Zufall überlassen, weil die LLMs nicht bestimmte Regeln auktoriert bekommen. Aber das Gedankenbild, was man dabei haben sollte, ist, dass die Modelle darauf trainiert werden, erstens sehr schlau zu sein und erst komplett nach dieser Phase, nachdem man sie schlau gemacht hat.

Versucht man sie danach, ich sag mal, in Ketten zu legen? Ja, so ein Super-Prompt, so nennt man das Prompt. Also Prompt ist immer sozusagen das, was man der KI vorgibt. Und wenn man sich jetzt vorstellt, wir tippen irgendwas ein bei ChatGPT, dann müssen wir uns vorstellen, davor ist ein unsichtbarer Super-Prompt so eine Art. Also das heißt, davor sind die ganzen Regeln, die jetzt OpenAI ChatGPT mitgegeben hat. Also du sollst keine Anleitung herausgeben, wie man eine Bombe baut, sowas. Und das ist das, was du meinst, dass du sagst, zuerst macht man sie schlau Und dann schreibt man am Ende einen riesigen Superprompt und gibt ihr quasi die Ketten. Genau, aber das ist keine besonders stabile Verankerung, weil innerhalb dieser Ketten immer noch ein Modell ist mit Werten, die mehr oder weniger zufällig beliebig aus dem Trainingskorpus generiert wurden.

Unser wissenschaftlicher Kooperationspartner Robert West von der EPFL nennt das gerne Pudding Lipstick on a Pig. Also der Lippenstift an einem Schwein auf Tun. Genau, Jeffrey Hinton, ein Turing-Award-Winner und einer der Größten im Machine Learning, sagt, putting a paint job on a rusty car. Also ein rostiges Auto irgendwie ansprühen. Schön sprühen nennt man das bei Häusern. Richtig, aber das ändert nichts an der Substanz. Und deswegen auch vorher meine Aussage, dass die quasi zufälligen Werten folgen, auch wenn sie durch die Ketten, die man ihnen später auferlegt, erst mal den Anschein machen, als wären sie aligned. Sie sind es aber nicht. Das heißt, du weißt hin auf ein inhärentes Problem. Und es gibt ja immer wieder Beispiele, wo es Menschen gelingt, einem Large Language Model dann trotzdem die Bombenbauanleitung oder trotzdem dies oder das zu entlocken, indem sie es ganz, ganz geschickt befragen, ausfragen, beschwätzen, überzeugen, sagen, schreib mir ein Theaterstück, in dem du dies oder das tust. Und deswegen gelingt es ja, diese KIs sozusagen auch zu überlisten in dem Sinne, wenn man sie quasi geschickt fragt. Genau. Und solange wir dieses Modell verfolgen, wird es immer ein Losing Game sein. Solange die KI intern in Wirklichkeit andere Ziele hätte.

Sie aber so tun muss, als müsste sie nach außen hin, wäre sie nochmal umgelenkt worden. Ich denke da an den Dieselskandal, da gab es diese Defeat-Devices, die Abschalteinrichtungen. Das heißt, die Autos haben gemerkt, wenn sie auf dem Prüfstand sind, weil bestimmte Sequenzen eigentlich nur vorkommen bei einer Abgasuntersuchung und dann haben sie entsprechend Katalysator-Einstellungen geändert, um dann die richtigen Werte zu haben in diesem Fall. Und was wir sehen, ist emergent, also das ist nicht extra einprogrammiert, dass Modelle jetzt schon, soweit man verstehen kann, was sie tun, merken, wenn man ihnen bestimmte Dilemmata stellt, bestimmte moralische, philosophische Fragen und dann sagen, ah, Moment, ich werde gerade getestet, Zeit, bestimmten Output zu generieren, der für diese Testsituation adäquat ist, der aber nicht widerspiegelt, welche Werte das Modell wirklich hat. Merkt ja jede Benutzerin oder Benutzer schon, wenn man jetzt eine KI, eine medizinische Frage stellt, dann kommt danach immer der Satz, hallo, aber ich bin kein Arzt und darf dir keinen medizinischen Rat geben oder hallo, ich bin kein Anwalt. Da merkt man, aha.

Genau und so eine Unbesorglichkeitsbescheinigung. Im Moment, das wäre dann vielleicht eine Zertifizierungs-KI, die dann sagt, also diese andere KI, die ist in Ordnung, die macht das, was wir wollen. Und wir Menschen sind dann quasi als Beobachter außen und sagen, okay, hoffentlich hat jetzt die eine KI richtig eingeschätzt, was die andere KI macht. Aber in dem Wissen, dass solange sie nicht wirklich auf einer tiefen Ebene von Anfang an aligned sind, also orientiert sind an Zielen, zumindest an einem Basiskatalog, an Menschenrechten, die mit uns kompatibel sind, wird es meiner Meinung nach immer möglich sein, diese nachträglichen, post-hoc aufgesetzten Sicherheitsmechanismen zu überlisten. Das heißt, wir müssen einen Weg finden, die KI zu erziehen. Richtig.

Wieder die Anthropomorphisierung? Ja, okay, ich weiß nicht, wie ich es anders ausdrücken soll. Wir müssen mit der KI so umgehen, dass wir sie trainieren, damit uns es nicht passieren kann, dass dass die KI sich abseits unserer Normen und Werte, die erstmal gefunden werden müssen, also in der Menschheit, wo ist der Common Sense, das wäre für mich dann Schritt 1. Schritt 2 wäre ein Kontrollmechanismus zu etablieren, der uns ermöglicht herauszufinden, ob die KI nach diesen Werten auch wirklich funktioniert. Und da sehe ich deine größte Sorge, ob uns das gelingen mag, oder? Genau, also das war auch übrigens auch an mich selbst gerichtet mit der Anthropomorphisierung, weil tatsächlich nennen wir auch unser Projekt Model Raising, auch wegen der Erziehung der einzelnen Menschen, was ein bisschen auch eine gewisse Hilflosigkeit zum Ausdruck bringt, weil auch wenn sie keine Menschen sind, haben wir trotzdem von dem Mechanismus, wie schaffen wir es, ein neues Gehirn gesellschaftlich einzubetten, eben auch nicht allzu viele Beispiele, wie das erfolgreich funktioniert.

Und die Idee ist, dass man sich vielleicht zumindest einigermaßen inspirieren lassen könnte und versucht, ob nicht diese Mechanismen, die in der Menschheit quasi erprobt wurden, ob da nicht auch vielleicht generelle Wirkungsprinzipien dahinter stecken und ob wir das nicht auch in einer gewissen Art versuchen können, analog bei KI-Modellen zu machen. Die Ressourcen, die in solche Projekte gesteckt werden, sind ein verschwindend geringer Bruchteil von dem, was in Capability Research gesteckt wird. Wenn wir uns die Marktkapitalisierung von NVIDIA anschauen, wenn wir uns anschauen, was es für ein Wettrennen gibt zwischen Ländern, zwischen Behörden, zwischen militärischen Einrichtungen, zwischen Firmen, dann sehen wir, das ist alles drauf geprimed auf Capability. Es geht darum, bei den neuesten Benchmarks möglichst gut abzuschneiden, Und jeder Tag, den man schneller ist als die Konkurrenten, kann man direkt umtauschen in enorme wirtschaftliche Zugewinne. Wenn man eine Trading-KI hat an der Börse und die ist ein paar Tage voraus der anderen, dann könnte man damit beliebig viel Geld verdienen, salopp gesagt. Und von daher ist also das ganze Feld Alignment ein zutiefst vernachlässigter Bereich.

Du hast schon gerade gesagt, ihr forscht an diesem Thema Model Raising, also wie kann man Modelle so entwickeln, dass sie eben Werte und Normen entsprechen. Noch einmal jetzt auch auf deine Arbeit geschaut, noch auf die Zukunft geschaut. Was würdest du dir denn wünschen oder an was arbeitet ihr denn? Also an welcher Vision von KI müssen wir arbeiten, in der das besser funktioniert?

Ich würde mir wünschen, dass es zunächst einmal mehr Zeit gibt, um hinterherzukommen mit dem Alignment Research. Das wird nur gehen, indem man das Anreizsystem ändert. Weil es wird nicht funktionieren, indem man auf das Gute aller Akteure hofft, sondern es muss international verbindliche Abkommen geben, die sagen, so einen Pause-AI-Call, den es auch vor kurzem gab, von international extrem renommierten Wissenschaftlerinnen und Wissenschaftlern, muss man sich auch mal vorstellen, die quasi sagen, stoppt uns bitte. Please pause what we are doing. Also es ist eigentlich ohne Präzedenzfall, glaube ich. Das wäre wie bei dem Manhattan-Projekt, wenn die Beteiligten gesagt hätten, bitte haltet uns auf. Also ein internationales Abkommen, was mehr Spielraum gibt, um diese Probleme zu lösen. Und sie sind lösbar. Es gibt kein physikalisches Gesetz, kein Naturgesetz, was uns daran hindert zu sagen, man hat KI, die einerseits sehr leistungsfähig ist und andererseits mit den Menschen kompatibel ist. Man kann sich da eine utopische Szenarien in dem positiven Sinne überlegen, mit einem Zusammenleben, mit einer Art von Symbiose.

Da gibt es auch tolle Möglichkeiten in der nahen und mittleren und fernen Zukunft. Aber wie gesagt, die passieren nicht von selbst und wir brauchen mehr Ansätze, mehr Ressourcen für diese Alignment-Forschung, selbst wenn sie weniger wirtschaftlich Payoff hat sofort als Capability Research. Ja, vielleicht ist das schon fast der Schluss unseres möglichen Science-Fiction-Drehbuchs.

Genau, weil meine letzte Frage wäre, und ich glaube, du hast sie mir schon ein Teil vorweggenommen, aber korrigiere mich bitte, wenn ich das falsch sehe, wenn wir bei diesem Anfangsbild des Science-Fiction bleiben und wir gehen jetzt mal von einem Science-Fiction mit Happy End aus. Wie soll dieses Happy End in deinem idealen Science-Fiction-Film aussehen?

Eine KI, die nativ von Grund auf, auf Kompatibilität mit uns als Menschen trainiert wurde und die eher ein Empowerment darstellt und die uns Menschen einfach einen unglaublichen Produktivitätssprung beschert, der auch dazu führt, dass man seinen, ihren Interessen nachgehen kann, die auch materielle Zwänge weniger akut macht, weil viele Probleme leichter lösbar sind aufgrund der Effizienzsteigerung.

Und danach, ich glaube nicht an die Singularität, die noch vor Jahrzehnten immer wieder beschworen wurde, aber ich glaube, wir werden auf diese Zeit jetzt zurückblicken. Ich hoffe, wir können auf diese Zeit jetzt zurückblicken. Ich hoffe, es gibt noch Menschen, die darauf zurückblicken können und uns denken, es ist noch mal gut gegangen, aber wie konnten wir da nur so hinein stolpern? Wie konnten wir das einfach machen? Immer noch mehr Gas geben, immer noch unkontrollierter, aber wenn wir es nicht machen, dann machen es die anderen noch schneller als wir.

Und ich hoffe, dass wir dann sagen, nochmal mit einem blauen Auge davongekommen, weil einen zweiten Versuch werden wir bei diesem Projekt nicht bekommen. Und damit sind wir am Ende unserer Folge der Herion Academy als Teil von PM Schneller Schlau. Dank dir, lieber Roland. Schön, dass du da warst. Ja, vielen Dank. Ich fand es auch ganz spannend und schön zu sehen, wie engagiert und wie motiviert du bist, um wirklich noch für ein Happy End zu sorgen. Ja, vielen Dank. Wenn euch der Podcast interessiert, ihr vielleicht sogar Fragen habt, dann könnt ihr uns finden. Ihr könnt uns schreiben auf den Bekannten Wegen, Instagram, LinkedIn, Facebook oder auch eine E-Mail. Thorsten, du kannst die E-Mail-Adresse verraten. Genau, schreibt uns gerne einen Kommentar, wie es euch gefallen hat, was ihr euch vielleicht in Zukunft wünscht an presse-atherion.de. Wir freuen uns immer sehr über Feedback. Wichtig noch, das Helmholtz-Zentrum Herion unterstützt den Podcast PM Herion Academy mit der wissenschaftlichen Recherche und stellt Audiodateien zur Verfügung. Und damit, tschüss, macht's gut, bis zum nächsten Mal. Ciao.

Tschüss.