KI-Sprachmodelle (Large Language Models, LLM)
Sprachmodelle sind Algorithmen auf Basis von künstlicher Intelligenz (KI). Sie dienen dazu, menschliche Sprache zu verstehen und auch zu generieren. Sprachmodelle gehören dabei zur Untergattung „Text Generation“ der Gruppe „Natural Language Processing“. Sprachmodelle verwenden in der Regel Verfahren aus dem Bereich Deep Learning, um große Mengen an Text zu analysieren und daraus wiederzugeben.
Damit KI-Sprachmodelle sinnvoll nutzbar sind, sind sie auf sprachliche Vielseitigkeit ausgelegt. Dazu verwendet man bevorzugt große Sprachmodelle (Large Language Models, LLM), die mit einer großen Menge an Text trainiert sind. Ihre Fähigkeiten sind nur auf die Verarbeitung und Ausgabe von Sprache in Form von Text fokussiert und eher allgemeiner Natur. Deshalb spricht man auch von allgemeinen bzw. generativen Sprachmodellen. Zur Erweiterung der Fähigkeiten stellt man Verknüpfungen mit weiteren Systemen her. Beispielsweise mit Wissensspeichern und Systemen zur Durchführungen von Berechnungen. Denkbar ist die Verarbeitung und Ausgabe von Programmiersprachen, Datenformate und Dateiformate in Textform.
Transformer
Transformer sind eine bestimmte Architektur neuronaler Netze, die bei Google entwickelt wurden und von Sprachmodellen angewendet werden. Vereinfacht funktioniert das so, dass ein Algorithmus einen Text bis auf die Wortebene zerlegt und indiziert. Auf diese Weise entsteht eine Datenmenge, besser gesagt eine Statistik über die Häufigkeit und das Vorkommen der Wörter, die sich berechnen lässt.
Zusätzlich nutzen Transformer einen Mechanismus, den man als Attention (Aufmerksamkeit) bezeichnet und die Art, wie Menschen Sprache wahrnehmen, versucht zu imitieren. Er achtet dabei auf die Wörter, die die Grundbedeutung des Satzes enthalten.
Für die Textausgabe fügen Transformer einfach Wort für Wort zu Sätzen zusammen, die mit hoher Wahrscheinlichkeit zueinander passen. Deshalb sind die Antworten auf Fragen inhaltlich nicht immer korrekt.
Was kann ein Sprachmodell?
Warum sind KI-Sprachmodelle so interessant? Ein generatives Sprachmodell kann in seiner Grundform besonders gut sprachlich unterschiedliche Ausdrucksformen und sprachliche Feinheiten verarbeiten. Beispielsweise Analogien bilden und Synonyme interpretieren.
- Suchen
- Klassifizieren
- Sortieren
- Generieren
- Zusammenfassen
- Umformulieren
- Extrahieren
Mit KI-Sprachmodelle kann man IT und Software in natürlicher Sprache steuern und mit ihr interagieren.
- Text erstellen und zusammenfassen
- Sprache übersetzen
- Stimmung analysieren
- Code generieren
Generative Sprachmodelle sind besonders gut darin, als Chatbot oder KI-Assistent allgemeine Konversationen zu führen und häufig gestellte Fragen zu beantworten.
Was kann ein Sprachmodell nicht?
Große Sprachmodelle haben kein Wissen über die Bedeutung der Wörter und die sich ergebenden Zusammenhänge. Künstlich intelligente Chatbots imitieren menschliche Sprache und plaudern munter über alles mögliche drauflos, was man ihnen vorgibt. Wenn man große Sprachmodelle in einem KI-unterstützten Chatbot benutzt, dann neigt man dazu diesen Chatbot als Antwortmaschine zu benutzen. Dabei ist das eigentlich nur ein Sprachgenerator. Große Sprachmodelle sind aber nicht darauf ausgelegt korrekte Antworten zu geben, nachvollziehbare Aussagen zu machen oder Entscheidungen zu treffen. Das ist auch nur schwer möglich. Denn das Sprachmodell berechnet nur, welches Wortteil oder welches Wort als nächstes folgen muss, um die Aufgabe am besten zu erfüllen, eine Frage zu beantworten oder die Anweisung auszuführen.
Folgen der Nutzung von Sprachmodellen
Allgemeine Sprachmodelle generieren oft falsche Informationen. Das ist ärgerlich und an sich gar nicht so sehr das Problem. Wenn man das weiß, dann kann man damit umgehen. Wir Menschen sind auch nicht in jedem Wissensgebiet bewandert. Und wir haben auch kein Problem damit, in fast jedem Wissensgebiet unsere bescheidene Meinung zu äußern und Halbwissen zu verbreiten. Demnach sind wir Menschen nicht besser als ein allgemeines Sprachmodell.
Das eigentliche Problem großer Sprachmodelle ist, wie gut sie die Fähigkeit der Menschen zum kritischen Denken aushebeln. Gewohnheitsmäßig schenken wir der Datenausgabe einer Software mehr Vertrauen als dem Ratschlag eines Freundes oder Freundin, oder eines ausgewiesenen Experten.
Durch die allgemeine Verfügbarkeit von KI-Sprachmodellen besteht die Schwierigkeit, zu erkennen, ob ein Text von einem Menschen geschrieben wurde oder von einer KI. Auf den ersten Blick scheint das egal zu sein. Doch wenn Text nur noch von KI generiert wird, dann geht das Wissen, wie man gute Texte schreibt, schleichend verloren. Wenn das dann nur noch die KI machen kann, dann geht auch diese Fähigkeit innerhalb der mit KI-generierten Texte verloren.
KI-Forscher fürchten, dass durch zunehmende KI-generierte Texte die Datenqualität und Diversität schnell abnehmen wird. Insbesondere das Internet wäre dann „vergiftet“ und nicht mehr ernsthaft nutzbar.
In der KI-Forschung ist das kein neues Problem. Viele Sprachmodelle kämpfen mit Verzerrungen, die schon in den Trainingsdaten vorhanden sind. Beispielsweise wenn die KI mit menschlichen Vorurteilen verseucht ist und rassistisch Ansichten und Argumente generiert.
Künstliche Intelligenz darf uns beim Schreiben durchaus unterstützen. Aber wir dürfen nicht aufhören, „unsere eigenen Worte zu wählen“. Wir sollten die KI nicht nutzen, um weniger zu denken. Wir müssen die Fähigkeit bewahren, zu sagen, was wir meinen. Und zu wissen, was wir sagen.
Desweiteren stellt sich die Frage, wer für einen KI-generierten Text die Verantwortung übernimmt? Nicht im Sinne von richtig oder falsch, sondern in seiner Aussage? Im Prinzip doch der, der einen solchen Text verbreitet und öffentlich zugänglich macht.
Zusammenfassung
Was ein generatives Sprachmodell in seiner Grundform NICHT kann
- Inhaltlich und fachlich korrekte Antworten geben
- Logisch valide Folgerungen erstellen
Was ein generatives Sprachmodell in seiner Grundform besonders gut kann
- Sprachlich unterschiedliche Ausdrucksformen und sprachliche Feinheiten verarbeiten
- Analogien bilden und Synonyme interpretieren
- Gespräche führen
- Allgemeine und häufige Fragen beantworten
Mit KI-Sprachmodellen kann man IT und Software in natürlicher Sprache steuern und mit ihr interagieren. Das ist gut und auch schlecht zugleich. Da die Eingabe in Alltagssprache formuliert ist, sind die Bedienung robuster und fehlertoleranter. Aber, weil auch die Ausgabe in einer Sprache erfolgt, wird die Steuerung ungewisser als bei der Verwendung eindeutiger Kommandos. Es ist schwieriger, die Software dazu zu bewegen, genau das zu tun, was sie soll. Und nur weil es einmal mit einer bestimmten Formulierung funktioniert hat, kann es mit der gleichen Formulierung beim nächsten Mal nicht funktionieren.
Desweiteren ist es keine gute Idee sich auf die Ausgabe von Sprachmodellen zu verlassen, wenn man medizinischen, rechtlichen, finanziellen oder professionellen Rat erhalten möchte. Sämtliche Ausgaben sind nur eine Annäherung und kein Ersatz für eine Beratung durch qualifizierte Fachleute, die im Zweifelsfall für ihre Fehleinschätzung einsteht.
Auf dem Weg zur Super-KI?
Allgemeine KI-Sprachmodelle haben den Nachteil, dass ihre Ausgabe inhaltliche Fehler enthalten und damit nur begrenzt nutzbar sind. Ein Sprachmodell hat nur ein begrenztes Verständnis von Wortspielen, Mathematik und Logik. Dafür mangelt es ihm an einer internen Simulation. Sprachmodelle entwickeln auch keine Lebenserfahrung und haben keine Vorstellung von der Realität.
Um allgemeine Sprachmodelle für spezifische Anwendungen nutzbar zu machen, geht die Tendenz zu kleineren und dafür spezialisierten Modellen.
Auf dem Weg zur Artificial General Intelligence (AGI) wird deshalb nicht an einer einzelnen Super-KI gearbeitet, sondern an einem Netzwerk aus vielen kleinen Modellen.
Zur Lösung komplexer Probleme werden in Zukunft kleine Modelle oder KI-Agenten miteinander kombiniert, um in einer Art Gemeinschaftsarbeit komplexe Ziele zu erreichen.
Anbieter und Betreiber von KI-Sprachmodellen
- OpenAI: GPT, GPTs
- Google: PaLM, Gemini
- Anthropic: Claude
- Meta: LLaMA
- Amazon: Titan
- xAI: Grok
- ...weitere
ChatGPT von OpenAI
Der Chatbot ChatGPT von der Firma OpenAI basiert auf einem großen, generativen Sprachmodell (GPT-3.5, GPT-4). Durch ChatGPT hat OpenAI sein Sprachmodell zur allgemeinen Nutzung freigegeben, wodurch es sofort eine große Popularität erreichte. Jeder kann ChatGPT und seine Fähigkeiten nach einer kurzen Registrierung kostenlos nutzen.
Claude von Anthropic
Claude ist ein Sprachmodell mit Chatbot von Anthropic, was mit ChatGPT von OpenAI und Bard von Google vergleichbar ist.
Gemini von Google
Gemini von Google ist ein multimodales KI-Modell und auch der Name für einen KI-Chatbot. Gemini ist darauf trainiert, Texte, Bilder und Töne "gleichzeitig zu erkennen und zu verstehen". Dadurch kann Gemini unterschiedliche Informationen besser verstehen und Fragen selbst "zu komplizierten Themen" beantworten.
Weitere verwandte Themen:
Frag Elektronik-Kompendium.de
Computertechnik-Fibel
Alles was Sie über Computertechnik wissen müssen.
Die Computertechnik-Fibel ist ein Buch über die Grundlagen der Computertechnik, Prozessortechnik, Halbleiterspeicher, Schnittstellen, Datenspeicher, Laufwerke und wichtige Hardware-Komponenten.
Artikel-Sammlungen zum Thema Kommunikationstechnik
Computertechnik-Fibel
Alles was Sie über Computertechnik wissen müssen.
Die Computertechnik-Fibel ist ein Buch über die Grundlagen der Computertechnik, Prozessortechnik, Halbleiterspeicher, Schnittstellen, Datenspeicher, Laufwerke und wichtige Hardware-Komponenten.