ef:ki:llm

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen Revision Vorhergehende Überarbeitung
Nächste Überarbeitung		 Vorhergehende Überarbeitung
ef:ki:llm [2026/04/23 10:48] – emmeneggergef:ki:llm [2026/04/23 12:32] (aktuell) – [5. GPUs] emmeneggerg
Zeile 69: Zeile 69:
 {{ :ef:ki:altes_vs._neues_model.png?nolink&600 |}} {{ :ef:ki:altes_vs._neues_model.png?nolink&600 |}}
 //Bild: Wie frühere Modelle Sätze bearbeiten und wie Transformer dies tun.// //Bild: Wie frühere Modelle Sätze bearbeiten und wie Transformer dies tun.//
- 
  
 Da ein Transformer nicht direkt mit rohem Text arbeiten kann, wird dieser zunächst in Tokens zerlegt (Tokenisierung). Anschliessend werden die Tokens in sogenannte Vektoren umgewandelt, die in einem mehrdimensionalen Raum angeordnet sind. Diese Vektoren werden als Embeddings bezeichnet. Wörter mit ähnlicher Bedeutung liegen dabei nahe beieinander, während inhaltlich unterschiedliche Wörter weiter voneinander entfernt sind. Die Vektoren für «Mann» und «Frau» liegen nahe beieinander, während der Vektor für «König» viel weiter weg ist. Die Bedeutung wird als Position im Raum dargestellt.  Da ein Transformer nicht direkt mit rohem Text arbeiten kann, wird dieser zunächst in Tokens zerlegt (Tokenisierung). Anschliessend werden die Tokens in sogenannte Vektoren umgewandelt, die in einem mehrdimensionalen Raum angeordnet sind. Diese Vektoren werden als Embeddings bezeichnet. Wörter mit ähnlicher Bedeutung liegen dabei nahe beieinander, während inhaltlich unterschiedliche Wörter weiter voneinander entfernt sind. Die Vektoren für «Mann» und «Frau» liegen nahe beieinander, während der Vektor für «König» viel weiter weg ist. Die Bedeutung wird als Position im Raum dargestellt. 
  
 +{{ :ef:ki:embeddings.png?nolink&600 |Beispiel wie Wörter als Embeddings dargestellt werden}}
 +//Bild: Beispiel wie Wörter als Embeddings dargestellt werden//
  
 Der Transformer besteht aus wiederkehrenden Schichten von Attention-Mechanismen und FNN. Der Transformer besteht aus wiederkehrenden Schichten von Attention-Mechanismen und FNN.
Zeile 92: Zeile 93:
  
 Die Daten durchlaufen mehrfach diese Schichten, wodurch das Modell schrittweise ermittelt, welche Informationen entscheidend sind, um das nächste Token vorherzusagen.  Die Daten durchlaufen mehrfach diese Schichten, wodurch das Modell schrittweise ermittelt, welche Informationen entscheidend sind, um das nächste Token vorherzusagen. 
 +{{ :ef:ki:transformer_2.png?nolink&600 |}}
 +
  
 Am Ende dieses Prozesses wird der letzte Vektor vorhergesagt, der von allen vorhergegangenen Vektoren und auch dem Wissen aus dem Training beeinflusst werden konnte. Auch hier ist der Output eine Liste von Token und deren Wahrscheinlichkeiten, als Nächstes zu kommen.  Am Ende dieses Prozesses wird der letzte Vektor vorhergesagt, der von allen vorhergegangenen Vektoren und auch dem Wissen aus dem Training beeinflusst werden konnte. Auch hier ist der Output eine Liste von Token und deren Wahrscheinlichkeiten, als Nächstes zu kommen. 
 {{ :ef:ki:vektoren.png?nolink&400 |Beispiel, wie sich Vektoren beeinflussen, um Kontext zu verstehen und somit ein nächstes Token zu berechnen.}} {{ :ef:ki:vektoren.png?nolink&400 |Beispiel, wie sich Vektoren beeinflussen, um Kontext zu verstehen und somit ein nächstes Token zu berechnen.}}
- 
 //Bild: Beispiel, wie sich Vektoren beeinflussen, um Kontext zu verstehen und somit ein nächstes Token zu berechnen.// //Bild: Beispiel, wie sich Vektoren beeinflussen, um Kontext zu verstehen und somit ein nächstes Token zu berechnen.//
  
Zeile 104: Zeile 106:
 Um LLMs herzustellen, braucht man spezielle Computerchips, die viele Rechnungen gleichzeitig durchführen können. Diese werden GPUs genannt.  Um LLMs herzustellen, braucht man spezielle Computerchips, die viele Rechnungen gleichzeitig durchführen können. Diese werden GPUs genannt. 
  
-{{ :ef:ki:gpu.png?nolink&600 |Beispiel eines GPUs}}+{{ :ef:ki:gpu.png?nolink&300 |Beispiel eines GPUs}}
  
 ===== 6. Grenzen und Probleme von LLMs ===== ===== 6. Grenzen und Probleme von LLMs =====
   * LLMs erfordern erhebliche Ressourcen für Entwicklung und Training. Häufig werden grössere Modelle auf bereits bestehenden Basismodellen aufgebaut, die ein grundlegendes Sprachverständnis besitzen.   * LLMs erfordern erhebliche Ressourcen für Entwicklung und Training. Häufig werden grössere Modelle auf bereits bestehenden Basismodellen aufgebaut, die ein grundlegendes Sprachverständnis besitzen.
 +  * LLMs verstehen nichts im menschlichen Sinne. Sie haben Probleme mit logischen Schlussfolgerungen, dem Übertragen von Wissen auf neue Kontexte und ähnlichen Aufgaben. 
   * Da LLMs auf Wahrscheinlichkeiten basieren, können sie Antworten erzeugen, die überzeugend wirken, jedoch faktisch falsch sind. Diese bezeichnet man als Halluzinationen.   * Da LLMs auf Wahrscheinlichkeiten basieren, können sie Antworten erzeugen, die überzeugend wirken, jedoch faktisch falsch sind. Diese bezeichnet man als Halluzinationen.
   * Selbst wenn die LLM durch Transformer riesige Teile des Textes beachten, bleibt die Kapazität endlich. Das LLM kann nur Informationen anschauen, welche in einem begrenzten Kontextfenster liegen. Dies führt dazu, dass frühere Gesprächsteile vergessen werden oder Zusammenhänge verloren gehen. Dies passiert insbesondere bei sehr langen Argumentationen.    * Selbst wenn die LLM durch Transformer riesige Teile des Textes beachten, bleibt die Kapazität endlich. Das LLM kann nur Informationen anschauen, welche in einem begrenzten Kontextfenster liegen. Dies führt dazu, dass frühere Gesprächsteile vergessen werden oder Zusammenhänge verloren gehen. Dies passiert insbesondere bei sehr langen Argumentationen. 
-  * LLMs verstehen nichts im menschlichen Sinne. Sie haben Probleme mit logischen Schlussfolgerungen, dem Übertragen von Wissen auf neue Kontexte und ähnlichen Aufgaben.  
   * Da LLMs mit menschengemachten Texten trainiert werden, können Vorurteile aus den Trainingsdaten übernommen werden. Es entstehen Verzerrungen (Bias). Siehe 6. Gruppe.    * Da LLMs mit menschengemachten Texten trainiert werden, können Vorurteile aus den Trainingsdaten übernommen werden. Es entstehen Verzerrungen (Bias). Siehe 6. Gruppe. 
   * Zudem ist das Wissen eines LLMs in der Regel auf den Trainingszeitraum beschränkt und wird nicht automatisch aktualisiert. Dadurch fehlen Informationen über aktuelle Entwicklungen oder neue wissenschaftliche Erkenntnisse.   * Zudem ist das Wissen eines LLMs in der Regel auf den Trainingszeitraum beschränkt und wird nicht automatisch aktualisiert. Dadurch fehlen Informationen über aktuelle Entwicklungen oder neue wissenschaftliche Erkenntnisse.
  • ef/ki/llm.1776934120.txt.gz
  • Zuletzt geändert: 2026/04/23 10:48
  • von emmeneggerg