Matrix-Rechenwerke (CPU)

Moderne Prozessoren enthalten spezielle Rechenwerke für Matrixmultiplikationen direkt in ihren CPU-Kernen. Diese Rechenwerke sind darauf ausgelegt, Algorithmen aus dem Bereich der künstlichen Intelligenz bzw. des Machine Learnings deutlich zu beschleunigen, da viele dieser Verfahren stark auf Matrixoperationen beruhen, die sich gut parallelisieren lassen.

Ohne eigene Matrix-Rechenwerke benötigt eine CPU einen zusätzlichen Grafikprozessor (GPU), der aufgrund seiner stark parallelen Architektur besonders gut für solche Berechnungen geeignet ist. Zusätzlich findet sich in vielen Computersystemen eine eigene Neural Processing Unit (NPU), die speziell für KI-Berechnungen optimiert wurde.

Neben diesen spezialisierten Einheiten existieren in einer modernen CPU spezielle Matrixfunktionen. Damit stehen in modernen Computern mehrere unterschiedliche Komponenten zur Verfügung, die Matrix-Operationen beschleunigen können.

Je nach Architektur und Anwendungsfall kommen also die CPU-Kerne selber, GPU oder NPU zum Einsatz.

Was versteht man unter Matrix?

Eine Matrix ist in der Mathematik eine rechteckige Anordnung von Zahlen (oder allgemein Werten) in Zeilen und Spalten. Man kann sie sich wie eine Tabelle vorstellen.

Diese Matrix hat 2 Zeilen und 3 Spalten.

Matrizen (Mehrzahl von Matrix) werden benutzt, um viele Werte gleichzeitig zu organisieren und parallele Rechenoperationen auf ganze Datensätze anzuwenden.

Typische Anwendungen sind:

• Lineare Algebra und mathematische Modelle
• Grafikberechnungen (z. B. 3D-Transformationen in Spielen)
• Physik- und Ingenieursberechnungen
• Machine Learning und KI

Bei Matrix-Berechnungen liegt sehr viel Rechenaufwand mit Multiplikation und Addition vor. Diese Rechenaufgabe nennt man auch Matrix Multiply Accumulate, kurz Matrix MAC oder MMA.

• Matrix / Matrizen (Mathematik)

Rechenwerke für Matrix-Berechnungen

Um Matrix-Berechnungen durchzuführen verwendet man in CPUs die herkömmlichen Rechenwerke (ALU) oder Vektorerweiterungen wie AVX, AVX2 oder AVX-512. Spezielle Matrix-Rechenwerke arbeiten allerdings wesentlich schneller und effizienter, weil sie darauf ausgelegt sind, Berechnungen für künstliche Intelligenz (KI) und Machine Learning zu beschleunigen.

• Matrix-Rechenwerke in CPU-Kernen sind flexibler was Anwendbarkeit und Datenformate angeht.
• Sie lassen sich auch für andere Anwendungen wie bei der Beschleunigung von wissenschaftlichen Berechnungen verwenden.

Implementierungen

AMX (Apple Matrix Extension): Hierbei handelt es sich um eine von Apple entwickelte Erweiterung, die bereits seit dem M1-Prozessor enthalten ist.

AMX (Advanced Matrix Extensions): Diese Erweiterung von Intel kommt im Xeon-Prozessoren für Server zum Einsatz. Trotz des gleichen Namens ist sie nicht kompatibel mit der AMX-Erweiterung von Apple.

SME (Scalable Matrix Extension): Diese Erweiterung wurde von ARM spezifiziert. Sie wird z. B. im Qualcomm Snapdragon X2 eingesetzt.

ACE (Advanced Matrix Extensions for Matrix Multiplication): Eine Matrix-Erweiterung der x86-Partner AMD und Intel für künftige Prozessorgenerationen.

Was ist eine Matrix-Berechnung?

Eine einzelne Matrix-Berechnung erfolgt in der Regel nach folgender Formel:

y = W ⋅ i + x

W = Gewicht
i = Eingabewert
x = Ergebnis der vorherigen Berechnung
y = Ergebnis für die nächste Berechnung

In der Berechnung stecken 2 Operationen:

1. Multiplikation: W ⋅ i
2. Addition: + x

Viele KI-Modelle (z. B. neuronale Netze) bestehen aus sehr vielen Matrix-Multiplikationen und Additionen, auch Multiply-Accumulate genannt. Kurz: MAC = Multiply + Accumulate.

Beispielsweise müssen künstliche neuronale Netze Milliarden solcher Operationen in kurzer Zeit durchführen, damit das KI-Modell sinnvoll trainiert werden kann.

Übersicht: KI-Beschleuniger

• KI-Hardware / KI-Beschleuniger
• NPU - Neural Processing Unit
• TPU - Tensor Processing Unit

Weitere verwandte Themen:

• Matrix / Matrizen (Mathematik)
• Künstliche neuronale Netze (KNN)
• Machine Learning / Maschinelles Lernen
• KI-Software
• KI-Anwendungen

Neue Auflage

Computertechnik-Fibel

Computertechnik neu verstehen - jetzt in der 6. Auflage

Die Computertechnik-Fibel ist in einer vollständig überarbeiteten 6. Auflage als Buch, eBook und Bundle erschienen.
Statt einzelne Teile zu lernen, entwickelst du ein Gesamtverständnis moderner Computersysteme. Von der Hardware, Betriebssysteme, Virtualisierung, KI und Quantencomputer.

Jetzt bestellen

inkl. MwSt. zzgl. Versandkosten

Computertechnik-Fibel

Alles was du über Computertechnik wissen musst.

Die Computertechnik-Fibel ist ein Buch über die Grundlagen der Computertechnik, Prozessortechnik, Halbleiterspeicher, Schnittstellen, Datenspeicher, Laufwerke und wichtige Hardware-Komponenten.

Das will ich haben!