NPU - Neural Processing Unit

NPUs sind Recheneinheiten, die speziell für On-Board- oder On-Device-KI-Berechnungen in Geräten entwickelt wurden. Sie sollen den Hauptprozessor entlasten und die Akkulaufzeit erhöhen. Dabei ist nicht eine besonders hohe Leistung gefragt, sondern die energetische Effizienz, um einen Akku-Betrieb zu ermöglichen.
Sie sind für Anwendungen gedacht, die kontinuierlich im Hintergrund laufen, wie die Verbesserung von Bild-, Video- und Audiodatenströmen. Weitere Funktionen sind Sprach-, Wort- und Bilderkennung.

Es ist davon auszugehen, dass NPU-typische Funktionen in Universal-Prozessoren integriert werden, ähnlich wie Videobeschleuniger in der Vergangenheit.

Vorteile

NPU-Rechenwerke sind für MMA-Berechnungen optimiert und dadurch wesentlich schneller und effizienter als die Programmierung mit Schleifen und den Rechenoperationen der Arithmetic Logic Unit (ALU) der CPU-Kerne und auch deren Vektorerweiterungen.

Nachteile

Allerdings sind NPUs keine Universal-Rechenwerke. Sie können in der Regel nur speziell angepasste KI-Modelle effizient berechnen, die zu den unterstützten Operationen und Datenformaten der Hardware passen. Häufig bedeutet das, dass die Modelle quantisiert werden müssen. Das heißt, die Gewichte (und oft auch die Aktivierungen) des KI-Modells werden von hoher Genauigkeit (z. B. FP32) auf eine niedrigere Genauigkeit (z. B. INT8 oder INT4) umgewandelt.

Manche NPUs können auch KI-Modelle mit Gleitkommaformaten wie FP16 oder BF16 verarbeiten, sind dabei aber oft weniger effizient und nicht schneller als mit den optimierten Integer-Formaten, für die sie ausgelegt sind.

Außerdem ist der Speicher wichtig, weil das gesamte Modell einschließlich Gewichte und Zwischenwerte möglichst in den NPU-Speicher (On-Chip-Memory) passen sollte. Wenn Daten ständig auf einem externen Speicher verschoben oder nachgeladen werden müssen, sinkt die Leistung deutlich und der Energieverbrauch steigt.

Übersicht: KI-Beschleuniger

• KI-Hardware / KI-Beschleuniger
• Matrix-Rechenwerke (CPU)
• TPU - Tensor Processing Unit

Weitere verwandte Themen:

• Matrix / Matrizen (Mathematik)
• Künstliche neuronale Netze (KNN)
• Machine Learning / Maschinelles Lernen
• KI-Software
• KI-Anwendungen

Neue Auflage

Computertechnik-Fibel

Computertechnik neu verstehen - jetzt in der 6. Auflage

Die Computertechnik-Fibel ist in einer vollständig überarbeiteten 6. Auflage als Buch, eBook und Bundle erschienen.
Statt einzelne Teile zu lernen, entwickelst du ein Gesamtverständnis moderner Computersysteme. Von der Hardware, Betriebssysteme, Virtualisierung, KI und Quantencomputer.

Jetzt bestellen

inkl. MwSt. zzgl. Versandkosten

Computertechnik-Fibel

Alles was du über Computertechnik wissen musst.

Die Computertechnik-Fibel ist ein Buch über die Grundlagen der Computertechnik, Prozessortechnik, Halbleiterspeicher, Schnittstellen, Datenspeicher, Laufwerke und wichtige Hardware-Komponenten.

Das will ich haben!