KI-Hardware

Es gibt eine Reihe spezialisierter Hardware für KI-Anwendungen, die entwickelt wurden, um die hohen Anforderungen an die Rechenleistung und Effizienz für maschinelles Lernen und künstliche Intelligenz zu erfüllen. Diese Hardware-Lösungen gehen über herkömmliche CPUs hinaus und sind oft für spezifische KI-Berechnungen oder sogar KI-Aufgaben optimiert.

Dabei geht es nicht nur um Geschwindigkeit, sondert um Effizienz. Das ist bei Aufgaben wichtig, die laufend erfolgen müssen und wo nur ein kleines KI-Modell zur Anwendung kommt. Dabei soll möglichst wenig Strom verbraucht werden.

Übersicht

• FPGA (Field Programmable Gate Arrays)
• ASIC (Application Specific Integrated Circuits)
• CPU - Central Processing Unit
• GPU - Graphics Processing Unit
• KI-Beschleuniger
• NPU - Neural Processing Unit
• TPU - Tensor Processing Unit

FPGA (Field Programmable Gate Arrays) und ASIC (Application Specific Integrated Circuits)

FPGAs und ASICs sind Spezialprozessoren, die als Beschleuniger mit einer CPU zusammenarbeiten können. Sie werden für jeweils ein spezifisches Problem entwickelt. Das kann die Beschleunigung der Parallelverarbeitung von KI-Berechnungen sein oder die gezielte Beschleunigung neuronaler Netze.

CPU - Central Processing Unit

Universal-Prozessoren, in der Regel als CPUs bezeichnet, sind nicht für bestimmte KI-Aufgaben optimiert, aber gerade deshalb relevant. Denn wenn man noch nicht genau weiß, wohin optimiert werden muss, kann man mit ihnen alles berechnen. Grundlegende KI-Berechnungen lassen sich selbst mit der langsamsten CPU durchführen und verarbeiten.
Es ist davon auszugehen, dass zukünftige CPUs allgemeine KI- oder Vektor-Einheiten für Beschleunigungen sorgen. Spezielle Vector Neural Network Instructions (VNNI) verarbeiten BF16 und Int8 direkt in der CPU.

GPU - Graphics Processing Unit

GPUs sind hervorragend für die Parallelverarbeitung geeignet, da sie Hunderte parallel arbeitender Recheneinheiten besitzen. Sie eignen sich besonders gut für Matrixmultiplikationen, die den größten Teil der Berechnungen in neuronalen Netzen ausmachen. GPUs sind also ideal für die KI-Beschleunigung. Neuere GPUs verfügen über spezielle KI-Rechenwerke, die für oft genutzte Berechnungen optimiert sind.
Eine besondere Bedeutung kommt dabei der Programmierschnittstelle zu. Für Nvidia gibt es CUDA und für AMD gibt es ROCm.

KI-Beschleuniger

KI-Beschleuniger ist ein Oberbegriff für spezielle Rechenwerke und Chips, die KI-Algorithmen wesentlich schneller und effizienter ausführen können. Sie wurden entwickelt, weil KI-Anwendungen optimierte Rechenwerke und mehr Speicher brauchen. Die meisten KI-Beschleuniger wurden auf Basis von Grafik-Prozessoren für PCs entwickelt.

NPU - Neural Processing Unit

NPUs sind Recheneinheiten, die speziell für On-Board- oder On-Device-KI-Berechnungen in Geräten entwickelt wurden. Sie sind ideal für dauerhaft KI-Nutzung, um den Hauptprozessor zu entlasten und die Akkulaufzeit zu erhöhen. Der Hauptvorteil einer NPU ist nicht ihre besonders hohe Leistung, sondern die energetische Effizienz.
Sie sind für Anwendungen gedacht, die kontinuierlich im Hintergrund laufen, wie die Verbesserung von Bild-, Video- und Audiodatenströmen. Weitere Funktionen sind Sprach-, Wort- und Bilderkennung.
Es ist davon auszugehen, dass NPU-typische Funktionen in Universal-Prozessoren integriert werden, ähnlich wie Videobeschleuniger in der Vergangenheit.

TPU - Tensor Processing Unit

TPUs sind spezielle Prozessoren, die von Google entwickelt wurden und gezielt auf KI-Anwendungen, insbesondere Tensor-Operationen, abgestimmt sind. Sie können in manchen Anwendungen sparsamer arbeiten.

Software und Programmierschnittstellen (APIs)

Eine schnelle KI-Hardware ist nur die halbe Miete. Da die unterschiedlichen KI-Rechenwerke von AMD, Apple, Intel, Nvidia und Qualcomm nicht binärkompatibel sind, bedarf es passende Software wie Frameworks, Bibliotheken und optimierte Modelle, um das Potenzial der Hardware ausschöpfen zu können.
KI-Frameworks wie TensorFlow, Caffe, PyTorch oder Keras, die wiederum verschiedene Programmierschnittstellen wie Microsoft DirectML, Apple CoreML, Nvidia TensorRT, AMD AI Engine, Intel OpenVINO, Qualcomm AI Engine Direct oder Vulkan nutzen.
Es ist schwierig herauszufinden, welche KI-Software die Hardware optimal ausreizt, da die Performance je nach Kombination aus Framework, API, Treibern und Hardware stark variieren kann.

• KI-Software

Weitere verwandte Themen:

• Künstliche Intelligenz (KI) / Artificial Intelligence (AI)
• Machine Learning / Maschinelles Lernen
• Künstliche neuronale Netze (KNN)
• KI-Software
• KI-Anwendungen

Computertechnik-Fibel

Alles was du über Computertechnik wissen musst.

Die Computertechnik-Fibel ist ein Buch über die Grundlagen der Computertechnik, Prozessortechnik, Halbleiterspeicher, Schnittstellen, Datenspeicher, Laufwerke und wichtige Hardware-Komponenten.

Das will ich haben!

Computertechnik-Fibel

Alles was du über Computertechnik wissen musst.

Die Computertechnik-Fibel ist ein Buch über die Grundlagen der Computertechnik, Prozessortechnik, Halbleiterspeicher, Schnittstellen, Datenspeicher, Laufwerke und wichtige Hardware-Komponenten.

Das will ich haben!