ReLU - Rectified Linear Unit (KI)

Rectified Linear Unit (ReLU) ist eine Aktivierungsfunktion in künstlichen Neuronen, die in künstlichen neuronalen Netzen verwendet werden.

ReLU ist mathematisch definiert als:

• x ist der Input für das Neuron.
• Die Funktion gibt x zurück, wenn x größer als 0 ist.
• Wenn x kleiner oder gleich 0 ist, gibt die Funktion 0 zurück.

Das bedeutet:

• Für negative Eingaben wird der Wert 0 zurückgegeben.
• Für positive Eingaben wird der Wert von x zurückgegeben.

ReLU ist sehr einfach zu berechnen und wird in künstlichen neuronalen Netzen eingesetzt, um das Training effizienter zu machen. Beispielsweise gibt es weniger Probleme mit verschwindenden Gradienten, wie bei der Sigmoid-Funktion.

Vorteile von ReLU

Einfachheit: ReLU ist rechnerisch effizient, da es sich um eine Schwellwert-Berechnung handelt. Der geringe Rechenaufwand beschleunigt das Training mit großen neuronalen Netzen und KI-Modellen.

Nichtlinearität: Damit ein neuronales Netz komplexe Datenmuster lernen und komplizierte Beziehungen erkennen kann, bedarf es einer nichtlinearen Funktion. ReLU ist nichtlinear.

Vanishing-Gradient: ReLU bietet rechnerische Vorteile in Bezug auf die Rückpropagation, da seine Ableitung einfach ist. Das hilft dabei, das Problem des verschwindenden Gradienten (Vanishing-Gradient) zu vermeiden, das ein häufiges Problem bei Sigmoid- oder Tanh-Aktivierungsfunktionen sein kann.

Implementierung zum Ausprobieren

Mit Python lässt sich ReLU sehr leicht implementieren und ausprobieren:

def relu(x):
    return max(0, x)

# Beispiel
print(relu(0))    # Ausgabe: 0
print(relu(2))    # Ausgabe: 2
print(relu(-2))   # Ausgabe: 0

Eine noch einfachere Implementierung:

def relu(x):
    return x if x > 0 else 0

# Beispiel
print(relu(0))    # Ausgabe: 0
print(relu(2))    # Ausgabe: 2
print(relu(-2))   # Ausgabe: 0

Weitere verwandte Themen:

• Künstliche neuronale Netze (KNN)
• Aktivierungsfunktionen (KI)
• Tanh-Funktion (Tangens hyperbolicus)
• Sigmoid-Funktion

Computertechnik-Fibel

Computertechnik neu verstehen - jetzt in der 6. Auflage

Die Computertechnik-Fibel ist in einer vollständig überarbeiteten 6. Auflage als Buch, eBook und Bundle erschienen.
Statt einzelne Teile zu lernen, entwickelst du ein Gesamtverständnis moderner Computersysteme. Von der Hardware, Betriebssysteme, Virtualisierung, KI und Quantencomputer.

Jetzt bestellen

inkl. MwSt. zzgl. Versandkosten

Computertechnik-Fibel

Alles was du über Computertechnik wissen musst.

Die Computertechnik-Fibel ist ein Buch über die Grundlagen der Computertechnik, Prozessortechnik, Halbleiterspeicher, Schnittstellen, Datenspeicher, Laufwerke und wichtige Hardware-Komponenten.

Das will ich haben!