Aktivierungsfunktionen (KI)
Ein künstliches Neuron berechnet zunächst eine gewichtete Summe seiner Eingaben. Dazu werden die Eingaben mit ihren Gewichten multipliziert und anschließend addiert. Das sind Methoden der linearen Algebra, mit denen sich aber nur lineare Zusammenhänge darstellen lassen. Das heißt, dadurch wäre ein neuronales Netz auf lineare Zusammenhänge begrenzt. Das Lernen und Erkennen komplexer Muster wäre nicht möglich.
Hier kommen Aktivierungsfunktionen ins Spiel. Sie bringen Nichtlinearität in die Berechnung eines künstlichen Neurons und damit in das gesamte Netz. Dadurch kann ein neuronales Netz auch komplexere Zusammenhänge und Muster lernen.
Mit Aktivierungsfunktionen in den Neuronen kann das Netz nicht nur lineare, sondern auch nichtlineare Zusammenhänge darstellen. Lineare Zusammenhänge können dabei weiterhin gelernt und, abhängig von der Architektur, sehr genau nachgebildet werden.
Wie funktioniert eine Aktivierungsfunktion?
Die Aktivierungsfunktion funktioniert wie ein Schwellwert-Entscheider.
- Das Neuron regiert stark.
- Das Neuron regiert gar nicht.
- Das Neuron regiert nur leicht.
Die Gewichte bestimmen, welcher Eingabewert wichtig ist. Und die Aktivierungsfunktion bestimmt, wie darauf reagiert wird. Sie ist also die „Persönlichkeit“ des Neurons.
Zusammenfassung
Algorithmen von künstlichen neuronalen Netzen verwenden Aktivierungsfunktionen nachdem sie die Eingabe-Werte der Neuronen addiert und mit den Gewichten multipliziert haben. Die Aktivierungsfunktion ist der Teil, der aus der berechneten Summe eine „Entscheidung“ macht. Ohne Aktivierungsfunktion wäre das gesamte neuronale Netz nur eine „lineare“ Gleichung. Weil komplexe Muster „nichtlinear“ sind, erzeugt die Aktivierungsfunktion die Nichtlinearität, die komplexes Lernen möglich macht.
Bekannte Aktivierungsfunktionen
- Tanh-Funktion (Tangens hyperbolicus)
- Sigmoid-Funktion
- Rectified Linear Unit (ReLU)
Vereinfachende Varianten
Es gibt zu den üblichen Aktivierungsfunktionen wie ReLU, Tanh und Sigmoid noch Varianten, die die mathematische Berechnung vereinfachen, um den Berechnungsaufwand zu reduzieren und damit Training und Inferenz zu beschleunigen.
Diese "Hard"-Varianten sind rechnerisch billiger als die ursprünglichen Funktionen, da sie ohne Exponentialfunktion auskommen, was einen Kompromiss zwischen Genauigkeit und Effizienz darstellt.
- Leaky ReLU
- Hard Tanh
- Hard Sigmoid
Übersicht: Aktivierungsfunktionen
Weitere verwandte Themen:
Lernen mit Elektronik-Kompendium.de
Noch Fragen?
Bewertung und individuelles Feedback erhalten
Aussprache von englischen Fachbegriffen
Computertechnik-Fibel
Computertechnik neu verstehen - jetzt in der 6. Auflage
Die Computertechnik-Fibel ist in einer vollständig überarbeiteten 6. Auflage als Buch, eBook und Bundle erschienen.
Statt einzelne Teile zu lernen, entwickelst du ein Gesamtverständnis moderner Computersysteme. Von der Hardware, Betriebssysteme, Virtualisierung, KI und Quantencomputer.
inkl. MwSt. zzgl. Versandkosten
Computertechnik-Fibel
Alles was du über Computertechnik wissen musst.
Die Computertechnik-Fibel ist ein Buch über die Grundlagen der Computertechnik, Prozessortechnik, Halbleiterspeicher, Schnittstellen, Datenspeicher, Laufwerke und wichtige Hardware-Komponenten.
Artikel-Sammlungen zum Thema Computertechnik
Alles was du über Computertechnik wissen solltest.
