16 Architektur künstlicher neuronaler Netze

16.1 Einführung

Ein künstliches neuronales Netz (KNN) ist ein mehrschichtiges System künstlicher Neuronen, das darauf ausgelegt ist, aus Daten zu lernen. Die Architektur eines KNN bestimmt seine Leistungsfähigkeit und seinen Anwendungsbereich.

16.2 Grundlegende Struktur eines neuronalen Netzes

Ein neuronales Netz besteht typischerweise aus drei Hauptschichten:

1. Eingabeschicht (Input Layer)
   • Nimmt die Eingangsdaten entgegen.
   • Jedes Neuron repräsentiert eine Eingangsvariable.
2. Verborgene Schichten (Hidden Layers)
   • Enthalten künstliche Neuronen, die die Eingaben transformieren.
   • Anwenden von Gewichtungen, Aktivierungsfunktionen und nichtlinearen Transformationen.
3. Ausgabeschicht (Output Layer)
   • Produziert die endgültige Vorhersage oder Klassifikation.
   • Die Anzahl der Neuronen hängt von der Art des Problems ab (z. B. ein Neuron für binäre Klassifikation).

16.3 Arten von neuronalen Netzarchitekturen

16.3.1 Feedforward-Neuronale Netze (FNN)

• Informationen fließen nur in eine Richtung (von der Eingabe zur Ausgabe).
• Keine rekurrenten Verbindungen.
• Häufige Anwendung in Bild- und Spracherkennung.
• Beispiel: Mehrschichtige Perzeptrons (MLP).

Mathematische Darstellung eines MLP:

y = f(W₂ ⋅ f(W₁ ⋅ x + b₁) + b₂)

• x = Eingabedaten
• W₁, W₂ = Gewichtsmatrizen
• b₁, b₂ = Bias-Terme
• f(⋅) = Aktivierungsfunktion

16.3.2 Konvolutionale neuronale Netze (CNNs)

• Entwickelt für Bildverarbeitung.
• Nutzen Faltungsschichten (Convolutional Layers), um lokale Muster in Bildern zu erkennen.
• Bestehen aus:
  • Faltungsschichten (Extrahieren von Merkmalen).
  • Pooling-Schichten (Reduzieren der Dimensionalität).
  • Fully Connected Layers (Klassifikationsentscheidung).
• Beispiel: ResNet, VGG, AlexNet.

16.3.3 Rekurrente neuronale Netze (RNNs)

• Verarbeiten sequenzielle Daten (z. B. Sprache, Zeitreihen).
• Enthalten rekurrente Verbindungen, sodass frühere Zustände in die Berechnung neuer Zustände einfließen.
• Varianten:
  • Long Short-Term Memory (LSTM): Kann sich langfristige Abhängigkeiten merken.
  • Gated Recurrent Units (GRU): Reduzierte Komplexität bei vergleichbarer Leistung.
• Anwendung in Sprachverarbeitung (NLP), Vorhersagemodellen, Finanzanalysen.

Mathematische Darstellung eines RNN:

hₜ = f(Wₕ ⋅ hₜ₋₁ + Wₓ ⋅ xₜ + b)

• hₜ = Zustand zum Zeitpunkt t
• Wₕ, Wₓ = Gewichtungen
• xₜ = Eingabewert zum Zeitpunkt t
• f(⋅) = Aktivierungsfunktion

16.3.4 Transformer-Architekturen

• Verwendet Self-Attention-Mechanismen zur parallelen Verarbeitung von Sequenzen.
• Ersetzt RNNs in vielen NLP-Anwendungen.
• Beispiel: GPT, BERT, T5, Vision Transformer (ViT).

Self-Attention Mechanismus:

Attention(Q, K, V) = softmax((QKᵀ) / √dₖ) ⋅ V

• Q, K, V = Query-, Key- und Value-Matrizen

16.4 Tiefe vs. Breite eines neuronalen Netzes

• Tiefe Netzwerke: Viele versteckte Schichten → Mehr Abstraktion, aber schwieriger zu trainieren.
• Breite Netzwerke: Wenige, aber große Schichten → Effizient für einfache Mustererkennung.