← Übersicht

Diffusionsmodelle (Bilderzeugung)

Diffusionsmodelle sind die Technik hinter moderner KI-Bilderzeugung (Stable Diffusion, DALL·E, Midjourney). Die Grundidee klingt paradox: Man bringt einem Netz bei, aus reinem Rauschen Schritt für Schritt ein Bild herauszuschälen. Gesteuert wird das Ganze durch einen Textprompt, sodass am Ende genau das entsteht, was beschrieben wurde.

Zwei Richtungen: Rauschen hinzufügen und entfernen

Das Training beruht auf einem Trick. Zuerst nimmt man echte Bilder und zerstört sie schrittweise, indem man in vielen kleinen Schritten Rauschen hinzufügt, bis nur noch Zufall übrig ist (Vorwärts-Prozess). Das Netz lernt dann, jeden einzelnen dieser Schritte rückgängig zu machen, also Rauschen zu entfernen (Rückwärts-Prozess). Kann es das gut, kann es auch aus purem Rauschen ein neues Bild erzeugen.

klares Bild teils Rauschen nur Rauschen Vorwärts: Rauschen hinzufügen (Training) Rückwärts: Rauschen entfernen (Erzeugung) neues Bild
Vorwärts zerstört Bilder zu Rauschen (dafür braucht es kein Lernen). Das Netz lernt nur den Rückweg, und der erlaubt es, aus frischem Rauschen ganz neue Bilder zu erzeugen.

Die Schleife: viele kleine Schritte

Zur Erzeugung startet man mit einem zufälligen Rauschbild und lässt das Netz es viele Male (typisch 20 bis 50 Durchläufe) ein Stück weit entrauschen. In jedem Schritt schätzt das Netz, welcher Anteil des Bildes Rauschen ist, und zieht einen Teil davon ab. Aus dem Nebel schält sich langsam eine Struktur.

Schritt 50 Schritt 30 Schritt 10 Schritt 0 jeder Schritt: etwas Rauschen abziehen
Vom Rauschen (links) zum fertigen Bild (rechts) in vielen kleinen Entrauschungsschritten. Jeder Schritt macht das Bild ein Stück klarer.

Steuerung durch den Prompt

Damit nicht irgendein Bild entsteht, sondern das gewünschte, wird der Textprompt in einen Vektor übersetzt und bei jedem Entrauschungsschritt als Bedingung mitgegeben. Das Netz entrauscht dann nicht neutral, sondern in Richtung des Prompts. Ein Regler (Guidance) bestimmt, wie streng es dem Text folgt.

„eine rote Katze" Text → Vektor Entrausch- Netz Bedingung Rauschen Schritt näher am Prompt
Der Prompt wird zum Vektor und lenkt jeden Schritt. So entrauscht das Netz gezielt in Richtung der Beschreibung statt zu einem beliebigen Bild.

Warum Diffusion so gut funktioniert

EigenschaftVorteil
Viele kleine Schrittejeder Schritt ist eine leichte Aufgabe, stabil zu lernen
Rauschen als Ausgangspunktunendliche Vielfalt möglicher Bilder
Textbedingungpräzise Steuerung über Sprache
Guidance-ReglerBalance zwischen Treue zum Prompt und Vielfalt

Moderne Systeme arbeiten oft im komprimierten Latent Space statt direkt auf Pixeln (schneller) und nutzen für die Textverarbeitung Transformer. Diffusion ist damit ein Bindeglied zwischen generativer Bild-KI und den Sprachmodell-Bausteinen dieses Wikis.

Quellen

Verwandte Themen