Topologie ist die Geometrie der Verformung. Sie fragt nicht nach Längen oder Winkeln, sondern danach, welche Eigenschaften erhalten bleiben, wenn man ein Objekt stetig dehnt, staucht und biegt ohne es zu zerschneiden oder zu verkleben. Aus dieser Sicht ist eine Kaffeetasse dasselbe wie ein Donut. Für maschinelles Lernen ist Topologie zentral, weil sich Lernen als das Entwirren gekrümmter Datenräume verstehen lässt.
Zwei Formen sind topologisch gleich (homöomorph), wenn man die eine ohne Schnitt in die andere überführen kann. Entscheidend ist allein die Zahl der „Löcher" (das Geschlecht). Tasse und Donut haben beide genau ein Loch der Henkel der Tasse ist das Loch des Donuts.
Die Regel: Dehnen und Biegen ja, Schneiden und Kleben nein. Ein Schnitt ändert die Topologie, weil er Verbindungen zerstört oder neue schafft.
Eine Mannigfaltigkeit ist ein Raum, der lokal wie der gewöhnliche flache Raum aussieht, global aber gekrümmt sein kann. Bestes Beispiel: die Erdoberfläche. Vor Ort erscheint sie flach (man zeichnet ebene Karten), im Ganzen ist sie eine Kugel. Eine 2D-Mannigfaltigkeit ist überall lokal wie eine Ebene, auch wenn sie sich im 3D-Raum windet.
Eine der wichtigsten Ideen des maschinellen Lernens: Reale, hochdimensionale Daten (Bilder, Töne, Text) füllen ihren Raum nicht gleichmäßig aus, sondern liegen auf einer viel niedrigerdimensionalen Mannigfaltigkeit. Ein Bild mit einer Million Pixeln lebt formal in einem millionendimensionalen Raum aber die Menge aller sinnvollen Bilder bildet darin eine dünne, gekrümmte Fläche. Lernen heißt, diese Fläche zu finden und zu begradigen.
Damit schließt sich der Kreis zur geometrischen Sicht auf neuronale Netze: Jede Schicht ist eine stetige Verformung des Raums. Das Netz biegt die Datenmannigfaltigkeit Schicht für Schicht, bis sich die Klassen mit einer geraden Fläche trennen lassen. Manche Verschlingungen (etwa verknotete Ringe) lassen sich erst in höheren Dimensionen auflösen ein Grund, warum Netze breite Zwischenschichten brauchen. Dieselbe Geometrie liegt den Embedding Spaces zugrunde.