01
So funktioniert es
Ein Diffusionsmodell lernt, ein wenig Rauschen aus einem Bild zu entfernen. Generieren heisst, bei reinem Rauschen zu beginnen und diesen Schritt 1'000 Mal anzuwenden. RePaint macht daraus Inpainting ohne neues Training: In jedem Schritt werden die bekannten Pixel wieder eingesetzt, sodass das Modell nur die verdeckten Bereiche erfinden muss, und zwar passend dazu.
Beginn des SchrittsVerrauschtes Bild xt
Das ganze Bild auf der aktuellen Rauschstufe.
Bekannte PixelOriginal neu verrauschen
Das echte Röntgenbild nehmen und genau das Rauschen von Schritt t−1 hinzufügen.
Verdeckte PixelEntrauschen mit dem U-Net
Das Modell entfernt einen Schritt Rauschen aus xt.
Mit der Maske kombinierenxt−1
Bekannte Pixel aus dem Original, Lücken vom Modell. Wiederholen bis t = 0.
xt−1 = m ⊙ Modell(xt) + (1 − m) ⊙ ( √ᾱt−1 · x0 + √(1 − ᾱt−1) · ε )
Zeitschrittt = 999
Verbleibendes Signal-
Start (Rauschen)Ende (Bild)
Signal √ᾱt Rauschen √(1 − ᾱt) · Standard-DDPM-Schedule
Bilder aus dem aufgezeichneten Inpainting-Durchlauf auf einem synthetischen Röntgenbild (derselbe Durchlauf wie im Video unten), alle 50 Schritte.
Methode
Wir haben ein DDPM auf rund 9'700 DRRs trainiert, die mit DiffDRR aus den CT-Datensätzen VerSe und Spine 1K gerendert wurden.
Für das Inpainting haben wir den RePaint-Algorithmus (Lugmayr et al., 2022) verwendet: In jedem Rückwärtsschritt werden die unmaskierten Bereiche durch Stichproben des Vorwärtsprozesses ersetzt, während das Modell den maskierten Bereich generiert. So bleibt das Ergebnis mit dem Originalbild konsistent.
02
Inpainting auf synthetischen Daten
Entfernung von Implantaten auf synthetischen DRRs, vom Rauschen bis zur finalen Rekonstruktion.
Iteratives Entrauschen
.webp)
Von links nach rechts: maskierte Eingabe, verrauschter Zustand (t≈1000), Zwischenschritte (t=100, t=10) und finale Rekonstruktion (t=0).
Inpainting-Prozess
Beispiel 1
Beispiel 2
Original-Röntgenbilder mit Masken
Beispiel 1
Beispiel 2
03
Resultate auf echten Röntgenbildern
Zehn echte klinische Röntgenbilder: unser DDPM im Vergleich mit einer U-Net-Baseline.
Zeilen pro Gruppe: maskiertes Implantat, DDPM (unseres), U-Net-Baseline. Das DDPM liefert realistischere, strukturell stimmige Anatomie.