KI-gestütze Entrauschung von CT-Bildern
Im Rahmen unserer Innovationsdienstleistungen bieten wir unseren Kunden auch Technologieforschung an. In der Regel beginnen wir jedes Innovationsprojekt mit einer Grundlagenforschung. Basierend auf diesen Erkenntnissen erarbeiten wir in enger Zusammenarbeit mit dem Kunden einen detaillierten Plan für die nächsten Schritte.
In diesem Anwendungsfall präsentieren wir zunächst eine Übersicht über die modernsten Entrauschungstechniken und unsere Projekterfahrung mit KI-basierter Entrauschung für Anwendungen in der Kegelstrahl-CT.
Die Idee dieses Projekts ist in dem folgenden Bild dargestellt, das eine detaillierte Region aus einem Röntgenbild mit einem Abschnitt von drei Wirbeln zeigt: Bei einem verrauschten Eingangsbild ist die gewünschte Ausgabe ein entrauschtes Bild, das noch einen guten Kontrast und eine gute Schärfe aufweist.
Verrauschtes Eingangsbild
Gewünschter Output ohne Rauschen
Forschungsinhalt
Für das gegebene Beispiel haben wir mehrere DNN-basierte Ansätze untersucht, die für eine deutliche Verbesserung der Bildqualität in Frage kommen. Diese technische Forschung wurde durch eine Untersuchung der Rauscheigenschaften und -anforderungen für das Projekt unterstützt.
Rauschen
Eine Untersuchung spezifischer Rauschmuster, die innerhalb der Anwendung auftreten.
DNN-basierte Entrauschung
Ein Überblick über moderne DNN-basierte Entrauschungstechniken wie:
- Bild mit Restrauschen
- Rauschunterdrückung mit GANs (generative adversarische Netzwerke)
- Auto-Encoder-Netzwerke
Anforderungen
Hier identifizieren wir Kundenanforderungen wie:
- Datenerfassung und -beschriftung
- Integration und Bereitstellung
- Benutzerfreundlichkeit und Akzeptanzkriterien
- Regeln und Vorschriften (Zertifizierung)
Verfahren für KI-basiertes Entrauschen
Rausch-Beobachtung
Im Rahmen des vorliegenden Projekts wurden zunächst die Rauschcharakteristiken für Kegelstrahl-Detektoren ermittelt:
- Quantenrauschen ist definiert als die wichtigste und bedeutendste Rauschquelle bei Zufallsprozessen, die durch Fluktuationen in der Anzahl der den Detektor erreichenden Photonen bedingt ist und auch als Poisson-Rauschen bekannt ist.
- Streustrahlung kann einen signifikanten Beitrag leisten, wenn sie nicht durch angemessene Hardware-Filterung (Kollimatoren, Anti-Streu-Gitter) unterbunden wird.
- Das Phänomen des elektronischen Rauschens manifestiert sich typischerweise bei sehr niedrigen Belichtungszeiten und zeigt eine visuelle Ähnlichkeit zu Salz und Pfeffer.
- Das thermische Rauschen ist eine Folge der Temperaturschwankungen der Röntgenröhren und manifestiert sich als signalunabhängiges Gaußsches Rauschen.
Es wurden Beispiele und Visualisierungen für spezifische Arten von Rauschen entwickelt, wobei folgende Feststellungen getroffen wurden:
- Die visuellen Eigenschaften des Rauschens können in Abhängigkeit von einer hohen oder niedrigen Belichtung innerhalb verschiedener Bildregionen variieren.
- Für die gegebene Entrauschungsaufgabe sollte der DNN-basierte Ansatz flexibel genug sein, um hybride Rauschmodelle zu berücksichtigen.
Technologie-Bewertung
Eine typische Literaturrecherche für unsere Innovationsprojekte besteht aus einer unvoreingenommenen Suche nach Techniken, die sich entweder mit dem Thema befassen oder im Hinblick auf das Ergebnis thematisch verwandt sein könnten.
Für die gegebene Aufgabe haben wir mehrere Basistechnologien identifiziert, die Rauschen unterschiedlich modellieren.
Bild mit Restrauschen
Im Rahmen der vorliegenden Untersuchung haben wir Restrausch-DNNs mit einem hybriden Rauschmodell analysiert. Die Eingabe stellt das verrauschte Bild dar, während das Modell das Restrauschbild berechnet, welches gewöhnlich als additive Intensitätskomponente modelliert wird. Die Rauschmodellierung kann ebenfalls die Schätzung eines Rauschpegels aus dem Bild beinhalten. Dieser wird folgend als Gewichtungskomponente innerhalb des Restrausch-DNN verwendet.
Das Idealbild kann anschließend durch eine gewichtete Subtraktion der Rauschkomponente wiederhergestellt werden.
GANs
Hier haben wir Ansätze untersucht, bei denen ein verrauschtes Bild in einen Generator-DNN und einen Diskriminator-DNN eingespeist wird. Das Training fokussiert sich auf den Diskriminatorteil, bis die Unterscheidung zwischen entrauschten und idealen Bildern nicht mehr möglich ist.
Auto-Encoder
Wir haben symmetrische DNN-Architekturen mit Skip-Verbindungen analysiert, mit dem Ziel, Restbildfelder und Eingabebilder innerhalb des DNN zu kombinieren.
Datenerfassung und Trainings-Input
Aufgrund von Unterschieden bei den Erfassungsprotokollen, der Körperanatomie, der Population, der Dosis, der Exposition und anderen Faktoren wurde deutlich, dass das Modell eine hohe Generik aufweisen muss, da es andernfalls nur bei Fällen, die den Trainingsdaten ähnlich sind, eine zufriedenstellende Funktion aufweisen würde.
Da eine typische Annotation bei dieser Art von Problem nicht in Frage kommt, wurden verschiedene Ansätze zur Erzeugung von Trainingsdaten untersucht:
- Es besteht die Möglichkeit, die Rauschvermehrung durch die Hinzufügung von Poisson-Rauschen zu Trainingsbildern mit niedriger Dosis zu vergrößern.
- Die Untersuchung umfasst Phantomdaten, die sowohl die reale menschliche Anatomie als auch die Aufnahme von Bildern mit niedriger und hoher Dosis umfassen.
- Bei der vorliegenden Untersuchung wurden Sequenzreihen analysiert, bei denen eine zeitliche Mittelung zur Rauschreduzierung verwendet werden kann.
- Die Generierung von Trainingsbildern erfolgt mittels Generative Adversial Networks (GANs).
Anforderungen
Eine wesentliche Anforderung an dieses Projekt war die Erklärbarkeit. Da DNNs, sobald sie einmal trainiert sind, für die Entwickler eher Blackboxes sind, ist es von entscheidender Bedeutung, die Fähigkeiten des Algorithmus und seine Auswirkungen zu verstehen, wenn sich der Rauschpegel ändert oder Objekte in den Bildern enthalten sind, die man vorher noch nie gesehen hat. Für das Risikomanagement im Gesundheitswesen ist eine sehr gute Validierung des Ansatzes erforderlich.
Während der Entwicklung wenden wir verschiedene Techniken an, um Anforderungen zu erfassen:
- Bereitstellung eines Fragebogens, der sich mit der Thematik der künstlichen Intelligenz in Medizinprodukten auseinandersetzt.
- Darlegung der Bestimmungen der FDA zu KI und maschinellem Lernen bei der Verwendung als Medizinprodukt.
- Analyse der Einschränkungen, die sich aus der Datenverfügbarkeit ergeben.
Zusätzliche Anforderungen ergeben sich aus der Integration und dem Einsatz, wobei insbesondere die vorhandene Kundeninfrastruktur berücksichtigt werden muss:
- Geeignetes Inferenz-Framework (z.B. TensorRT)
- Modelloptimierungen für Laufzeitanforderungen
- Konvertierungen auf spezifische Plattformen (z.B. ONNX-Format)
- Cloud- oder On-Premise-Inferenz
Wir haben Benutzerfreundlichkeit und Akzeptanz untersucht, die helfen können, bestimmte Probleme zu lösen, die bei der Risikoanalyse auftreten. Zusätzliche Benutzerparameter könnten z.B. die Gesamtstärke der Rauschunterdrückung als Benutzereingabe definieren. Oder es könnten spezifische Parameter zur Feinabstimmung des Bildeindrucks verwendet und zusätzliche Aufnahmeparameter integriert werden.
Experimente zu CT-Entrauschung
Wenn möglich, experimentieren wir auch mit ersten Daten, um ein Gefühl für das Problem zu bekommen und praktisches Feedback zu einigen untersuchten Methoden zu geben..
In diesem Beispielprojekt bestanden die ersten Ergebnisse darin, hochdosierte Röntgenbilder als Referenz zu verwenden und Rauschen mit bestimmten Verteilungen hinzuzufügen. Einige erste DNN-Modelle wurden dann mit diesen Daten trainiert, um einige Ergebnisse zu liefern und ein Gefühl für die Fähigkeiten der verschiedenen Methoden zu bekommen.
Die folgenden Bilder zeigen einige dieser vorläufigen Ergebnisse für eine Röntgenregion mit Wirbeln.
Gewünschte Bildqualität mit deutlich weniger Rauschen als das als Eingabe verwendete Bild. Diese Bildqualität kann für Trainingsdaten verwendet werden.
Eingangsbild für den experimentellen KI-basierten Entrauschungsansatz. Das zusätzliche Rauschen ist deutlich zu erkennen.
Dies ist das entrauschte Bild nach der Korrektur anhand des berechneten Rauschbildes.
Rauschbild, das nur aus dem verrauschten Eingangsbild berechnet wurde. Es ist zu beachten, dass die Konturen der Wirbelkörper im Rauschen schwach zu erkennen sind.