Visualisierung und medizinische Bildanalyse

Institut of Computer Science II
B-IT und Institut für Informatik der Universität Bonn

Leitung: Thomas Schultz

Die Gruppe „Visualisierung und medizinische Bildanalyse“ beschäftigt sich mit Anwendungen des maschinellen Lernens im Bereich der medizinischen Bildanalyse. Aktuelle Anwendungsschwerpunkte sind die Modellierung, Visualisierung und Auswertung von Neuroimaging-Daten, insbesondere der Diffusions-MRT; die Unterstützung epidemiologischer Studien in der Augenheilkunde; sowie Tumordiagnostik und -prognose in der Nuklearmedizin.

Ein methodischer Schwerpunkt liegt auf der Kombination maschinellen Lernens mit interaktiver Visualisierung, insbesondere im Hinblick auf die Interpretierbarkeit und Verlässlichkeit automatisch generierter Ergebnisse. An diesen Themen arbeiten aktuell vier Informatik-Doktoranden am Institut selbst; zwei weitere Doktoranden werden derzeit am Klinikum co-betreut.

zur Website

Forschung & Methoden


Interaktive visuelle Datenanalyse

Die Traktographie verwendet die Diffusionsbildgebung, um die Geometrie der weißen Substanz-Bahnen im menschlichen Gehirn zu rekonstruieren. Wir arbeiten an mathematisch fundierten Algorithmen für die Traktographie, an statistischen Methoden zum Vergleich von diffusionsbasierten Biomarkern entlang dieser Bahnen zwischen Gruppen, sowie an Methoden des maschinellen Lernens zur prädikativen

Varianten der diffusionsgewichteten Magnetresonanztomographie sind zur Bildgebung der weißen Substanz des Gehirns in Forschung und Klinik fest etabliert. Aufgrund technischer Fortschritte wird die Diffusion hierbei in den letzten Jahren vermehrt nicht mehr nur mit hoher Winkelauflösung („High Angular Resolution Diffusion Imaging“), sondern zusätzlich mit unterschiedlich starker Diffusionsgewichtung gemessen.

Aus solchen Daten lassen sich Felder dreidimensionaler Diffusions-Propagatoren schätzen, die zusätzliche Information über die Mikrostruktur des Gewebes enthalten, für deren Visualisierung es bislang jedoch kaum Ansätze gibt. Im Rahmen dieses Projekts legen wir zunächst durch eine effiziente Repräsentation solcher Daten die Grundlage für ihre interaktive Visualisierung. Darauf aufbauend entwerfen und implementieren wir geeignete Visualisierungstechniken auf mehreren Skalen: Von lokaler Information (Glyphen) über einzelne anatomische Strukturen (Traktographie) bis hin zu globalen Strukturen (Volumen-Rendering). Diese sind von erfolgreichen Techniken der Diffusions-Tensor-Visualisierung inspiriert, die zusätzliche radiale und die hohe Winkelauflösung der Diffusions-Propagatoren erfordern jedoch substanzielle Erweiterungen. Besondere Aufmerksamkeit widmen wir zudem der Berücksichtigung von Unsicherheit (speziell der bislang nur wenig beachteten Modell-Unsicherheit) und der Nutzbarkeit unserer Techniken zur vergleichenden Visualisierung mehrerer Datensätze.

Gemeinsam mit einem Kollaborationspartner werden wir unsere Visualisierungsverfahren auch auf klinischen Datensätzen erproben.


Tiefe neuronale Netze

Deep Learning führt zu Ergebnissen auf dem neuesten Stand der Technik für die Segmentierung von Netzhautschichten und von Drusen. Dabei handelt es sich um Ablagerungen extrazellulärer Trümmer, die als Biomarker der altersbedingten Makuladegeneration (AMD) dienen. Das Bild zeigt ein interaktives visuelles Interface, das wir entwickelt haben, um verbleibende Segmentierungsfehler effizient semi-automatisch zu erkennen und zu korrigieren.

Veröffentlicht:
„Intelligent interaction and uncertainty visualization for efficient drusen and retinal layer segmentation in Optical Coherence Tomography“
Shekoufeh Gorgi Zadeh, Maximilian Wintergerst und Thomas Schultz, In: Computers and Graphics (2019), 83(51-61)


Maschinelles Lernen mit Kerneln

Rote, grüne und blaue Flächen visualisieren dreidimensionale Segmentierungen von überlappenden Strukturen im menschlichen Gehirn. Sie resultieren aus einem Ansatz, den wir entwickelt haben, um ein Modell des maschinellen Lernens interaktiv zu trainieren, solche Segmentierungen zu generieren. Unser Ansatz hat zum Ziel, die Belastung für den menschlichen Experten zu minimieren.

Veröffentlicht:
Interactive Classification of Multi-Shell Diffusion MRI With Features From a Dual-Branch CNN Autoencoder
Agajan Torayev und Thomas Schultz, In: proceedings of EG Workshop on Visual Computing for Biology and Medicine, 2020


Neue Algorithmen für die Diffusions-MRT-Analyse

Die Diffusions-MRT erlaubt die Rekonstruktion von sich kreuzenden Bahnen weißer Materie (blaue und grüne Kurven, extrahiert innerhalb der Korona-Radiata). Überraschenderweise überschneiden sich diese Kurven in vielen Fällen in einer Weise, die einer Fläche (grau dargestellt) gleicht. Wir entwickeln neuartige Algorithmen zur Extraktion derartiger geometrischer Eigenschaften aus medizinischen Bildern.

Veröffentlicht:
„DT-MRI Streamsurfaces Revisited“
Michael Ankele und Thomas Schultz, In: IEEE Transactions on Visualization and Computer Graphics (2019), 25:1


Partielle Differentialgleichungen

Mittels partieller Differentialgleichungen (PDGen) lassen sich Bilder mit bemerkenswerter Genauigkeit aus einem kleinen Bruchteil der ursprünglichen Bildinformation rekonstruieren. Daher wurden sie in den letzten Jahren vermehrt zur Bildkompression genutzt.

In diesem Forschungsprojekt machen wir diese Methodik, die bislang primär auf natürlichen Bildern und Videos zum Einsatz kam, zur effizienten Speicherung von Neuroimaging-Daten nutzbar. Hierzu entwickeln wir PDGen höherer Stufe, entwickeln Codecs zur verlustfreien PDG-basierten Kompression und entwerfen PDG-basierte Ansätze, die die spezifischen Eigenschaften der funktionellen oder Diffusions-MRT berücksichtigen.


Publikationen

S Mueller, S Karpova, M Wintergerst, K Murali, M Shanmugam, R Finger, T Schultz:
Automated Detection of Diabetic Retinopathy from Smartphone Fundus Videos.
In Proc. MICCAI Workshop on Ophthalmic Medical Image Analysis,
2020

R Sheikh, T Schultz:
Feature Preserving Smoothing Provides Simple and Effective Data Augmentation for Medical Image Segmentation.
In Proc. Medical Image Computing and Computer Assisted Intervention (MICCAI), pages 116-126, Springer,
2020

A Torayev, T Schultz:
Interactive Classification of Multi-Shell Diffusion MRI With Features from a Dual-Branch CNN Autoencoder.
In Proc. EG Workshop on Visual Computing for Biology and Medicine,
2020

M Wintergerst, S Gorgi Zadeh, V Wiens, S Thiele, S Schmitz-Valckenberg, F Holz, R Finger, T Schultz:
Replication and Refinement of an Algorithm for Automated Drusen Segmentation on Optical Coherence Tomography.
Scientific Reports 10(7395),
2020

S Gorgi Zadeh, M Wintergerst, T Schultz:
Intelligent interaction and uncertainty visualization for efficient drusen and retinal layer segmentation in Optical Coherence Tomography.
Computers and Graphics 83(51-61),
2019

A Koch, A Zhukov, T Stöcker, S Gröschel, T Schultz:
SHORE‐based detection and imputation of dropout in diffusion MRI.
Magnetic Resonance in Medicine 82:6(2286-2298),
2019

Angaben zur Forschungsgruppe
Kontakt

Name der Forschungsgruppe

Visualisierung und medizinische Bildanalyse
AnsprechpartnerLeitung: Thomas Schultz
schultz@cs.uni-bonn.de
Telefon 0228 73-69140

AdresseInst. of Computer Science II
B-IT und Institut für Informatik der Universität Bonn

https://cg.cs.uni-bonn.de/schultz/