DE10296836T5

DE10296836T5 - System zur Modellierung statischer und dynamischer dreidimensioner anatomischer Strukturen durch 3D-Modelle

Info

Publication number: DE10296836T5
Application number: DE10296836T
Authority: DE
Inventors: Alok Gupta; Marie-Pierre Jolly; Thomas O'donnell
Original assignee: Siemens Corporate Research Inc
Current assignee: Siemens Corporate Research Inc
Priority date: 2001-05-16
Filing date: 2002-05-09
Publication date: 2004-04-29
Also published as: WO2002093494A2; JP2004529714A; US20020172407A1; WO2002093494A3; US6816607B2

Abstract

Verfahren zur Modellierung eines dreidimensionalen Zielobjekts, das durch mehrere Querschnittsbilder dargestellt wird, um ein representatives entsprechendes dreidimensionales Modell zu erhalten, mit den folgenden Schritten:
Auswählen eines Anfangsmodells aus mehreren verfügbaren Anfangsmodellen durch Identifizieren eines Anfangsmodells auf der Basis physischer Ähnlichkeit mit dem Zielobjekt;
Überlagern eines Anfangsmodells über das Zielobjekt;
für jedes der mehreren Querschnittsbilder:
Bestimmen einer Schnittkontur des Anfangsmodells und eines Querschnittbildes des Zielobjekts;
Verfeinern der bestimmten Schnittkontur, um das Zielobjekt genauer abzuzeichnen;
Unterabtasten von Punkten, die die verfeinerte bestimmte Schnittkontur darstellen, um einen unterabgetasteten Konturdatensatz bereitzustellen; und
Einstellen des Anfangsmodells in Richtung der unterabgetasteten Kontur, um ein representatives dreidimensionales Modell des Zielobjekts zu erhalten.

Description

Hintergrund der Erfindung
1. Technisches Gebiet
Die vorliegende Erfindung betrifft die Computermodellierung einer potentiell dynamischen anatomischen Struktur in einem (mehreren) gegebenen Bildvolumen. Dies gestattet die Messung der Geometrie des zugrundeliegenden Objekts an einem spezifischen Zeitpunkt über eine Menge von Zeiträumen hinweg.
2. Allgemeiner Stand der Technik
Die zeitliche Variation der Organmorphologie ist häufig für Ärzte und Chirurgen interessant. Zum Beispiel wird im Herz mit der Änderung des Blood-Pool-Volumens des linken Ventriculus über den Herzzyklus hinweg eine Fehlfunktion diagnostiziert und eine Behandlungsmethode bestimmt. Ähnlich ist die Lungenkapazitätsdifferenz ein effektiver Bestimmungsfaktor für die Bewertung einer Lungenkrankheit. Im Hirn kann eine Schwellung als Folge einer Verletzung über einen Zeitraum hinweg verfolgt werden, um eine Anzeige für die Schwere des Traumas zu erhalten. Als ein anderes Beispiel wird der Krankheitsfortschritt wie zum Beispiel einer Zirrhose in der Formevolution der Leber wiedergegeben. Tatsächlich ist die Vorgeschichte des Tumorvolumens ein von Ärzten genau beobachteter Wert.
Ein Verfahren für die Segmentierung von Objekten aus 3D-Bildern unter Verwendung einer deformierbaren 3D-Fläche, die aus einer Reihe von planaren 2D-Kurven hergestellt wurde, wird vorgeschlagen. Dieses Modell ist als 3D-Modell jedoch nicht kohäsiv und ist mehr eine Propagation von 2D-Konturen im Raum, gefolgt von einem Zusammenheften der Konturen. Außerdem werden die planaren 2D-Kurven nicht über optimale aktive Konturen wiederhergestellt (wobei "optimal" bedeutet, daß die die Kontur beschreibende Energiefunktion global minimiert wird). Statt dessen verwendet das vorgeschlagene Verfahren Schlangen und Ballonkräfte zur Untersuchung von Rissen. Das Problem bei Ballonkräften besteht darin, daß die Schlange lecken kann, wenn die Bildgrenzen nicht gut definiert sind. Deformierbare 2D-Flächen wurden auch auf die Segmentierung angewandt, aber die Ansätze waren nicht "optimal". Für 1D-Konturen ist die Optimalität ein gut verstandenes Konzept. Dieses Konzept auf 2D-Flächen zu erweiten, ist jedoch immer noch schwierig.
Die direkte Anwendung von 3D-Modellen auf 3D-Bildvolumen hat auch nur zu gemischtem Erfolg geführt. Wieder wird das Beschreiben tiefer Risse ein Problem. Einige vorgeschlagene Verfahren passen parallele Mengen von 2D-Konturen an, um ein 3D-Objekt wiederzugewinnen. Nachdem sich die Anpassung gesetzt hat, wiederholen die Verfahren den Prozeß von einer orthogonalen Richtung aus unter Verwendung der Ergebnisse der vorherigen Iteration als Startpunkt. Diese Verfahren verwenden jedoch Ballonkräfte zum Anpassen der 2D-Konturen, und ihr Ergebnis ist kein kohärentes 3D-Flächenmodell. Außerdem werden diese Verfahren an relativ einfachen synthetischen Formen angewandt. Außerdem werden für die Segmentierung Bereichswachstumstechniken verwendet. Obwohl diese Techniken häufig effektiv sind, haben sie jedoch den Nachteil, in Bereichen, in denen die Objektgrenze nicht gut definiert ist, zu lecken. Außerdem führen diese Techniken nicht zu einer geometrischen Beschreibung des Objekts, sondern statt dessen zu einer Ansammlung von Voxeln. Ein Voxel ist eine graphische Informationseinheit, die einen Punkt im dreidimensionalen Raum definiert (anders ausgedrückt, ein Volumenpixel).
Die Segmentierung über die Propagation von aktiven 2D-Konturen (d.h. unter Verwendung des Ergebnisses aus einem vorherigen Slice als Startpunkt für eine Segmentierung des aktuellen Slice) ist problematisch. Eine Umfangänderung eines Objekts in einem Slice könnte auf eine Radiusänderung des wiederzugewinnenden Objekts zurückzuführen sein oder auf eine Richtungsänderung des von dem Objekt im Raum eingeschlagenen Weges. Zu bestimmen, ob eine Umfangs- oder eine Richtungsänderung stattgefunden hat, ist für die Auswahl eines angemessenen Startpunkts für die Segmentierung in den folgenden Slices wesentlich. Bei zweidimensionalen aktiven Konturen fehlen die notwendigen globalen Eigenschaften, um diese Fälle zu berücksichtigen.
3D-Modelle sind leistungsstarke Werkzeuge. Sie können eine ausführliche Beschreibung eines Objekts liefern. Es ist jedoch schwierig, direkt 3D-Modelle in dem Segmentierungsprozeß zu verwenden, da es nicht garantiert ist, daß sie die optimalen Grenzen in Querschnitts-Slices finden. Das Propagieren von aktiven 2D-Konturen von Slice zu Slice, um die Grenzen eines Objekts abzuzeichnen, ist dagegen effektiv, führt aber zu Problemen, wenn sich die Form eines Objekts drastisch ändert, wie zum Beispiel in Bereichen mit hoher Krümmung.
Ein kooperativer Rahmen zur Ausnutzung der positiven Aspekte der Ansätze mit 3D-Modell und aktiver 2D-Kontur für die Segmentierung und Wiedergewinnung ist vorteilhaft. In diesem Rahmen würde eine Vorgabemodellform, die in den Daten positioniert wird, Startpunkte für eine Menge von durch aktive Konturen durchgeführten 2D-Segmentierungen (Verfeinerungen) liefern. Dasselbe Modell wird an die Ergebnisse der Segmentierung angepaßt.
Deshalb wird ein allgemeiner kooperativer Ansatz für die Segmentierung von Objekten aus 3D-Bildvolumen benötigt, der die positiven Aspekte sowohl von 2D- als auch traditionellen 3D-Ansätzen ausnutzt.
Kurze Darstellung der Erfindung
Die vorliegende Erfindung betrifft ein System zum Modellieren eines dreidimensionalen Zielobjekts, das durch mehrere Querschnittsbilder dargestellt ist, um ein representatives entsprechendes dreidimensionales Modell bereitzustellen. Die Erfindung wählt aus mehreren verfügbaren Anfangsmodellen ein Anfangsmodell aus. Bei dieser Auswahl wird ein Anfangsmodell auf der Grundlage physischer Ähnlichkeit mit dem Zielobjekt identifiziert und dann dem Zielobjekt für jedes der mehreren Querschnittsbilder ein Anfangsmodell überlagert. Danach wird eine Schnittkontur des Anfangsmodells und eines Querschnittsbildes des Zielobjekts bestimmt, und die bestimmte Schnittkontur wird verfeinert, um das Zielobjekt genauer abzuzeichnen. Durch Unterabtastung von Punkten, die die verfeinerte bestimmte Schnittkontur darstellen, erhält die Erfindung einen unterabgetasteten Konturdatensatz. Das Anfangsmodell wird dann in Richtung der Unterabtastwertekontur eingestellt, um ein representatives dreidimensionales Modell des Zielobjekts zu erhalten.
Kurze Beschreibung der Zeichnungen
Die Erfindung wird in der folgenden Beschreibung bevorzugter Ausführungsformen mit Bezug auf die folgenden Figuren ausführlich beschrieben. Es zeigen:
1 ein Flußdiagramm von Verfahrensschritten und drei Stufen der vorliegenden Erfindung;
2 ein Flußdiagramm, das die Schritte der Stufe 1 von 1 ausführlicher zeigt;
3 ein Flußdiagramm, das die Schritte der Stufe 2 von 1 ausführlicher zeigt;
4 ein Flußdiagramm, das die Schritte der Stufe 3 von 1 ausführlicher zeigt;
5 eine perspektivische Ansicht eines Teils eines Hybridmodells, wobei eine parametrische Komponente und eine lokale Komponente gezeigt sind;
6 die Benutzerauswahlpunkte auf zwei orthogonalen Bildern zur anfänglichen Positionierung der parametrischen Komponente des Modells;
7 die Technik zum Verfeinern der Konturensegmentierung;
8 den Schnitt einer Bildachse mit der parametrischen Komponente des Hybridmodells. Dieser Schnitt bildet den Startpunkt für eine 2D-Segmentierung. Das Ergebnis der Segmentierung ist ebenfalls gezeigt;
9 denselben Prozeß wie 9, aber für eine andere (orthogonale) Achse; und
10 die Konturen, die sich aus den 2D-Segmentierungen im Raum ergeben, sowie das an diese angepaßte Hybridmodell.
Ausführliche Beschreibung bevorzugter Auführungsformen
Bei dem vorliegenden System umfaßt ein Verfahren das Quantifizieren der Änderung einer Organmorphologie unter Verwendung eines halbautomatischen Segmentierungsverfahrens. Ein Benutzer positioniert ein Modell des Organs (oder der Organe) ungefähr in einem Bildvolumen. Danach ist der Prozeß vollautomatisch. Die Schritte umfassen ein Schneiden des vom Benutzer positionierten Modells mit den einzelnen Bildebenen des Volumens, um eine Reihe von Konturen zu erzeugen, die die Position des zugrundeliegenden Organs approximieren. Dann werden optimale 2D-Segmentierungsalgorithmen verwendet, um die Grenzen des Organs unter Verwendung der ungefähren Konturen als Startpunkte zu verfeinern. Aus diesen optimalen Konturen wird ein neues Modell angewandt. Dann werden an dem Modell Volumen- und andere morphometrische Messungen vorgenommen. Es ist zu beachten, daß bei einer alternativen Ausführungsform ein Modell automatisch in einem Bildvolumen positioniert werden kann.
Für den Fall des Wiedergewinnens des linken Ventrikels (LV) des Herzens werden für jede Stufe des Herzzyklus die folgenden Schritte unternommen: Erstens spezifiziert der Benutzer die ungefähre Position des LV. Die ungefähren inneren und äußeren Grenzen werden mit einer Reihe von Mausklicken sowohl auf einem Kurzachsenbild als auch einem Langachsenbild umrissen, das Modell wird automatisch an diese Punkte angepaßt. Das resultierende Modell wird als das Anfangsmodell bezeichnet. Man beachte, daß es nicht erforderlich ist, daß dieses Modell genau auf der Grenze des Organs sitzt. Es reicht aus, wenn es sich in der Nähe der Grenze des Organs befindet. Weiterhin wird das Anfangsmodell mit jeder der Bildebenen in dem Bildvolumen geschnitten. Das Ergebnis ist eine Reihe von Konturen (innere und äußere) in jedem der Querschnittsbilder des Volumens. Diese einzelnen Konturen bilden Startpunkte für optimale 2D-Segmentierungen des LV. Ein neues Modell (oder das anfängliche) wird automatisch an diese wiedergewonnenen Konturen angepaßt. Diese Prozedur wird dann für jeden zeitlichen Fall wiederholt.
Ein kooperativer Rahmen umfaßt ein Verfahren zum Kombinieren dreidimensionaler (3D-)Modelle mit zweidimensionalen (2D-)Segmentierungen. Bei einem Beispiel initialisiert ein Benutzer eine parametrische Komponente eines Hybridmodells. Ein Hybridmodell ist ein parametrisches Modell mit einem spline-artigen Gitter auf seiner Oberfläche, das deformiert werden kann, um feine Einzelheiten in einem Bildvolumen zu beschreiben. Schnitte von Bild-Slices mit der parametrischen Komponente dienen als Startpunkte für eine Segmentierung der Objektgrenzen unter Verwendung aktiver Konturen. Die resultierenden Segmentierungen werden abgetastet, um einen Datensatz von 3D-Punkten zu erzeugen, an den das ursprüngliche Hybridmodell angepaßt wird. Das Hybridmodell kann sich frei sowohl parametrisch als auch lokal deformieren, um das interessierende Objekt darzustellen. Auf diese Weise initialisiert der Benutzer das Hybridmodell, das Hybridmodell initialisiert die aktiven 2D-Konturen, und die aktiven Konturen beschränken die Anpassung des Hybridmodells. Diese Anpassung wird als eine physisch motivierte Anpassung bezeichnet. Der Prozeß kann dann für verschiedene Zeitpunkte wiederholt werden.
Mit Bezug auf 1-10 der vorliegenden Erfindung und insbesondere auf 1, die ein Flußdiagramm des Verfahrens der vorliegenden Erfindung zeigt. Wie oben beschrieben, stellt der Block 100 von 1 eine Initialisierung des Modells dar. Dazu gehört das Erfassen eines volumetrischen Bildes eines zu modellierenden Objekts. Der Schnitt der Modelle mit den Abbildungsebenen führt zu einer Approximation an den Querschnitt des Objekts in dem Bild. Diese Approximation dient als Startpunkt für aktive Kontursegmentierungen in dem Bild im Block 105. Im Block 110 wird an dem Objekt in dem Bild eine Segmentierung unter Verwendung aktiver Konturen durchgeführt. Mit den segmentierten Konturen wird im Block 120 ein Datensatz von 3D-Punkten erzeugt. Im Block 130 wird das Modell an die Datenpunkte des Blocks 120 angepaßt, um das Objekt darzustellen. Dieser Prozeß wird für nachfolgende Zeitpunkte wiederholt, wie im Block 131 gezeigt.
Mit Bezug auf 2 der Zeichnungen ist ein ausführliches Flußdiagramm für den das Modell initialisierenden Block 100 dargestellt. Dieser Schritt umfaßt das Identifizieren von ungefähren Positionen auf der Fläche von mindestens zwei Ansichten aus, die die Extremitäten des Objekts berandet. Im Fall des linken Ventrikels des Herzens müssen sowohl innere als auch äußere Wände (endokardial und epikardial) abgezeichnet werden. Die ungefähren Positionen der Punkte auf der Oberfläche des Objekts werden in den Blöcken 102 und 106 identifiziert. Der orthogonale Querschnitt wird im Block 104 identifiziert. Falls notwendig, wird dieser Schritt nach dem Schritt im Block 106 wiederholt. Dann wird eine parametrische Komponente des Modells an die Punkte angepaßt, wie im Block 108 gezeigt.
Mit Bezug auf 3 der Zeichnungen schneiden sich im Block 111 das Anfangsmodellbild und die Bildebenen. 3 der Zeichnungen zeigt Block 105 von 1 in einem ausführlichen Flußdiagramm, bei einer bevorzugten Ausführungsform wird ein zweidimensionales Bild als ein Graph im Block 112 dargestellt. Diese Schnitte dienen als die Startpunkte für eine 2D-Segmentierung. Unter Verwendung von Bildgradienten werden im Block 114 die Randkosten zwischen Graph-Knoten gefunden. Um die ungefähre Eingangskontur herum wird im Block 116 ein Suchraum definiert. Im Block 118 wird unter Verwendung des Algorithmus von Dijkstra ein Weg der niedrigsten Energie zwischen Pixeln/Knoten bestimmt. Der Algorithmus von Dijkstra ist ein Standard-Graphalgorithmus und findet sich in jedem beliebigen Algorithmusbuch, wie zum Beispiel in C. G. Brassard and P. Bratley, Algorithmics: Theory and Practice, Prentice Hall, 1988. Dieser Schritt wird für einen anderen Suchraum wiederholt, wenn die resultierende Kontur nicht geschlossen ist (Block 122). Durch Bestimmung des Wegs mit der niedrigsten Energie wird im Block 124 eine Kontur (ein Weg) definiert.
4 der Zeichnungen ist ein ausführliches Flußdiagramm des Blocks 110 von 1, worin das Anpassen des Modells des Blocks 130 dargestellt ist. Dieses Anpassen des Modells umfaßt das Bestimmen von Daten und Glättungskräften für die Punkte des Datensatzes im Block 132. Die Daten und Glättungskräfte werden im Block 134 skaliert. Im Block 136 werden Formfunktionen, die die Anzahl von zum Anpassen des Modells an die Daten notwendigen Iterationen verringern, auf Elemente eines Finite-Element-Modells (FEM) angewandt. Ein (FEM) ist ein Finite-Element-Modell, das aus einer endlichen Anzahl von Elementen auf der Oberfläche des Modells besteht und zur Beschreibung des Modells dient. Im Block 138 werden Daten und Glättungskräfte kombiniert. Die Anwendung der eingestellten Kräfte auf das Hybridmodell zur Deformierung des Hybridmodells wird im Block 140 durchgeführt.
Die Segmentierung ist eines der am umfassensten erforschten Themen in der Computervision. Ein Vergleich des in der vorliegenden Offenlegung beschriebenen kooperativen Rahmens wird mit den am engsten verwandten Forschungsergebnissen verglichen. Das beschriebene Verfahren ist jedoch auch auf andere Techniken und Systeme anwendbar.
Eine bevorzugte Ausführungsform eines hybriden 3D-Modells für das linke Ventrikel des Herzens wird im folgenden beschrieben. Es versteht sich, daß die vorliegende Erfindung nicht nur auf dieses Modell beschränkt ist. Die Erfindung gilt für jedes beliebige Modell jedes beliebigen Objekts. Der Ansatz kann jede beliebige 3D-Modellform benutzen. Bei dem vorliegenden Beispiel wird das Hybridmodell gewählt. Mit Bezug auf 5 ist für die Verwendung eines Hybridmodells des LV die Modellformulierung insofern hybrid, als sie aus einer parametrischen Komponente 20 und einer lokalen, spline-artigen Gitterkomponente 22 über der parametrischen Komponente besteht. Diese lokale Komponente kann von der parametrischen Fläche weg deformiert werden, um die feinen Einzelheiten zu beschreiben. Die parametrische Komponente des Modells basiert auf zwei Ellipsoiden, wobei einer die innere Wand des LV und einer die äußere Wand beschreibt. Das Modell enthält eine zugrundeliegende parametrische Komponente, die einem Doppelhüllenellipsoid ähnelt (eine für die innere Wand des linken Ventrikels und eine für die äußere Wand). Das Modell wird in Oktanten zerlegt, die durch ihre eigenen parametrischen Formulierungen beschrieben werden. Die Quadranten heißen PosPosPos, NegPosPos, NegNegPos, PosNegPos, PosPosNeg, NegPosNeg, Neg,Neg,Neg, PosNegNeg mit Darstellungen für die inneren und äußeren Wände. Diese parametrische Darstellung wird durch zwei intrinsische spherische Koordinaten u und v überstrichen.
Die extrinsischen Parameter von a1PosInner a1PosOuter rPosPosInner rPosPosOuter a2PosInner a2PosOuter rNegPosInner rNegPosOuter a1NegInner a1NegOuter rNegNegInner rNegNegOuter a2NegInner a2NegOuter rPosNegInner rPosNegOuter a3PosInner beschreiben die allgemeine Form des Doppelhüllenellipsoids.
PosPosPosInner:

X = alpha Cos[u](a1PosInner Cos[v] + rPosPosInner Sin[2v]); Y = alpha Cos[u] Sin[v] (a2PosInner + rPosPosInner Sin[v] + rPosPosInner Sin[3v]); Z = a3PosInner alpha Sin[u];

NegPosPosInner:

X = alpha Cos[u] Cos[v] (a1NegInner – rNegPosInner Cos[v] + rNegPosInner Cos[3v]); Y = alpha Cos[u] Sin[v] (a2PosInner + rNegPosInner Sin[v] + rNegPosInner Sin[3v]); Z = a3PosInner alpha Sin[u];

NegNegPosInner:

X = alpha Cos[u] Cos[v] (a1NegInner – rNegNegInner Cos[v] + rNegNegInner Cos[3v]); Y = -(alpha Cos[u] Sin[v] (–a2NegInner + rNegNegInner Sin[v] + rNegNegInner Sin[3v])); Z = a3PosInner alpha Sin[u];

PosNegPosInner:

X = –(alpha Cos[u] Cos[v] (–a1PosInner – rPosNegInner Cos[v] + rPosNegInner Cos[3v])); Y = -(alpha Cos[u] Sin[v] (–a2NegInner + rPosNegInner Sin[v] + rPosNegInner Sin[3v])); Z = a3PosInner alpha Sin[u];

PosPosNegInner:

X = alpha Cos[u] (1 + alpha tapxPosInner Sin[u]) (a1PosInner Cos[v] + rPosPosInner Sin[2v]); Y = alpha Cos[u] (1 + alpha tapyPosInner Sin[u]) Sin[v] (a2PosInner + rPosPosInner Sin[v] + rPosPosInner Sin[3v]); Z = a3NegInner alpha Sin[u];

NegPosNegInner:

X = alpha Cos[u] Cos[v] (a1NegInner – rNegPosInner Cos[v] + rNegPosInner Cos[3v]) (1 + alpha tapxNegInner Sin[u]); Y = alpha Cos[u] (1 + alpha tapyNegInner Sin[u]) Sin[v] (a2PosInner + rNegPosInner Sin[v] + rNegPosInner Sin[3v]); Z = a3NegInner alpha Sin[u];

NegNegNegInner:

X = alpha Cos[u] Cos[v] (a1NegInner – rNegNegInner Cos[v] + rNegNegInner Cos[3v]) (1 + alpha tapxNegInner Sin[u]); Y = –(alpha Cos[u] (1 + alpha tapyNegInner Sin[u]) Sin[v] (–a2NegInner + rNegNegInner Sin[v] + rNegNegInner Sin[3v])); Z = a3NegInner alpha Sin[u];

PosNegNegInner:

X = –(alpha Cos[u] Cos[v] (–a1PosInner – rPosNegInner Cos[v] + rPosNegInner Cos[3v])(1 + alpha tapxPosInner Sin[u])); Y = –(alpha Cos[u] (1 + alpha tapyPosInner Sin[u]) Sin[v] (-a2NegInner + rPosNegInner Sin[v] + rPosNegInner Sin[3v])); Z = a3NegInner alpha Sin[u];

PosPosPosOuter:

2n X = alpha Cos[u](a1PosOuter Cos[v] + rPosPosOuter Sin[2v]); Y = alpha Cos[u] Sin[v] (a2PosOuter + rPosPosOuter Sin[v] + rPosPosOuter Sin[3v]); Z = a3PosOuter alpha Sin[u];

NegPosPosOuter:

X = alpha Cos[u] Cos[v] (a1NegOuter – rNegPosOuter Cos[v] + rNegPosOuter Cos[3v]); Y = alpha Cos[u] Sin[v] (a2PosOuter + rNegPosOuter Sin[v] + rNegPosOuter Sin[3v]); Z = a3PosOuter alpha Sin[u];

NegNegPosOuter:

X = alpha Cos[u] Cos[v] (a1NegOuter – rNegNegOuter Cos[v] + rNegNegOuter Cos[3v]); Y = –(alpha Cos[u] Sin[v] (–a2NegOuter + rNegNegOuter Sin[v] + rNegNegOuter Sin[3v])); Z = a3PosOuter alpha Sin[u];

PosNegPosOuter:

X = –(alpha Cos[u] Cos[v] (–a1PosOuter – rPosNegOuter Cos[v] + rPosNegOuter Cos[3v])); Y = -(alpha Cos[u] Sin[v] (–a2NegOuter + rPosNegOuter Sin[v] + rPosNegOuter Sin[3v])); Z = a3PosOuter alpha Sin[u];

PosPosNegOuter:

X = alpha Cos[u] (1 + alpha tapxPosOuter Sin[u]) (a1PosOuter Cos[v] + rPosPosOuter Sin[2v]); Y = alpha Cos[u] (1 + alpha tapyPosOuter Sin[u]) Sin[v] (a2PosOuter + rPosPosOuter Sin[v] + rPosPosOuter Sin[3v]); Z = a3NegOuter alpha Sin[u];

NegPosNegOuter:

X = alpha Cos[u] Cos[v] (a1NegOuter – rNegPosOuter Cos[v] + rNegPosOuter Cos[3v]) (1 + alpha tapxNegOuter Sin[u]); Y = alpha Cos[u] (1 + alpha tapyNegOuter Sin[u]) Sin[v] (a2PosOuter + rNegPosOuter Sin[v] + rNegPosOuter Sin[3v]); Z = a3NegOuter alpha Sin[u];

NegNegNegOuter:

X = alpha Cos[u] Cos[v] (a1NegOuter – rNegNegOuter Cos[v] + rNegNegOuter Cos[3v]) (1 + alpha tapxNegOuter Sin[u]); Y = –(alpha Cos[u] (1 + alpha tapyNegOuter Sin[u]) Sin[v] (–a2NegOuter + rNegNegOuter Sin[v] + rNegNegOuter Sin[3v])); Z = a3NegOuter alpha Sin[u];

PosNegNegOuter:

X = –(alpha Cos[u] Cos[v] (–a1PosOuter – rPosNegOuter Cos[v] + rPosNegOuter Cos[3v])(1 + alpha tapxPosOuter Sin[u])); Y = –(alpha Cos[u] (1 + alpha tapyPosOuter Sin[u]) Sin[v] (–a2NegOuter + rPosNegOuter Sin[v] + rPosNegOuter Sin[3v])); Z = a3NegOuter alpha Sin[u];

Stufe 1: Benutzerinitialisierung
In dieser Stufe gibt der Benutzer eine Approximation an das interessierende Objekt an, indem er das Modell ungefähr an die Daten anpaßt. Das Verfahren hierfür richtet sich nach der Topologie des Objekts und der Form der parametrischen Komponente. Hier wird ein Verfahren für ein linkes Ventrikel beschrieben. Man beachte, daß die Approximation relativ grob sein kann, da die Segmentierungsroutine (Stufe 2) die genauen Objektgrenzen entdecken wird. Damit die Segmentierungsroutine effektiv ist, muß das Anfangsmodell relativ nahe sein, zum Beispiel innerhalb von 10 Pixeln.
Der Benutzer definiert Punkte auf der ungefähren Grenze sowohl der inneren als auch der äußeren (endokardialen und epikardialen) Wand des linken Ventrikels für einen Querschnitt. Um dann die allgemeinen Grenzen der Form zu spezifizieren, wiederholt der Benutzer diese Aktion an einem orthogonalen Bild. Für das LV wären diese das Kurzachsen- und das Langachsenbild. (6)
Stufe 2: Optimale Segmentierung aktiver Konturen in 2D
Die Aufgabe des Verfeinerns der Konturen ist auch als Segmentierung bekannt. Hier wird das Segmentierungsmodul beschrieben. Es erhält zwei ungefähre Konturen (Endokardium und Epikardium) aus dem vorherigen Schritt. Diese Konturen zeichnen die Merkmale in dem Bild jedoch nicht genau ab. Die vorliegende Erfindung versucht, die Konturen so zu verfeinern, daß das Endokardium die Grenzen zwischen dem Myokardium und dem Blood-Pool genau abzeichnet und das Epikardium die Grenzen zwischen dem Myokardium und dem Äußeren genau abzeichnet. Siehe 7.
8 und 9 beschreiben auch das Verfeinern der Konturen nach dem Schnitt des Modells mit dem Bild aus der ungefähren Kontur (150) bis zu der wiedergewonnenen Kontur (160), wie in 9 dargestellt.
Die Methode hierfür ist die Verwendung aktiver Konturen (Schlangen). Schlangen wurden zuerst von Kass et al. vorgeschlagen (M. Kass, A. Witkin und D. Terzopoulos, "Snakes: Active contour models", International Journal of Computer Vision, 2: 321–331, 1988) und sind definiert als Konturen, die durch Einschränkungskräfte in Richtung von Bildmerkmalen geschoben oder gezogen werden. Eine auf der Glätte und Krümmung der Konturen und der Randstärke in dem Bild entlang der Kontur basierende Energiefunktion. Diese Energiefunktion ist zu minimieren. Kass et al. schlugen vor, die Energiefunktion durch Gradientenabstieg zu minimieren. Amini et al. (A.A. Amini, T.E. Wemouth und R.C. Jain, "Using dynamic programming for solving variational problems in vision", IEEE Trans. Pattern Analysis and Machine Intelligence, 12(9): 855–867, 1990) verwendeten dynamische Programmierung.
Die vorliegende Erfindung verwendet einen Algorithmus ähnlich wie bei Geiger et al. (D. Geiger, A. Gupta, L.A. Costa und J. Vlontzos, "Dynamic programming for detecting, trackiung, and matching deformable contours", IEEE Trans. Pattern Analysis and Machine Intelligence, 17(3): 294–302, 1995) wobei aber der Graphsuchalgorithmus von Dijkstra verwendet wird, wie bei Mortensen und Barrett (E.N. Mortensen und W.A. Barrett, "Interaktive segmentation with intelligent scissors", Graphical Moudels and Image Processing, 60: 349–384, 1998).
Der Algorithmus von Dijkstra ist ein Standardalgorithmus der Graphtheorie und findet sich in jedem beliebigen Algorithmusbuch, wie zum Beispiel (G. Brassard und P. Bratley, Algorithmics: Theory & Practice, Prentice Hall, 1988). Bei dem vorliegenden System wird ein Graph erzeugt, indem für jedes Pixel in dem Bild ein Knoten definiert wird. Benachbarten Pixeln entsprechende Knoten werden durch eine Verbindung verbunden, deren Gewicht umgekehrt proportional zu dem Gradienten in dem Bild zwischen den entsprechenden Pixeln ist. Bei einem gegebenen Quellenknoten kann der Algorithmus von Dijkstra dann den minimalen Weg zwischen dem Quellenknoten und allen Knoten in einer Menge von Senkenknoten finden. Da die Kosten eines Weges die Summe der Kosten der Verbindungen, durch die er geht, sind, entspricht der minimale Weg der Kontur mit dem maximalen Gradienten. Wenn man sich nicht über den Startpunkt sicher ist, kann man eine Menge von Quellenknoten definieren und sie alle mit einer Verbindung mit Nullkosten mit einem "Pseudo"-Quellenknoten verbinden.
Es wird nun auf die veranschaulichenden Schritte des Algorithmus mit einem Beispiel Bezug genommen (siehe 7). Block 200 zeigt ein Bild des linken Ventrikels in einem Kurzachsenquerschnitt und eine ungefähre Kontur für das Endokardium.
In dem ersten Schritt definiert das Verfahren der vorliegenden Erfindung einen Suchraum einer gegebenen Breite (z.B. 10 Pixel) um die ungefähre Kontur 202(a) herum. Dann wird eine zusammenhängende Menge von Knoten als die Quellenknoten definiert. Da die Kontur geschlossen ist, ist es praktisch gleichgültig, welche Knoten als Quellenknoten definiert werden, solange sie den Suchraum wie einen Sektor einschneiden. Ihre Nachbarn auf einer Seite werden auch als die Senkenknoten definiert (siehe Block 202).
Das vorliegende System läßt den Algorithmus von Dijkstra ablaufen, um den Minimalkostenweg zwischen dem "Pseudo"-Quellenknoten und dem Senkenknoten zu finden. Dadurch wird eine Kontur erzeugt, aber nichts in dem Algorithmus garantiert, daß sie geschlossen ist, und in den meisten Fällen ist sie es nicht (siehe Block 204).
Also wird eine weitere Menge von Quellen- und Senkenpunkten in demselben Suchraum definiert. Der Quellenknoten wird eindeutig als der Mittelpunkt der zuvor wiedergewonnenen Kontur definiert. Die Senkenknoten sind seine Nachbarn auf einer Seite (siehe Block 206), und der Algorithmus von Dijkstra wird nochmals aufgerufen. Die wiedergewonnene Kontur ist gerantiert geschlossen, da Quellen- und Senkenknoten definitionsgemäß verbunden sind (siehe Block 208).
Im Fall des linken Herzventrikels werden beide Konturen unabhängig segmentiert. Für das Endokardium sind die Kosten einer Verbindung zwischen zwei Knoten folgendermaßen definiert:
Für das Epikardium sind sie folgendermaßen definiert:
Hierbei ist ∥∇∥ der Gradientenbetrag, und ∥∇∥ ist die Gradientenrichtung in dem Bild, und ε ist eine kleine Konstante zur Beschränkung der Energiefunktion. In diesem Fall wird die Kontur durch den Dijkstra-Prozeß im Uhrzeigersinn aufgebaut und die Bildgradientenpunkte von hell nach dunkel. Indem geprüft wird, ob das Vorzeichen der z-Komponente des Kreuzprodukts zwischen dem Bildgradienten und der Konturrichtung positiv ist, und durch Setzen der Energie auf eine große Zahl im entgegengesetzten Fall, wird erzwungen, daß die Kontur einen hellen Bereich im Inneren von einem dunklen Bereich außen trennt.
Stufe 3: 3D-Hybridmodellanpassung
Die anfängliche Approximation wird an die Objektstruktur angepaßt, die der Benutzer in der Stufe 1 den abgetasteten segmentierten, aus Stufe 2 gesammelten Daten (10, 170) bereitstellt. Das verwendete Verfahren ist ein iteratives Verfahren des nächsten Punkts, das auf dem physisch motivierten Wiedergewinnungsparadigma basiert. In diesem Paradigma werden Datenpunkte als Kräfte ausübend betrachtet, die das Modell zu ihnen ziehen. Ein Hybridmodell ist zu starren, parametrischen und lokalen (spline-artigen) Deformationen fähig. Lokale Deformationen können einen Deformationskostenfaktor umfassen, der zum Glätten der Daten dient. Formfunktionen eines Finite-Element-Modells (FEM) dienen zum Verteilen der Datenkräfte von Elementoberflächen zu Elementknoten. Sowohl die Datenkräfte als auch Glättungskräfte werden skaliert, und die Datenkräfte werden mit den Glättungskräften kombiniert. Die starre und parametrische Anpassung wird abgebrochen, sobald die lokalen Deformationen initialisiert sind. Das Ergebnis ist in 10, 180 gezeigt.
In der Regel werden bei der Hybridmodellwiedergewinnung Starrkörpereigenschaften (Translation und Rotation) eingestellt, bis sie sich setzen. Dann werden Starrkörpereigenschaften und die parametrische Komponente angepaßt. Und nachdem sie sich gesetzt haben, werden die Starrkörpereigenschaften, die parametrische Komponente und die lokale Komponente angepaßt. Das vorliegende Verfahren unterscheidet sich von diesem Standardverfahren durch das Einfrieren der Starrkörpereigenschaften und der parametrischen Komponente während der Lokalmodellanpassung. Die logische Grundlage besteht darin, daß, wenn die parametrische Komponente eine grobe Beschreibung der Daten liefern soll, sie ungeachtet des Vorhandenseins einer lokalen Komponente zu demselben Ergebnis kommen sollte. Außerdem wird durch das Einfrieren der Starrkörpereigenschaften und der parametrischen Komponente während der Lokalmodellanpassung der Anpassungsprozeß signifikant beschleunigt.
Experimentelle Ergebnisse:
Die Technik wurde an einem Testpersonendatensatz mit zwei Phasen des Herzzyklus, En-diastole (ED) und En-systole (ES), geprüft. Das Blood-Pool-Volumen für ED betrug 271 ml mit einem myokardialen Volumen von 275 ml. Für ES betrug das Blutvolumen 231 ml mit einem myokardialen Volumen von 285 ml. Die Auswurffraktion für die Testperson betrug 14%.
Obwohl bestimmte Ausführungsformen gezeigt und beschrieben wurden, versteht sich natürlich, daß die Erfindung nicht auf diese beschränkt ist, sondern innerhalb des Schutzumfangs der angefügten Ansprüche anderweitig realisiert werden kann.
Zusammenfassung der Offenlegung
Die vorliegende Erfindung betrifft ein System zur Modellierung eines dreidimensionalen Zielobjekts, das durch mehrere Querschnittsbilder dargestellt wird, um ein representatives entsprechendes dreidimensionales Modell zu erhalten. Die Erfindung wählt aus mehreren verfügbaren Anfangsmodellen ein Anfangsmodell aus. Bei dieser Auswahl wird ein Anfangsmodell auf der Basis physischer Ähnlichkeit mit dem Zielobjekt identifiziert und dann dem Zielobjekt für jedes der mehreren Querschnittsbilder ein Anfangsmodell überlagert. Danach wird eine Schnittkontur des Anfangsmodells und eines Querschnittbildes des Zielobjekts bestimmt, und die bestimmte Schnittkontur wird verfeinert, damit das Zielobjekt genauer abgezeichnet wird. Durch Unterabtasten von Punkten, die die verfeinerte bestimmte Schnittkontur darstellen, erhält die Erfindung einen unterabgetasteten Konturdatensatz. Das Anfangsmodell wird dann in Richtung der Unterabtastwertekontur eingestellt, um ein representatives dreidimensionales Modell des Zielobjekts zu erhalten.

Claims

Verfahren zur Modellierung eines dreidimensionalen Zielobjekts, das durch mehrere Querschnittsbilder dargestellt wird, um ein representatives entsprechendes dreidimensionales Modell zu erhalten, mit den folgenden Schritten: Auswählen eines Anfangsmodells aus mehreren verfügbaren Anfangsmodellen durch Identifizieren eines Anfangsmodells auf der Basis physischer Ähnlichkeit mit dem Zielobjekt; Überlagern eines Anfangsmodells über das Zielobjekt; für jedes der mehreren Querschnittsbilder: Bestimmen einer Schnittkontur des Anfangsmodells und eines Querschnittbildes des Zielobjekts; Verfeinern der bestimmten Schnittkontur, um das Zielobjekt genauer abzuzeichnen; Unterabtasten von Punkten, die die verfeinerte bestimmte Schnittkontur darstellen, um einen unterabgetasteten Konturdatensatz bereitzustellen; und Einstellen des Anfangsmodells in Richtung der unterabgetasteten Kontur, um ein representatives dreidimensionales Modell des Zielobjekts zu erhalten.
Verfahren nach Anspruch 1, wobei der Schritt des Verfeinerns der bestimmten Schnittkontur den folgenden Schritt umfaßt: Verarbeiten von Bilddatenpunkten, die die bestimmte Schnittkontur darstellen, um Punkte zu erhalten, die eine Kontur darstellen, die das Zielobjekt genauer abzeichnet.
Verfahren nach Anspruch 1 zur Bereitstellung eines representativen entsprechenden dreidimensionalen Modells für ein dreidimensionales Zielobjekt, dessen Form zwischen verschiedenen Operationsphasen variiert, mit dem folgenden Schritt: Wiederholen der Schritte von Anspruch 1 für verschiedene Formen des Zielobjekts für entsprechende verschiedene Operationsphasen.
Verfahren nach Anspruch 3, wobei die verschiedenen Operationsphasen (a) verschiedene Phasen der Herzfunktionsweise, (b) verschiedene Bewegungsphasen einer Skelettstruktur und/oder (c) verschiedene Zustände eines anatomischen Organs umfassen.
Verfahren nach Anspruch 1, wobei der Datensatz drei Dimensionen darstellt.
Verfahren nach Anspruch 1 mit dem folgenden Schritt: Verwenden eines Skalierungsfaktors zum Gewichten von Datenorten aus dem unterabgetasteten Konturdatensatz bei der Verfeinerung der bestimmten Schnittkontur, um das Zielobjekt genauer abzuzeichnen.
Verfahren nach Anspruch 1 mit dem folgenden Schritt: Auswählen eines Anfangsmodells aus mehreren verfügbaren Anfangsmodellen durch Identifizieren eines Anfangsmodells auf der Basis physischer Ähnlichkeit mit dem Zielobjekt.
Verfahren nach Anspruch 1, wobei das Verfahren nach Anspruch 1 automatisch ohne Benutzereingabe von Daten für ein Zielobjekt durchgeführt wird.
In einem Bildverarbeitungssystem ein Verfahren zur Modellierung eines dreidimensionalen Zielobjekts, dessen Form zwischen verschiedenen Operationsphasen variiert und das durch mehrere Querschnittsbilder dargestellt wird, um ein representatives entsprechendes dreidimensionales Modell zu erhalten, mit den folgenden Schritten: für eine erste Form des Zielobjekts: Überlagern eines Anfangsmodells auf das Zielobjekt; für jedes der mehreren Querschnittsbilder: Bestimmen einer Schnittkontur des Anfangsmodells und eines Querschnittbildes des Zielobjekts; Verfeinern der bestimmten Schnittkontur, um das Zielobjekt genauer abzuzeichnen; und Einstellen des Anfangsmodells in Richtung der verfeinerten bestimmten Schnittkontur, um ein representatives dreidimensionales Modell des Zielobjekts zu erhalten; und für eine zweite Form des Zielobjekts: Wiederholen der vorherigen Schritte.
Verfahren nach Anspruch 8 mit dem folgenden Schritt: Auswählen des Anfangsmodells aus mehreren verfügbaren Anfangsmodellen durch Identifizieren eines Anfangsmodells, das am besten an das Zielobjekt angepaßt ist.
Verfahren nach Anspruch 10 mit dem folgenden Schritt: Identifizieren des Anfangsmodells, das am besten an das Zielobjekt angepaßt ist, durch Positionieren und Drehen eines Bildes, das das Anfangsmodell darstellt, um eine beste Ausrichtung mit einem das Zielobjekt darstellenden Bild zu erzielen.
Verfahren nach Anspruch 9, wobei der Schritt des Verfeinerns der bestimmten Schnittkontur den folgenden Schritt umfaßt: Anwenden von Bildverarbeitungsfunktionen auf Bilddatenpunkte, die die bestimmte Schnittkontur darstellen, um Punkte zu erhalten, die eine Kontur darstellen, die das Zielobjekt genauer abzeichnet.
Verfahren nach Anspruch 9 mit dem folgenden Schritt: Verwenden des representativen dreidimensionalen Modells (a) der ersten Form des Zielobjekts und (b) der zweiten Form des Zielobjekts bei der Bestimmung (i) einer Volumendifferenz zwischen der ersten und der zweiten Form, (ii) einer Anspannung an dem Zielobjekt und/oder (iii) eines geeigneten Ersatzes für das Zielobjekt.
Verfahren nach Anspruch 9, wobei das dreidimensionale Zielobjekt zwischen der ersten Form und der zweiten Form, die entsprechenden Operationsphasen zugeordnet sind, auf im wesentlichen periodische Weise variiert.
In einem Bildverarbeitungssystem ein Verfahren zur Modellierung eines dreidimensionalen Zielobjekts, dessen Form zwischen verschiedenen Operationsphasen variiert und das durch mehrere Querschnittsbilder dargestellt wird, um ein representatives entsprechendes dreidimensionales Modell zu erhalten, mit den folgenden Schritten: für eine erste Form des Zielobjekts: Überlagern eines Anfangsmodells auf das Zielobjekt; für jedes der mehreren Querschnittsbilder: Bestimmen einer Schnittkontur des Anfangsmodells und eines Querschnittbildes des Zielobjekts; Verfeinern der bestimmten Schnittkontur, um das Zielobjekt genauer abzuzeichnen; Abtasten von Punkten, die die verfeinerte bestimmte Schnittkontur darstellen, um einen unterabgetasteten Konturdatensatz zu erhalten; und Einstellen des Anfangsmodells in Richtung der unterabgetasteten Kontur, um ein representatives dreidimensionales Modell des Zielobjekts zu erhalten; und für eine zweite Form des Zielobjekts: Wiederholen der vorherigen Schritte.
Verfahren nach Anspruch 15 mit dem folgenden Schritt: Verwenden des representativen dreidimensionalen Modells (a) der ersten Form des Zielobjekts und (b) der zweiten Form des Zielobjekts bei der Bestimmung (i) einer Volumendifferenz zwischen der ersten und der zweiten Form, (ii) einer Anspannung an dem Zielobjekt und/oder (iii) eines geeigneten Ersatzes für das Zielobjekt.
Verfahren nach Anspruch 15, mit dem folgenden Schritt: Auswählen eines Anfangsmodells aus mehreren verfügbaren Anfangsmodellen durch Identifizieren eines Anfangsmodells auf der Basis physischer Ähnlichkeit mit dem Zielobjekt.