emecebe reloaded

Bine ai venit la EMCB
19.01.2021, 21:16

Realitatea virtuala chirurgicala - conceptul de modelare a mediului de simulare laparoscopica

Chirurgie generala

Autori: D. Cochior*, C. Ciobanu-Oprea, D. Peta, D. Custura, L. Pripisi, V. Tecuceanu

* Dr. Daniel Cochior, sef de lucrari, Facultatea de Medicina, Universitatea "Titu Maiorescu", medic primar chirurg, doctorand, Sectia de Chirurgie (sef de sectie Dr. Dumitru Peta), Spitalul General CF2, Bucuresti.

Conceptul de modelare a mediului de simulare laparoscopica se refera la realizarea unei simulari tridimensionale de un inalt realism a tesuturilor si organelor umane, precum si simularea comportamentului acestora sub actiunea unor stimuli externi, in timp real. Pentru realizarea unei simulari eficiente, trebuie integrate urmatoarele obiective: modelul geometric – reprezentarea grafica, modelul fizic (elasto-dinamic), interactiunea model – utilizator (manipularea). Cele mai mari dificultati sunt reprezentate de raspunsul in timp real, de cele mai multe ori simultan al unor „obiecte” asupra carora se actioneaza, diferentierea lor in timp si spatiu.

Definitie. Realitatea virtuala reprezinta o suma de tehnologii, care permite individului interactiunea eficienta cu baza de date computerizata 3D (tridimensionala) in timp real, utilizand perceptiile sale naturale si manualitatea sa.

Ce este simularea virtuala chirurgicala?

Sistem de antrenament chirurgical, computerizat, in mediul virtual anatomopatologic, care permite navigarea si interactiunea cu acest mediu, in sensul dorit, operator si in timp real.

De ce sunt necesare simulatoarele?

1. Īn primul rand pentru a nu face rau: eroarea este umana.

2. Recomandarea OMS: „Organizatiile de sanatate….. trebuie sa stabileasca programe de antrenament… care sa incorporeze metode adecvate si eficiente de antrenament (chirurgical)…cum ar fi simularea virtuala”.

3. Teama unor persoane de a fi subiecti de invatare pentru tinerii chirurgi (7).

Simulatoarele ofera posibilitatea aprofundarii unor tehnici operatorii in afara salii de operatie:

- Chirurgia laparoscopica necesita deprinderea unui nou tip de indemanare chirurgicala (coordonare hand-eyes) si acest tip de indemanare necesita supervizare indeaproape (3).

- Competenta tehnica este judecata de mentor si frecvent este subiectiva, bazata pe termeni ambigui precum prea aproape, prea departe, aproximativ, etc. (7,8).

Stadiul actual de dezvoltare a simularii virtuale chirurgicale. Putem afirma ca se afla in acelasi stadiu in care se afla simularea aviatica in anii ’30. Acestea nu au fost validate ca instrumente de antrenament pana in anii ’55.

Oricum, simularea virtuala chirurgicala a facut un progres remarcabil in ultimii 10 ani.

Cele mai importante 3 lucruri in conceperea unui simulator sunt: realism, realism, realism.

Ce reprezinta acest realism?

Practic consta in simulare reala a raspunsului organelor si tesuturilor la interactiunea cu instrumentarul chirurgical, grafica realistica (identica cu cea intraoperatorie), interactiune in timp real a individului cu simulatorul.

Redam ilustrat (fig. 1) algoritmul de realizare a unui simulator virtual chirurgical.

Imaginile medicale achizitionate (CT, RMN) sunt preprocesate, transformate 3D si implementate intr-un scenariu corect, conducand astfel la realizarea modelului software dorit.

Acest „motor software” complex, sustinut de un hardware de inalta performanta (procesor de inalta frecventa, placa video performanta, s.a.m.d.), impreuna cu dispozitivul haptic (de interactiune cu utilizatorul), realizeaza simulatorul virtual 3D chirurgical.

Conceptul simularii chirurgicale in realitatea virtuala atrage o atentie deosebita.

Mediul virtual poate fi ideal pentru crearea unor noi tehnici chirurgicale, dispune de instrumentele necesare dezvoltarii unei manualitati deosebite.

O alta motivatie ar fi incorporarea tehnologiei virtuale in reformele sanitare din unele tari.

Un alt potential avantaj este masurarea competentei („software-ul educator” poate scurta curba de invatare, determina competenta de a practica anumite procedee chirurgicale, poate determina scaderea costului educational)(8).

Conceptul de modelare a mediului de simulare se refera la realizarea unei simulari tridimensionale de un inalt realism a tesuturilor si organelor umane, precum si simularea comportamentului acestora sub actiunea unor stimuli externi. Se ajunge, astfel, la un sistem de „obiecte deformabile” cu forme geometrice specifice si comportament fizico-mecanic „natural”(1).

Un alt scop urmarit, critic din punct de vedere al realizarii, este simularea interactiunii dintre „obiectele deformabile”, instrumentar si manipularea tesuturilor si organelor virtuale in timp real (5).

Asadar, pentru realizarea acestui obiectiv, indispensabil unei simulari eficiente, trebuie integrate urmatoarele obiective (4):

- modelul geometric – reprezentarea grafica

- modelul fizic (elasto-dinamic)

- interactiunea model – manipulare

Model geometric. Reprezentarea grafica 3D a formei organelor, tesuturilor, vaselor consta in vizualizarea pe display-ul simulatorului a modelului geometric corespunzator „obiectului deformabil”.

Rezultatul trebuie sa fie imitarea cat mai reala a imaginilor intraoperatorii. Īn proiectul nostru utilizam „Object modeler” pentru modelarea tisulara. Un convertor de date, specific SIVILAP-1, proceseaza aceste date.

Dupa conversie, fiecare componenta este interactiv procesata in SIVILAP 1 pentru a reda culoarea reala si parametrii de lumina, precum si textura de suprafata a organelor. Constransi de eficienta, utilizam reprezentarea geometrica a suprafetelor prin abordarea reprezentarii acestora, dupa reconstructia 3D a organelor cu RMN Extractor, prin NURBS (Non Uniform Rational B-Spline Surface – Neyret and Cani, 1999 (6)).

Aplicatia CT/RMN eXTractor a fost proiectata si realizata de colectivul nostru pentru a prelua imagini CT/RMN si a crea obiecte brute in trei dimensiuni (3D), dupa aceste imagini preluate.

Fereastra principala a aplicatiei arata ca in fig. 2. Utilitarul este capabil sa deschida formate de fisiere folosite in informatica medicala, cum ar fi DICOM, RAW si ECAT 6/7.

Aceste baze de imagini sunt generate, de obicei, de aparatele de CT/RMN moderne. Procedeul de lucru urmareste importarea unor astfel de baze de imagini, modificare contrastului si/sau a stralucirii pana la evidentierea clara a conturului organului urmarit. De obicei, o baza de imagini contine mai multe scanari ale corpului uman, facute la o anumita distanta, acest parametru gasindu-se in antetul fisierului.

Dupa stabilirea contrastului/luminozitatii optime pentru un cadru (imagine) a bazei de imagini CT/RMN, se puncteaza de catre utilizator conturul organului care ne intereseaza, obtinandu-se astfel un plan in doua dimensiuni pe axele 0 x 0y, care se exporta cu un numar de ordine. Se trece la urmatorul cadru, etapele fiind asemanatoare ca la primul cadru prelucrat, si asa mai departe. Īn final, obtinem un numar de plane 2D pe care le putem asambla ulterior in utilitarul “Object Modeler”, rezultatul final fiind un obiect 3D care reprezinta un organ anatomic.

Aplicatia Object Modeler am proiectat-o pentru a realiza obiectele in trei dimensiuni (3D), de care avem nevoie pentru baza de date a simulatorului.

Fereastra principala a utilitarului arata ca in fig. 3.

Pentru a construi obiectul 3D, se poate pleca de la planele 2D realizate in utilitarul RMN eXTractor sau se creeaza vertecsii direct in interfata Object Modeler-ului. Īn primul caz, planele 2D se analizeaza de catre aplicatia software pas cu pas (pe directia deplasarii aparatului CT/RMN, al carui vector de deplasare reprezinta axa 0z) si se stabilesc curbele de tangenta – suprafata exterioara a obiectului in mod “wireframe”, ca in fig. 4. Totalul punctelor 3D astfel generate sunt stocate intr-o variabila de tip NURBS, format care este folosit in simulator pentru reprezentarea obiectelor 3D.

Dupa generarea obiectului in mod „wireframe”, se mai pot modifica caracteristicile acestuia, cum ar fi textura suprafetei, elasticitatea si plasticitatea, precum si tipul texturii (material metalic, tesut, material plastic, etc.) – toate acestea avand influenta in reprezentarea vizuala in mediul 3D (4).

Īn al doilea caz, se creeaza trei plane 2D, pe axele x0y, x0z si y0z, dupa care aplicatia calculeaza curbele de tangenta, generandu-se astfel un obiect 3D ca in fig. 5.

Finalizarea acestei metode este identica cu procedura de la prima metoda – se seteaza textura si proprietatile obiectului 3D generat.

Datele astfel obtinute se exporta intr-un fisier – format propriu – care se integreaza in baza de date a simulatorului. Formatul de fisier cuprinde coordonatele NURBS ale obiectului, un tip de date bitmap cu 24 de biti adancime de culoare si proprietatile fizice (elasticitate, plasticitate, transparenta, etc.). Ideea este de a crea date rapide de procesare in vederea obtinerii unei rate inalte a secventelor ce face posibila manipularea interactiva „in timp real”. Īn vederea „conectarii” modelului geometric la cel elasto-dinamic, pozitia „nodurilor” este proiectata in puncte de control corespunzatoare (NURBS) sau vertecsi ale poliedrului extins. Mai mult, rezultatul poate fi „remodelat” prin generare de vertecsi aditionali (interpolare) pentru a creste calitatea vizuala si, implicit, realismul (fig. 6 si 7).

Modelul fizic. Pentru simularea proprietatilor fizice este necesara construirea unui model matematic echivalent bazat, in principal, pe principii mecanice. Rezultatul urmarit este simularea unui model cu comportament mecanic si fizic inalt realistic, asa-zisul „obiect deformabil”. Modelul are la baza vertecsii conectati prin elemente de legatura.

Acestea sunt:

- elemente elastice (spring elements)

- elemente vascoase (viscous elements – damper)

- elemente plastice (plastic elements)

Combinatia conduce la definirea unui sistem finit de elemente, care mai este numit si model nodal net („nodal net model”). Bazat pe acesta, a fost dezvoltat procedeul MESD (metoda de modelare capabila de simulare in timp real si de manipulare a obiectelor deformabile utilizand sistemul de baza fizic nodal) (2,4,5). El are la baza ecuatii fizice la nivelul unor componente discrete ale „obiectului modelat” (masa de vertecsi si elementele de legatura – fig. 9).

Procedeul MESD este optimizat pentru simulare in timp real la miscarea organului sau alte deformari ale stimulilor externi. Ecuatiile, care stau la baza, vor defini un sistem elasto-vascos, oscilant, care trebuie sa fie rezolvat numeric de sistem in timp real.

Constructia instrumentelor laparoscopice, utilizate in chirurgia minim invaziva, este asemanatoare cu cea a organelor, cu diferenta ca ele se pot schimba in timpul rularii scenariului pe simulator si aceste obiecte nu au deformari plastice sau elastice, ci interactioneaza cu mediul 3D generand deformarile sau miscarile din acesta.

Ca si complexitate geometrica acestea sunt mai simple decat un organ reprezentat, neavand modificari de structura pe parcursul unei operatii virtuale (fig. 10). O proprietate in plus este aceea de animatie, in unele cazuri (exemplu: pensa disectoare – capatul acesteia are o miscare de forfecare, stocata in baza de date ca animatie 3D). Animatia 3D este translatia sau rotirea coordonatelor vertecsilor instrumentului reprezentat in functie de timp, de altfel acesta este si modul de stocare a animatiei in baza de date, o matrice de coordonate carteziene ale instrumentului din 40 ms in 40 ms (fig. 11).

Pe langa animatie, unele instrumente au interactiuni speciale – exemplu, electrodul monopolar Hook.

Acesta „taie”, folosindu-se de o descarcare electrica controlata, astfel interactiunea cu obiectele este tratata diferit fata de celelalte obiecte (care pot deforma elastic/plastic sau taia organe in mediul simulat). Cand utilizatorul apasa butonul pentru aceasta manevra, la interactiunea cu un organ, in zona „taiata” este reprezentat si fumul pentru un realism cat mai inalt. Fumul – ca efect 3D – este stocat impreuna cu instrumentul in baza de date ca si proprietati ale acestui obiect.

Interactiunea model – utilizator (manipularea interactiva a „obiectelor deformabile” de catre operator utilizand instrumentar virtual).

O cerinta importanta a sistemului interactiv este posibilitatea influentei directe a scenariului de simulare prin reactivitate imediata a obiectelor asupra carora se actioneaza. De aceea, este necesara perfectionarea unor metode capabile de a reactivitate in timp real. Simularea este determinata de utilizator prin actiunea asupra instrumentarului virtual. Aceasta interactiune poate fi divizata in 3 etape (4,5,6):

- recunoasterea coliziunii: zone de actiune simultana prin utilizarea a 2 obiecte (instrumente);

- managementul interactiunii: evaluarea unor tipuri diferite de actiune (in functie de modul de efectuare);

- modificarea modelului: manipulare de baza asupra „obiectului deformabil”, schimbarea structurii acestuia (exemplu taierea) si, important, date structurale eficiente.

Reactiile „obiectelor deformabile” sunt simulate intr-un mod specific. Referitor la aceste modificari este foarte importanta schimbarea si adaptarea structurii modelului. Aditional proprietatilor fizice, regulile comportamentale de baza sunt cele care definesc reactivitatea „obiectului” la manipulari diferite.

Cele mai mari dificultati sunt reprezentate de raspunsul in timp real, de cele mai multe ori simultan al unor „obiecte”, asupra carora se actioneaza, diferentierea lor in timp si spatiu. Implementarea unor gesturi chirurgicale tipice, precum pensarea, taierea, coagularea, aplicarea de clipuri, este obligatorie.

Modulul grafic 3D. Este responsabil cu ceea ce se vede in fereastra principala, fiind - de departe - cea mai importanta componenta a simulatorului, de calitatea acestuia depinzand realismul simularii. Toate obiectele reprezentate in mediul 3D alcatuiesc o scena. Īn aceasta scena, se desfasoara virtual colecistectomia laparoscopica. Modulul 3D guverneaza asupra scenei folosind legi prestabilite, cu alte cuvinte limiteaza actiunile utilizatorului, astfel incat acesta sa para ca are o libertate de miscare „naturala”.. Un singur obiect 3D, dupa cum se observa in fig. 12, este alcatuit dintr-o matrice de vertecsi, numita in continuare variabila NURBS, un descriptor de suprafete si relatiile dintre vertecsi, coordonatele texturilor, toate aceste date fiind baza de reprezentare a obiectului.

Pe langa aceste date, un obiect 3D mai are in componenta proprietatile suprafetelor – care pot fi triunghiulare sau poligonale cu patru laturi (QUAD) – textura, elasticitatea, plasticitatea si materialul (este important a se preciza materialul pentru ca modulul 3D sa “stie” cum va reflecta lumina respectivul obiect: emission, ambient, diffuse, specular, etc.) (6). Īn antetul bazei de date se regasesc parametrii initiali ai scenei, cum ar fi luminile (orientare, tip, culoare, intensitate), dimensiunile si componenta mediului (asezarea in spatiul 3D a obiectelor), antetele texturilor folosite in scena si interactiunile dintre obiectele 3D care alcatuiesc scena.

Pentru deformarea obiectelor 3D, in cadrul simularii, se folosesc parametrii de elasticitate si plasticitate (aplicate pe fiecare suprafata in parte) si un algoritm matematic specific (1). Astfel, daca un instrument din setul pus la dispozitie “apasa” pe suprafata unui obiect 3D intr-un punct oarecare, “motorul 3D” va modifica si punctele din vecinatate conform constantelor de elasticitate si plasticitate. Pe scurt, algoritmul matematic realizeaza vizual – aproximativ – simularea deformarii elastice a obiectelor – daca proprietatile acestora permit – prin modificarea “elastica” a pozitiilor punctelor din zona de contact dintre obiect si instrumentul simulat (fig. 13).

Modificarea elastica in mediul virtual inseamna modificarea pozitiilor punctelor de control ale vertecsilor ce alcatuiesc suprafata de control, pe cand modificarea plastica reprezinta miscare de translatie a tuturor vertecsilor, care alcatuiesc obiectul 3D supus acestei interactiuni pe directia vectorului de deformare. Bineinteles ca modificarea elastica are si o componenta plastica: daca un obiect de tip instrument depaseste prin vectorul lui de deformare o anumita limita, obiectul 3D (de exemplu un organ anatomic virtual) se va strapunge, rezultand, in functie de caz, o “leziune virtuala” a obiectului 3D care poate duce chiar la anularea simularii datorate iesirii din normativele operatiei chirurgicale virtuale, in progres in acel moment.


BIBLIOGRAFIE

1. Cotin S, Delingette H, Ayache N - A hybrid elastic model allowing real-time cutting, deformations and force-feedback for surgery training and simulation. The Visual Computer 16(8), 437.452, 2000

2. Debunne G, Desbrun M si colab. - Adaptive simulation of soft bodies in real-time, in Computer Animation 2000.

3. Dounes M, Cavusoglu M si colab. - Virtual Environments for Training Critical Skills in Laparoscopic Surgery, Medicine Meets Virtual Reality 1998, San Diego, California, January 28-31, 1998

4. Heiss R, Neyret F, Senegas F - Realistic rendering of an organ surface in real-time for laparoscopic surgery, 2001

5. Lombardo JC, Cani MP, Neyret F - Real-time collision detection for virtual surgery, in computer Animation '99.

6. Neyret F, Cani MP - Pattern-based texturing revisited. In SIGGRAPH 99 Conference Proceedings, pp. 235-242.

7. Rolfsson G, Nordgren A - Training and Assessment of Laparoscopic Skills using a Haptic Simulator, Medicine Meets Virtual Reality 2002, Newport Beach, California

8. Thurfjell L, Lundin A, McLaughlin J - A Medical Platform for the Simulation of Surgical Procedures", Medicine Meets Virtual Reality 2001, Newport Beach, California, January 23-27, 2001