SIATRACH

Sistemul integrat – SIATRACH – ofera echipei de medici un instrument informatic interactiv pentru
asistenta in timp real a actului chirurgical. Utilitatea sistemului este justificata de necesitatea medicului
chirurg de a compara, INTRA - operator, campul de lucru real cu modelul anatomic virtual 3D (generat
de SR3D Sistemul de Reconstructie 3D) si bazat pe investigatii Computer Tomograph / Rezonanta
Magnetica (CT/RM) - realizate PRE – operator. In sala, echipa va avea la dispozitie un sistem CVI
Computer Vision si SCV de Control Vocal . SCV va sincroniza fluxul video in timp real al scenei actului
chirurgical cu reconstructia 3D virtuala a anatomiei pacientului. Sincronizarea va fi realizata de catre
medic prin intermediul comenzilor vocale pentru a nu monopoliza atentia acestuia. In etapa POSToperatorie
echipa beneficiaza de SAARH Sistemul de analiza si arhivare.
Fundamentarea teoretica: la baza conceptiei sistemului vor sta modele matematice complexe
provenite din abordarea formala oferita de inteligenta artificiala, ce vor fi adaptate domeniului medical.
Vor fi astfel dezvoltati algoritmi specifici pentru modelele adoptate, pentru imaginile radiologice (analiza
si reconstructie), pentru prelucrarea fluxului video (calibrare colormetrica, segmentare, intelegere
semantica continut, rezumare continut), analiza semnalelor vocale (inclusiv auto-instruirea sistemului).
Abordarea unui astfel de proiect interdisciplinar de mare complexitate impune constituirea unei echipe
experimentate de cercetatori, desfasurarea activitatii de cercetare in mod intens colaborativ precum si
un management eficient al proiectului. SIATRACH va monitoriza si asista actul medical in etapele sale:
1. PRE: parametrizarea sistemului prin (a) Investigatie: analiza sectiunilor anatomice inregistrate de
aparatura CT/RM. Se utilizeaza tehnici de inteligenta artificiala si metode specifice imagisticii medicale:
regrupare, aliniere imagini 2D, segmentare tridimensionala a diferitelor parti anatomice etichetate
anterior; modelele tridimensionale rezultate se vizualizeaza prin redare de suprafata. Sistemul obtinut
asista echipa de specialisti (medici si informaticieni) in stabilirea zonei operabile si a dificultatatii actului
chirurgical (b) Proiectarea interventiei chirurgicale: unde membrii echipei stabilesc planul interventiei
chirurgicale, sistemul propus permitand optimizarea alegerii tehnicii operatorii si (c) Antrenarea
sistemului de comanda: unde se realizeaza instruirea sistemului cu setul de comenzi vocale
personalizate (“semnatura vocala” recunoscuta de catre sistem), alese din dictionarul de comenzi si/sau
create ad-hoc.
2. INTRA: monitorizarea in timp real prin (a) Redare 3D: zona de interes este redata pe un ecran in
functie de comenzile vocale si/sau cu metode de interactiune clasice (mouse, tastatura, etc.) folosind
tehnici de analiza si recunoastere a vocii; (b) Redarea in timp-real: tehnici de analiza si prelucrare a
fluxului video si computer vision vor fi folosite pentru sincronizarea pe un alt ecran a imaginilor preluate
cu ajutorul camerelor de luat vederi; si (c) Suprapunere: se va studia posibilitatea suprapunerii in timp
real a imaginii virtuale 3D peste imaginea reala prin calibrarea si transformarea geometrica automata a
acesteia din urma (se tine cont ca anumite camere vor fi montate frontal sau din dotarea echipamentelor
medicale).
3. POST: crearea istoricului de caz prin (a) Realizare protocol ce va contine detaliile desfasurarii
interventiei si va fi stocat in forma electronica; (b) Arhivarea intregului desfasurator al actului chirurgical
ce include inregistrarile video, comenzile vocale, remarcile personalului medical precum si celelalte
actiuni. Informatiile vor fi stocate in ordinea temporala a aparitiei acestora. Tot in aceasta etapa, folosind
tehnici de rezumare dinamica, se va genera automat rezumatul video al operatiei, rezumat ce va
prezenta doar pasajele semantice de interes.
In concluzia acestui rezumat, proprietatile principale ale proiectului SIATRACH pot fi sintetizate in:
1. functionarea eficienta in timp real folosind interactiunea om-masina;
2. interfata de utilizare “user-friendly” si cu viteza de reactie ridicata ce permite echipei sa se focalizeze
pe actul chirurgical, comenzile fiind exprimate intr-un limbaj natural bazat pe perceptia umana;
3. evolutie si auto-instruire: urmarirea istoricului evolutiei post-operatorii a pacientilor, compararea
investigatiilor imagistice la diverse perioade, compararea cu cazuri similare existente in bazele de date,
interconectare si integrare in sisteme mai mari;
4. utilizarea sistemului si a datelor dobandite in procesul de invatamant.