REZULTATE

Etapa 3 – Rafinarea sistemului, studiu clinic și pregătire continuare (Ianuarie 2024 – Iunie 2024)

Această secțiune prezintă principalele rezultate pentru activitățile care au avut loc în cadrul Etapei 3 – Rafinarea sistemului, studiu clinic și pregătire continuare a proiectului TRAVEE.

Rezultate obținute:

(1) Raport al studiului clinic

Scopul studiului a fost acela de a demonstra îmbunătățirea mobilității active la nivelul membrului superior paralizat la pacienții sechelari după AVC, cu ajutorul antrenamentului ce utilizează sistemul TRAVEE, care este un sistem complex de asistare tehnologică, ce permite adaptarea la nivelul de funcționare și la faza de reabilitare medicală în care se afla fiecare dintre pacienți.

Este cunoscut faptul ca reabilitarea motorie are o importanță cruciala în refacerea, parțială sau totală, a controlului motor deficitar. Tehnicile de reabilitare se bazează pe executarea repetitivă și intensă a sarcinilor motorii simple. Aceste cerințe pot deveni solicitante din punct de vedere economic și al implicării personalului și pacientului. Pot determina lipsă de aderență și abandonul procesului de reabilitare.

La acestea se adaugă creșterea motivației, interesului și curiozității pacientului în fața metodelor terapeutice utilizate. Sunt importante aceste precizări întrucât aplicarea repetitivă a unor metode de antrenament monotone, lipsite de variație, de noutate, care eludează aspectul ludic al procesului de învățare poate duce la oboseală, plictiseală, lipsa de participare și abandonul procesului, cu consecințe nefaste asupra nivelului de reabilitare motorie.

Obiectivele principale ale studiului au fost:

1. evaluarea mobilității (active și pasive) a membrului superior în urma antrenamentului cu sistemul TRAVEE
2. analiza atingerii țelurilor terapeutice inițiale stabilite cu ajutorul Goal Attainment Scaling (GAS).

Obiectivele secundare urmărite au fost:

1. siguranța antrenamentului cu sistemul TRAVEE
2. corelarea scorului WHODAS cu antrenamentul combinat de reabilitare medicala și antrenament cu sistemul TRAVEE
3. evaluarea gradului de spasticitate în urma antrenamentului de reabilitare medicala și antrenament cu sistemul TRAVEE
4. evaluarea gradului de durere pe scala NRS (Numerical Rating Scale) în urma antrenamentului de reabilitare medicala și antrenament cu sistemul TRAVEE
5. satisfacția pacientului
6. satisfacția echipei de reabilitare medicală.

Obiectivele conexe:

1. Funcționarea corectă, eficiența și uzabilitatea interfețelor web pt. terapeuți
2. Obținerea de feedback suplimentar de la pacienți, pentru perfecționarea sistemului și îmbunătățirea experienței acestora

Pe tot parcursul studiului, fiecare subiect a fost observat și analizat atent de echipa mixtă, urmând ca datele individuale obținute să permită perfecționarea continuă a sistemului cu date din viața reală. Sechelele după AVC fiind extrem de complexe și în interdependență cu numeroși factori medicali, dar și nemedicali, sistemul TRAVEE necesită în continuare dezvoltarea de funcții care să permită adaptare individuală.

(2) Raport cu îmbunătățirile aduse sistemului

ÎMBUNĂTĂȚIRI ALE PLATFORMEI WEB

Platforma web a suferit multiple îmbunătățiri ce au scopul de a simplifica procesul de gestionare a informațiilor din platformă și de desfășurare a unei sesiuni de recuperare. Dintre îmbunătățirile realizate, le menționăm pe următoarele:

• Realizarea unui sistem de gestionare a exercițiilor prin joc la nivel de instituții
• Afișarea întrebărilor din chestionar a fost îmbunătățită prin completarea informațiilor cu un conținut text ce descrie scala unei întrebări
• Extinderea chestionarului de feedback prin introducerea unui set de 4 noi întrebări specifice procesului de utilizare a dispozitivelor EEG, FES și haptic
• Introducerea posibilității de filtrare a dispozitivelor VR pe baza utilizării lor la domiciliu
• Introducerea posibilității de căutare a unui pacient după nume în momentul în care se creează o nouă sesiune
• Adăugarea unui sistem ce permite specificarea unor butoane specifice unui exercițiu prin joc pe perioada desfășurării exercițiului
• Adăugarea unui sistem de constrângeri pentru afișarea și activarea parametrilor de configurare a unui exercițiu prin joc pe baza valorilor altor parametri de configurare ai exercițiului
• Adăugarea unui sistem de raportare

 

ÎMBUNĂTĂȚIRI ALE APLICAȚIEI VR

În etapa curentă au fost aduse îmbunătățiri la exercițiile prin joc pilotate în etapa anterioară și au fost dezvoltate 4 noi exerciții prin joc:

• Exercițiul prin joc „Diorama”

• Exercițiul prin joc „Focurile”

• Exercițiul prin joc „Pianul”

• Exercițiul prin joc „Gătitul”

Toate exercițiile prin joc pilotate în etapa anterioară au fost finisate din punct de vedere tehnic. Cele câteva probleme întâlnite în procesul de pilotare au fost rezolvate pentru a oferi terapeuților și pacienților o experiență plăcută în procesul de recuperare neuromotorie.

De asemenea, exercițiul prin joc „Racheta” a fost modificat pentru a suporta comunicarea cu un dispozitiv hardware haptic sub forma unei brățări ce conține motoare ce vibrează. În momentul în care se identifică mișcarea mâinii în momentul în care poate fi lansată o rachetă, aplicația VR transmite brățării, prin intermediul HDC-ului, un semnal în care îi cere să vibreze.

ÎMBUNĂTĂȚIRI TELEMEDICINĂ

Au fost aduse îmbunătățiri sistemului de telemedicină. Din punctul de vedere al platformei web, a fost finisat sistemul de gestionare a prescripțiilor pentru a se putea crea și edita prescripții cu ușurință. De asemenea, a fost îmbunătățit procesul de editare a exercițiilor prin joc cuprinse într-o sesiune.

ÎMBUNĂTĂȚIRI HDC

În vederea optimizării logicii de interacțiune între Aplicația Web – HDC, respectiv HDC – Aplicația VR, dar și pentru înlăturarea unor comportamente nedorite identificate în procesul de pilotare, au fost realizate următoarele modificări la nivelul componentei HDC:

• Reprezentarea payload-urilor comenzilor în format JSON
• Eliminarea informației referitoare la care membru este utilizat în cadrul exercițiului, aceasta nefiind relevantă pentru HDC
• Redefinirea conexiunii HDC-cască VR drept interacțiune generică cu o componentă hardware în vederea simplificării logicii interne de implementare
• Implementarea unui filtru de detecție ale secvențelor de valori care indică începutul ferestrelor de măsurare pentru membrul stâng/drept la nivelul subsistemului BCI
• Adăugarea posibilității de asociere între o unitate de feedback haptic și membru

(3) Planul tehnic de continuare a proiectului

Următoarele direcții de cercetare și îmbunătățiri au fost sintetizate în planul tehnic de continuare a proiectului.

SISTEMUL BCI

O direcție de cercetare posibilă propune avansarea componentei de imagerie motorie a sistemului BCI pentru pacienți post-AVC de la TRL 4 la TRL 6 sau superior, esențială pentru recuperarea timpurie. Această componentă BCI trebuie îmbunătățită în ceea ce privește capabilitățile, precizia, timpul de configurare, ergonomia, flexibilitatea și costul, și integrată în sistemul TRAVEE. Sistemul va utiliza metode de transfer learning pentru a îmbunătăți clasificarea semnalelor EEG, care sunt slabe și afectate de zgomot.

Arhitectura rețelei neuronale propuse poate include: Rețele convoluționale (CNN) – Capturarea relațiilor spațiale dintre canalele EEG; Rețele recurente (RNN) – Gestionarea dependențelor temporale între segmente consecutive; Transformer – Analiza globală a semnalelor EEG.

Inovațiile și avantajele sistemului BCI propus includ: acuratețe crescută; reducerea semnificativă a timpului de recalibrare; îmbunătățirea continuă a modelului; posibilitatea de adaptare pentru diferite dispozitive EEG; premisele utilizării unor dispozitive low-cost.

Proiectul se va concentra pe integrarea acestei componente în sistemul TRAVEE existent, care deja include alte componente la TRL 6 sau mai ridicat, și va beneficia de infrastructura software și logistica clinică actuală a TRAVEE.

INTERFAȚA WEB PENTRU TERAPEUȚI

Interfața web pentru terapeuți a fost evaluată satisfăcător de către terapeuții ce au fost implicați în procesul de utilizare, dar poate suferi îmbunătățiri din mai multe puncte de vedere. Îmbunătățirile directe sunt reprezentate de cele care ușurează utilizarea platformei, în particular pentru interfața web a sistemului de telemedicină, ce se află în faza studiului clinic la momentul realizării acestui document.

O altă îmbunătățire importantă a interfeței web pentru terapeuți este extinderea sistemului de raportare și statistici. Platforma oferă un set de rapoarte ce sumarizează rezultatele exercițiilor prin joc efectuate de către pacienți în desfășurarea sesiunilor de recuperare. La acestea trebuie să se adauge rapoarte și grafice de progres la nivelul pacienților și a activităților desfășurate.

COMUNICAREA ÎNTRE DISPOZITIVELE SISTEMULUI

O îmbunătățire necesară este reprezentată de introducerea unui sistem care să asigure sincronizarea stării sistemului între dispozitivele utilizate la un moment dat. Din cauza utilizării sistemelor wireless din context clinic sau la domiciliu, care pot oferi pierderi de pachete sau de conexiune, este necesară introducerea unui sistem care să asigure transmiterea și primirea mesajelor între dispozitivele ce comunică pe perioada desfășurării unei sesiuni. Această îmbunătățire asigură păstrarea stării dispozitivelor și a sistemului per ansamblu.

EXERCIȚIILE PRIN JOC

O altă direcție de cercetare importantă este reprezentată de creșterea setului de exerciții prin joc pus la dispoziție de sistemul TRAVEE, prin introducerea de noi exerciții similare cu cele existente și prin proiectarea și dezvoltarea unor noi tipuri de exerciții ce utilizează recuzită fizică și oferă posibilitatea de realizare a unui exercițiu cu mai mulți pacienți în aceeași lume virtuală.

DETECȚIA ȘI ADAPTAREA AUTOMATĂ A ARIEI DE LUCRU

Una dintre cele mai importante direcții de dezvoltare este reprezentata de introducerea unui sistem ce permite adaptarea automată a zonei de lucru pentru exercițiile prin joc. O mare parte din activitatea terapeuților în perioada de desfășurare a unei sesiuni de recuperare cu sistemul TRAVEE este reprezentată de ajustarea exercițiilor pentru necesitățile pacientului care realizează sesiunea de recuperare. Astfel, un sistem de adaptare automată vine în ajutorul activității terapeuților prin ușurarea procesului de desfășurare a unei sesiuni. În plus, acest sistem vine în ajutorul procesului de recuperare la domiciliu prin adaptarea automata a spațiului de lucru, fără să mai fie necesara interacțiunea de la distanță cu un terapeut.

(4) Manual de utilizare a sistemului

Manualul de utilizare este un document amplu, adresat utilizatorilor finali de tip terapeut și administrator ai sistemului.

Manualul prezintă în detaliu utilizarea tuturor funcționalităților sistemului, având următoarele secțiuni:

• Arhitectura sistemului (componente fizice și module software)
• Aplicația web pentru terapeuți
• Aplicația HDC (pentru controlul dispozitivelor hardware specializate)
• Server-ul
• Aplicația VR
• Aplicația BCI
• Aplicația FES
• Aplicația HAPTICĂ
• Exercițiile și jocurile de recuperare

(5) Raport de evaluare a prototipului complet de către utilizatori

Feedback pacienți

Feedback–ul din partea tuturor pacienților a fost remarcabil de bun, încă de la prima utilizare VR.

După fiecare zi de recuperare folosind TRAVEE, pacienții au completat un formular de feedback.

Feedback terapeuți

În pilotare au fost implicați până în prezent 19 terapeuți de la INRMFB, toți având specializări medicale relevante, cu grade medicale și experiență acoperind o gamă completă.

Toți terapeuții au apreciat în mod deosebit sistemul TRAVEE, din toate perspectivele evaluate prin formularul de feedback.

(6) Redactarea a 5 articole științifice

Gamified Virtual Reality in Post-stroke Neurorehabilitation: A Systematic Review

Iulia Cristina Stănică, Alin Moldoveanu, Ana Magdalena Anghel, Andrei Cristian Lambru, Victor Asavei, Delia Cinteză

The Impact of Virtual Reality Training in post Stroke Patients – a TRAVEE Experience

Delia Cinteză, Miruna Săndulescu, Claudia-Gabriela Potcovaru, Iulia Ghinea, Ionela Oprea, Andrei Cristian Lambru, Alin Dragoș Bogdan Moldoveanu, Daniela Poenaru

Robotic assisted immersive therapy system for stroke rehabilitation

Robert Gabriel Lupu, Adrian Burlacu, Ovidiu Catarama, Ionut Sopon

Emotion-based interaction between virtual therapist and patients – a systematic review

Iulia-Cristina Stanica, Alin Moldoveanu

TRAVEE – Recuperare neuromotorie gamificată și adaptabilă in realitate virtuală

Alin Moldoveanu, Andrei Cristian Lambru, Ana Magdalena Anghel, Iulia Stănică, Florica Moldoveanu, Robert Gabriel Lupu, Victor Asavei, Andreea Dumitrescu, Ovidiu Chiriac, Andrei Baltescu, Delia Cinteză

(7) Actualizarea website-ului proiectului

Etapa 2 – Dezvoltarea și testarea prototipului (Ianuarie 2023 – Decembrie 2023)

Această secțiune prezintă principalele rezultate pentru activitățile care au avut loc în cadrul Etapei 2 – Dezvoltarea și testarea prototipului a proiectului TRAVEE.

Rezultate obținute:

(1) Raport al algoritmilor de monitorizare a mâinilor și al algoritmilor pentru BCI

În procesul de monitorizare a mâinilor, este utilizat sistemul pus la dispoziție de casca VR Oculus Quest 2. Acesta este un sistem comercial, ce oferă rezultate satisfăcătoare pentru procesul de realizare a sesiunilor de recuperare.

Un avantaj important conferit de sistemul căștii VR Oculus Quest 2 este faptul că acesta este furnizat implicit de utilizarea căștii. Nu este necesar un dispozitiv hardware suplimentar pentru urmărirea palmei și a degetelor, astfel că sistemul TRAVEE poate fi utilizat cu ușurință independent, precum în telemedicină.

Unitatea inerțială dezvoltată de echipa UTI dispune de 9 grade de libertate (9DOF) și conține un nucleu de procesare care unifică informațiile primare provenite de la senzori (accelerometrul, giroscopul și magnetometrul). Acest proces are scopul de a furniza sistemului TRAVEE date despre orientare (eng. heading) și accelerare liniară, contribuind astfel la integrarea și calcularea vitezei de deplasare. În plus, dispozitivul are capacitatea de a identifica starea actuală de utilizare, permitând distingerea între situații în care este plasat pe o suprafață statică (de exemplu, o masă) sau este ținut nemiscat pe membrul pacientului.

Mișcarea unui membru sau chiar contractarea unui singur mușchi conduc la schimbarea activității cerebrale la nivelul cortexului. De fapt, doar pregătirea efectuării unei mișcări sau imaginarea mișcării conduc la schimbarea așa-numitelor ritmuri senzoriomotorii. În vederea discriminării acestor schimbări prin intermediul BCI, metoda CSP s-a dovedit a fi foarte eficientă, deoarece elimină perturbațiile apărute în semnalele EEG prin realizarea de corelații cu electrozii învecinați. Rezultatul dat de sistemul BCI în urma clasificării este furnizat mai departe via HDC atât către sistemul FES, care induce mișcarea mâinii corespunzătoare, cât și către server, care poate folosi mai departe informația pentru alte subsisteme.

(2) Raport de testare al algoritmilor

Au fost efectuate teste pentru următoarele categorii de algoritmi/hardware:

• Testare algoritmi BCI: În vederea obținerii unei precizii de control cât mai bune, pentru crearea filtrelor spațiale și a clasificatorului au fost alese șase ferestre de timp a câte 2 secunde fiecare din datele de antrenare. Setul cu eroarea de validare încrucișată cea mai mică a fost ales pentru a genera feedback-ul on-line. Fereastra optimă pentru calculul varianței a fost aleasă de 1,5 secunde.

• Testare algoritmi FES: Sistemul de stimulare electrică funcțională a fost testat în prescrierea în timp real a parametrilor electrostimulării extensorilor mâinilor pe baza semnalelor de la intrarea blocului. Pentru valorile pozitive venite ca feedback din partea sistemului BCI, algoritmul activează stimularea electrică pe canalele activate din primul set de 4 (Ch 1:4), în timp ce pentru valorile negative activează stimulare pe canalele activate din cel de-al doilea set de canale (Ch 5:8)

• Testare IMU: Deoarece dispozitivul IMU a fost dezvoltat integral în cadrul proiectului, procesul de testare a inclus o secvență de pași pentru validarea progresivă a acestuia – testarea hardware-ului împreună cu firmware-ul aferent, testarea comunicației și interacțiunilor Bluetooth, validarea integrării cu HDC și validarea ieșilor furnizate de dispozitivul IMU
• Testare algoritmi de monitorizare a măinilor: Un aspect al testării urmăriri mâinilor de către sistemul de video tracking al Oculus Quest 2  a fost performanța. În acest sens s-a avut în vedere – întârzierea, precizia pozițională statică, decalarea traiectoriei (path offset), eroarea unghiulară și condițiie de iluminare

(3) Descrierea scheletului sistemului

Sistemul TRAVEE este compus din 7 noduri hardware, pe care sunt executate 8 aplicații diferite, ce conțin un total de 30 de sisteme software. Toate acestea pot fi vizualizate în diagrama de arhitectură a sistemului.

Pe calculatorul personal utilizat de terapeut se găsesc 5 noduri software:

• O interfață web ce are scop de a oferi control terapeutului asupra sistemului TRAVEE și poate fi accesată prin intermediul unui client web, precum Mozilla Firefox, Microsoft Edge sau Google Chrome;
• Un sistem de comunicare între sistemele ce gestionează nodurile hardware reprezentate de casca EEG, sistemul FES, senzorul IMU și camera Kinect, respectiv panoul de control din interfața web și aplicația de pe casca VR;
• Trei sisteme separate, unul pentru gestionarea casca EEG și sistemul FES, unul pentru gestionarea senzorului IMU și unui pentru gestionarea camerei Kinect. Aceste dispozitive hardware sunt utilizate de către sistemul TRAVEE în desfășurarea sesiunilor de recuperare.

Nodul hardware Server are două noduri software, reprezentate de o aplicație server ce are scopul de a stoca persistent informațiile în baza de date și să gestioneze securitatea comunicării cu aplicația web și cu aplicația de pe casca VR și serviciul de baze de date.

Nodul hardware al căștii VR conține aplicația utilizată de către pacient pentru vizualizarea mediului virtual în care desfășoară sesiunile de recuperare.

(4) Descrierea exercițiilor și a rezultatelor evaluării

Există 5 tipuri de exerciții de recuperare: exercițiul ce constă în realizarea unor mișcări individuale, exercițiul prin joc cu numele „Atingerea mingiilor, exercițiul prin joc cu numele „Fructe”, exercițiul prin joc cu numele „Drumul” și exercițiul prin joc cu numele „Lansarea rachetei”.

Exercițiul ce constă în realizarea unor mișcări individuale are disponibile pentru ambele mâini următoarele mișcări: abducție-adducție braț, anteducție-retroducție braț, flexie-extensie antebraț, flexie-extensie braț, flexie-extensie degete, flexie-extensie pumn, opoziția policelui, pensă digito-digitală, pronație-supinație antebraț și ridicarea umărului.

Exercițiul prin joc cu numele „Atingerea mingiilor” cere pacientului să atingă pe rând mai multe mingii ce vin spre el de la diferite poziții din lume.

Exercițiul prin joc cu numele „Fructe” constă în vizualizarea de către pacient a unui mediu virtual în care apar fructe în partea stângă sau dreaptă față de pacient și opțional un coș în fața pacientului, la nivelul bazinului său. Pacientul trebuie să culeagă toate fructele și să le pună în cos prin următorul proces:

1. Pacientul atinge unul din fructe cu mâna de pe partea în care se află plasat fructul, stânga sau dreapta;
2. La acest moment, fructul este atașat de mână și urmărește poziția mâinii în spațiu;
3. Pacientul trebuie să ducă mâna de care este atașat fructul deasupra coșului, moment în care fructul se desprinde de mână și cade în coș.

Exercițiul prin joc cu numele „Drumul” propune pacientului mișcarea palmei de-a-lungul unei curbe pre-stabilite, denumite drum, curba pe care trebuie să o atingă cu palma de-a lungul a tot traseul. Atingerea unei zone neparcurse din curbă realizează apariția unui marcaj de completare a zonei. Drumul se încheie în momentul în care este marcat tot drumul. La finalul jocului, în fața pacientului apare un panou cu un mesaj de succes.

Exercițiul prin joc cu numele „Lansarea rachetei” constă în realizarea de către pacient unei anumite mișcări la momentul apariției în mediul virtual a unui “monstruleț” ce se apropie de pacient din partea din față a lui. La realizarea mișcării, din poziția pacientului pornește o rachetă ce se deplasează automat spre monstruleț și îl face să dispară.

Pentru toate exercițiile se detaliază parametrii de configurare, împreună cu comportamentul de desfășurare a exercițiului în situația în care se realizează modificarea valorilor pentru parametri în timpul execuției unui exercițiu și felul în care se controlează zona de joc, specifica pentru fiecare tip de exercițiu în parte.

Testarea funcțională a sistemului BCI&FES a inclus: plasarea electrozilor pentru FES, testarea parametrilor de stimulare electrica funcționala, montarea căștii cu electrozi pentru EEG, înregistrarea datelor pentru calibrarea sistemului BCI, calculul filtrelor spațiale și a clasificatorului și efectuarea exercițiilor cu feedback vizual și sub formă de mișcări induse cu FES.

Testarea nefuncțională a unui prototip reprezintă o etapă esențială în evaluarea performanței și a caracteristicilor acestuia în diverse condiții și contexte. În cadrul testării exercițiilor cu sistemul BCI&FES, s-au utilizat diverse metode pentru a evalua și valida performanța și caracteristicile sistemului BCI&FES, cum ar fi: testarea performanței, testarea failover-ului, testarea utilizabilității, testarea securității, testarea recuperării după dezastru, testarea eficienței și testarea fiabilității.

(5) Raport de testare și evaluare

Pilotarea s-a desfășurat în cadrul INRMFB și a implicat până în prezent 13 cadre medicale specializate în recuperarea neuromotorie și 30 pacienți cu deficit neuromotor.

Pacienții au fost selectați de către echipa INRMFB dintre pacienții internați corespunzători din punct de vedere medical. Pacienților le-au fost explicate natura și obiectivele pilotării și si-au exprimat acordul de participare printr-un formular uzual de consimțământ informat.

Pacienții implicați au avut caracteristici demografice și tablou clinic variabil si s-au aflat în diferite stadii de refacere funcțională.

Recuperarea cu ajutorul sistemului TRAVEE a fost suplimentara activității de recuperare a pacienților folosind alte mijloace uzuale.

Pacienții au desfășurat un număr variabil de sesiuni (între 1 și 5), în aceeași zi sau in zile diferite.

Au fost colectate formulare de feedback de la pacienți (după fiecare sesiune) și de la terapeuți (după finalizarea lotului de 30 de pacienți) și a fost analizat individual impactul medical al pilotării asupra fiecărui pacient.

In urma pilotării:

• s-au evidențiat beneficiul concret și rata de acceptare extrem de ridicată ale sistemului TRAVEE
• au rezultat numeroase idei de perfecționare a sistemului, ce sunt sintetizate într-un capitol ulterior și care s-au concretizat în perfecționarea prototipului
• s-au putut stabili criteriile de selecție pentru pacienții care pot beneficia de programul de antrenament prin realitate virtuala realizat in cadrul acestui proiect

(6) Descrierea prototipului complet

(6.1) Capabilități tehnice prototip complet

Sistemul oferă posibilitatea, prin interfața aplicației web, să se gestioneze datele conexe procesului de realizare a sesiunilor de recuperare, precum informațiile despre utilizatori, instituții, câști VR, conturi de doctor și pacienți. Aceste informații sunt utilizate pentru desfășurarea facilă a sesiunilor de recuperare și pentru analiza progresului fiecărui pacient de-a lungul utilizării sistemului TRAVEE.

Aplicația web comunică împreună cu aplicația server si serviciul de baze de date pentru a stoca persistent acțiunile desfășurate de către terapeut în sistemul TRAVEE. Acest proces are scopul de a realiza o analiză ulterioară a procesului pentru îmbunătățirea capabilităților tehnice si a rezultatelor sesiunilor de recuperare. De asemenea, aplicația web are scopul de a asigura verificarea drepturilor de acces a utilizatorilor care folosesc sistemul. Există următoarele 4 clase de roluri ale utilizatorului: administrator, administrator de instituție, doctor si cont implicit de cască, ce au responsabilități diferite în cadrul sistemului.

Procesul de realizare a unei sesiuni de recuperare este susținut de două aplicații diferite: aplicația web, prin oferirea unui panou de control a sesiunii terapeutului ce desfășoară această activitate si aplicația de pe casca VR, utilizată de către pacient pentru vizualizarea unui mediu virtual atractiv de desfășurare a exercițiilor de recuperare.

Aplicația web pune la dispoziția terapeutului interfețe de vizualizare a listei de sesiuni asociate instituției din care face parte, de creare a unei sesiuni si de desfășurare a sesiunii. În interfața de desfășurare, terapeutul are acces la începerea unui exercițiu, pe baza stabilirii parametrilor de configurare, la procesul de modificare a valorilor acestor parametri în timpul execuției exercițiului, de finalizare a exercițiului și de finalizare a sesiunii.

Sistemul are disponibile 5 tipuri diferite de exerciții de recuperare: exercițiul ce constă în realizarea unor mișcări individuale, exercițiul prin joc cu numele „Atingerea mingiilor, exercițiul prin joc cu numele „Fructe”, exercițiul prin joc cu numele „Drumul” și exercițiul prin joc cu numele „Lansarea rachetei”.

Semnalele EEG aferente cortexului motor al creierului sunt preluate prin intermediul dispozitivului gUSBamp, utilizând 16 electrozi plasați conform standardului 10-20 EEG map. Sistemul integrează algoritmi pentru procesarea semnalelor EEG și extragerea informațiilor în vederea clasificării acestora. În vederea discriminării între două clase de imaginare a mișcării (de exemplu imaginarea mișcării mâinii drepte versus imaginarea mișcării mâinii stângi), modelul utilizează metoda Common Spatial Patterns (CSP). Această metodă se bazează pe diagonalizarea simultană a două matrice de covarianță. Astfel, realizează o transformată ce maximizează varianța eșantioanelor unei condiții, și în același timp minimizează varianța eșantioanelor celeilalte condiții.

Pentru asistarea în efectuarea mișcărilor a fost utilizat un neurostimulator ce preia comenzile de stimulare de la calculator și le transpune în semnale electrice menite să stimuleze neuromuscular membru afectat. Canalele 1:4 ale neurostimulatorului sunt asignate pentru stimularea membrului superior drept în timp ce canalele 5:8 sunt asignate pentru stimularea membrului superior stâng.

Componenta HDC are ca rol interfațarea dispozitivelor hardware auxiliare utilizate pentru (1) preluarea datelor din mediu sau de la pacient și (2) pentru oferirea de feedback, pe durata desfășurării exercițiilor de recuperare neuro-motorie. Componenta HDC poate fi privită ca o „logică de interfațare” (eng. glue logic) între componentele Web Dashboard, HMD și dispozitivele hardware auxiliare integrate în sistem. În etapa curentă, HDC-ul a fost adaptat pentru a interfața sistemul BCI & FES, dispozitive IMU și unități de feedback haptic.

(6.2) Testarea prototipului complet

Procedura de testare funcțională și nefuncțională a exercițiilor și jocurilor VR, precum și a interfeței terapeut asociate, a fost descrisă și ilustrată în (4).

Elementele acoperite de procedură au fost aplicate pentru fiecare prototip al sistemului, înainte de a fi trimis către pilotarea cu pacienți aflată în desfășurare la INRMFB. Acest lucru a rezultat într-o rată extrem de redusă de erori manifestate în timpul pilotării.

Pe durata testelor, sistemul BCI a detectat imaginarea mișcării mâinii subiectului la aproximativ o secundă de la momentul prezentării indiciului. Sistemul FES a răspuns cu o întârziere de aproximativ 30 milisecunde de la transmiterea semnalului de trigger de către sistemul BCI.

Componenta HDC a fost validată din punct de vedere funcțional în două etape: (1) prin simulare de interacțiuni cu interfața web și cu HMD-ul și (2) prin generarea fluxurilor de comenzi și date în cadrul prototipului complet.

Deoarece este un dispozitiv dezvoltat intern de către echipa UTI, dispozitivul IMU a trecut printr-un proces extins de testare, specific dezvoltării sistemelor complexe hardware-software (unit testing, integration testing etc.).

(7) Descrierea sistemului de telemedicină

Nodul hardware server conține două noduri software, aplicația web și serviciul de baze de date.

Serviciul de baze de date are scopul stocării persistente a informațiilor din sistem. Pentru componenta de telemedicină, entitățile din baza de date sunt prescripțiile realizate de către terapeut în vederea desfășurării autonome a unui set de exerciții la domiciliu de către pacient, împreuna cu entitățile ce conțin informații despre exercițiile prescrise. De asemenea, toate elementele conținute de componenta de desfășurare a sesiunilor, ce este cea mai mare componentă din tot sistemul, este strâns legată de componenta de telemedicină, deoarece este folosită direct pentru desfășurarea exercițiilor prescrise de către terapeuți.

Aplicația server are scopul de a trimite informațiile spre serviciul de baze de date în vederea stocării lor persistente și de a verifica drepturile de acces în sistem, atât pentru utilizatorii cu rol de doctor ce introduc prescripțiile, cât și pentru conturile implicite ale căștilor VR.

Interfața aplicației web utilizată de către terapeut oferă posibilitatea de a vizualiza o listă de prescripții asociate instituției din care face parte un utilizator cu rol de doctor ce are acces la această componentă. De asemenea, unui astfel de utilizator i se permite crearea și editarea prescripțiilor prin selecția unui pacient asociat instituției din care face parte doctorul și a unei liste de activități, prin specificarea pentru fiecare a activității ce se dorește să fie desfășurate, a parametrilor ei de configurare și a duratei maxime de desfășurare.

O altă componentă importantă pusă la dispoziția utilizatorilor cu rol de doctor este posibilitatea vizualizării rezultatelor unei activități de telemedicină, prin accesul la componenta de gestionare a sesiunilor, în care sunt salvate informațiile despre desfășurarea exercițiilor de către pacienți.

Aplicația de pe casca VR este autonomă și observa prin accesarea aplicației server faptul că există prescripții ce sunt asociate căștii VR pe care este executată aplicația. La acest moment, pacientul are posibilitatea de selecție, prin orientarea căștii cu centrul ei, marcat printr-un punct, într-o interfață de meniu, ce permite selecția desfășurării prescripției și a unui exercițiu din lista prescrisă.

Exercițiile și jocurile de recuperare se desfășoară similar cu situația în care este realizată execuția lor clinică.

(8) Descrierea prototipului final

(8.1) Capabilități tehnice prototip final

Versiunea realizată în prototipul final conține modificări față de cea care există în prototipul complet. Acestea sunt realizate cu scopul de a îmbunătăți utilizarea interfețelor oferite de sistemul TRAVEE, calitatea experienței din desfășurarea sesiunilor de recuperare și de asemenea, perfecționarea sistemului în vederea utilizării tuturor componentelor în procesul de pilotare și studiu clinic ce se desfășoară în următoarea etapă a proiectului.

Interfața aplicației web utilizate de către terapeut conține modificări ce au scopul compactării informației afișate și ușurarea navigării între componentele proiectului. De asemenea, prototipul final conține elemente de interfață ce ajută comunicarea cu aplicația HDC, ce are scopul utilizării unor dispozitive hardware suplimentare față de casca VR. În prototipul final este introdus și accesul la componenta de telemedicină, spre deosebire de prototipul complet ce conține această componentă privat cu scopul de a fi utilizată în teste de laborator. Această modificare este realizată în vederea utilizării componentei de telemedicină de către terapeuți. Interfața de desfășurare a unui exercițiu conține noi elemente ce îmbunătățesc vizualizarea și controlul parametrilor de configurare ai unui exercițiu.

Aplicația de pe casca VR conține mai multe modificări în vederea îmbunătățirii calității vizuale a mediilor virtuale utilizate de către pacient în timpul desfășurării exercițiilor de recuperare. De asemenea, îmbunătățirile conțin un control mai diversificat al exercițiilor prin introducerea unor noi tipuri de joc, precum posibilitatea aducerii fructelor în zona gurii pentru exercițiul de tip joc cu numele „Fructe” si posibilitatea de a utiliza ambele mâini alternativ sau aleatoriu pentru exercițiul ce necesită realizarea unor mișcări individuale și pentru exercițiile de tip joc ce au numele „Atingerea mingiilor” și „Lansarea rachetei”. Controlul zonei de joc este îmbunătățit pentru toate jocurile prin modificarea completă sau prin introducerea unor noi parametri de configurare ce oferă un control superior a zonei de desfășurare a exercițiilor de recuperare. În final, a fost perfecționat sistemul de comunicare cu aplicația HDC pentru a permite comunicarea între aceasta aplicație, aplicația de pe casca VR si aplicația web.

(8.2) Testarea prototipului final

Procedura de testare funcțională și nefuncțională a exercițiilor și jocurilor VR, precum și a interfeței terapeut asociate, este similară cu cea descrisă și ilustrată la (6.2).

Elementele acoperite de procedură au fost aplicate pentru fiecare prototip al sistemului, înainte de a fi trimis către pilotarea cu pacienți aflată în desfășurare la INRMFB. Acest lucru a rezultat într-o rată extrem de redusă de erori manifestate în timpul pilotării.

În urma reproiectării, componenta HDC a trecut printr-un proces de validare funcțională similar cu cel descris la (6.2): (1) prin simulare de interacțiuni cu interfața web și cu HMD-ul și (2) prin generarea fluxurilor de comenzi și date în cadrul prototipului final.

În urma îmbunătățirilor aduse la nivel software, dispozitivul IMU a fost evaluat din perspectiva consumului de energie și din perspectiva stabilității de raportare a datelor.

(9) Redactarea a 6 articole științifice

Voice Metrics for Discourse Quality Analysis

Nicolae Jinga, Florica Moldoveanu, Alin Moldoveanu, Anca Morar, Irina Mocanu, Alexandru Butean

On Authentication in Virtual Reality Environments for Rehabilitation and Psychotherapy Systems

Florina Ungureanu, Bianca Andreea Bordea, Robert Gabriel Lupu, George Vieriu

Immersive Phobia Therapy through Adaptive Virtual Reality and Biofeedback

Alin Moldoveanu, Oana Mitruț, Nicolae Jinga, Cătălin Petrescu, Florica Moldoveanu ,Victor Asavei, Ana Magdalena Anghel, Livia Petrescu

Biophysical Signal Processing for Automatic Anxiety Classification in a Virtual Reality Exposure Therapy System

Nicolae Jinga, Catalin-Dumitru Petrescu, Oana Mitrut, Alin Moldoveanu, Florica Moldoveanu and Livia Petrescu

Gamification of post-stroke neuromotor rehabilitation exercises using hand tracking in VR

Robert Florin Apavaloaiei, Stefan Daniel Achirei

Gamified Virtual Reality in Post-stroke Neurorehabilitation: A Systematic Review

Alin Moldoveanu, Iulia-Cristina Stănică, Ana-Magdalena Anghel, Mara-Ilinca-Mădălina Brezeanu

(10) Actualizarea website-ului proiectului

Etapa 1 – Inițiere (Iunie 2022 – Decembrie 2022)

Această secțiune prezintă principalele rezultate pentru activitățile care au avut loc în cadrul Etapei 1 – Inițiere a proiectului TRAVEE.

Rezultate obținute:

(1) Raport al stadiului actual de dezvoltare al tehnologiilor relevante

În cadrul etapei 1, luând în considerare progresele rapide în tehnologie, au fost realizate o serie de studii pentru a identifica avansul si cele mai noi soluții curente din domeniile de interes ale proiectului (HCI – Human Computer Interaction, haptificare, jocuri serioase de realitate virtuală și/sau augmentată, BCI, FES, IMU). Au fost efectuate următoarele studii:

• studiu detaliat al soluțiilor de realitate virtuala și realitate augmentată pentru recuperare neuromotorie ținând cont de constrângerile de cost redus impuse
• studiu detaliat al echipamentelor hardware pentru BCI
• studiu detaliat al soluțiilor de urmărire video monoculară
• studiu detaliat al soluțiilor de telemedicină
• studiu detaliat al echipamentelor de tip mănușă robotică
• studiu detaliat al echipamentelor bazate pe senzori IMU necesare în urmărirea membrelor
• studiu detaliat referitor la interacțiunea bazată pe emoții dintre terapeutul virtual și pacient

(2) Documentul Cerințelor Utilizator (URD)

URD a fost elaborat plecând de la cerințele detaliate exprimate de toți membrii consorțiului, în concordanță cu viziunea stabilită în propunerea de proiect, și ținând cont de rezultatele evaluării stadiului actual al domeniului și tehnologiilor.

URD a detaliat:

• actorii (nume, scurtă descriere și sumar funcții accesate, așteptări, competențe necesare)
• componentele hardware generice (rol, variante de realizare, exemplificări, cerințe minimale)
• cazurile de utilizare (nume, sumar, pre și post -condiții, flux principal, excepții, atribute, constrângeri etc.).

(3) Documentul de Proiectare Arhitecturală (ADD)

ADD descrie într-o manieră clară și consistentă arhitectura de nivel înalt a sistemului TRAVEE.

El a fost elaborat plecând de la cerințele precizate anterior în livrabilul “Documentul Cerințelor Utilizator” (URD) și în urma studiilor, selecției și experimentelor preliminare cu tehnologiile existente.

Gradul de detaliu al arhitecturii a fost stabilit ținând cont de modelul de dezvoltare ales (activități de proiectare de detaliu pentru module individuale ale sistemului urmând a fi efectuate și în sprinturile Agile din etapele următoare), precum și de expertiza partenerilor.

(4) Raport al exercițiilor și modalității de definire a lor

În etapa 1, este realizat și un studiu detaliat al domeniului privind gamificarea exercițiilor de recuperare neuromotorie.

Procesul de selecție a celor mai relevante exerciții și a formelor optime de gamificare este unul extrem de important. Abordarea și-a propus să combine 4 elemente:

• Perspectiva la zi a partenerilor medicali și principiile de gamificare propuse de aceștia
• Perspectiva partenerilor ICT
• Realizările proiectului TRAVEE anterior (2015-2018)
• Concluziile studiului privind gamificarea exercițiilor de recuperare neuromotorie

Un aspect important este dezideratul de a avea forme incipiente de gamificare chiar din recuperarea timpurie, urmate de forme avansate (mini-jocuri cu dificultate graduală) în recuperarea avansată.

Perspectivele și selecția de exerciții și forme de gamificare asociate vor fi corelate și completate în concordanță cu concluziile studiului anterior.

În cele din urmă, ținând cont de resursele limitate disponibile pentru implementare, este important să se restrângă formele de gamificare la un număr redus, ce poate fi acoperit cu resursele existente, dar în același timp este cel mai potrivit ținând cont de preferințele și profilurile medii ale pacienților INRMFB. În acest sens, se are în vedere derularea unor chestionare legate de preferințe, la începutul etapei următoare.

(5) Redactarea a 4 articole științifice

On the Design of a Modular Wearable Solution for Assistive Technologies

Nicolae Alexandru Botezatu, Robert Gabriel Lupu, Simona Caraiman

Vocabulary enrichment in mother language after preschoolers’ interaction with a social robot

Nicoleta Laura Popa, Oana Alexandra Clim, Adina Boaca, Cristian-Tiberius Axinte, Robert-Gabriel Lupu, Georgiana Juravle

Evaluation of non-textual metrics for public speaking analysis and training

Nicolae Jinga, Alin Moldoveanu, Florica Moldoveanu, Anca Morar, Alexandru Butean

A systematic survey of gamification strategies in VR-based neuromotor rehabilitation

Mara Ilinca Mădălina Chirașcu, Iulia Stănică, Alin Moldoveanu, Florica Moldoveanu

(6) Realizarea website-ului proiectului