Descrierea științifică și tehnică detaliată: 4.1. Schema blocProiectul propune o serie de cercetari complexe interdisciplinare psihologie informatica electronica calculatoare privind realizarea unui concept nou in terapia tulburarilor de
pronuntie. Produsul final va fi reprezentat prin
- un sistem intelligent instalat pe calculatorul din cabinetul logopedului incluyind si un model virtual auditiv si viyual al mecanismului uman de vorbire (o noutate pe plan European)
- un sistem inglobat destinat a fi un prieten de "terapie" a copilului
Cele doua sisteme vor comunica. Schema bloc a sistemului integrat de terapie este prezentata in figura 1 Sistemul inteligent dezvoltat pe calculatorul logopedului va cuprinde: o componenta de
monitorizare a evolutiei copiilor, inclusiv cu exemplificari audio, si unsistem expert care va produce inferente luind in considerare datele audio si cronologice puse la dispozitie de sistemul de monitorizare
Figura 1. Schema bloc a sistemului integrat de terapie personalizata In timpul sedințelor conduse de logoped, instrucțiunile date copilului pentru imbunatațirea performanțelor pronunției
sale necesita o serie de explicații detaliate privind miscarea tuturor componentelor implicate in vorbire. Terapia
actuala presupune folosirea unor mulaje demonstrative rigide, statice care nu se apropie in nici un caz de
posibilitațile dinamice de vizualizare, explorare si interacțiune prezente intr-un mediu virtual, cu posibilitatea redarii
acustice a pronunțarii funcție de poziționarea diverselor elemente implicate in pronunție. Trebuie subliniat ca dispozitivul mobil de terapie personalizata va realiza doua obiective principale: 1. utilizarea de catre copil pentru a realiza temele de acasa". 2. preluarea esantioanelor de catre logoped sau alte persoane specializate, pentru a fi clasificate automat.
Prin conectarea la un calculator, aceste esantioane clasificate vor fi memorate intr-o baza de date care va fi utilizata pentru imbunatațirea ulterioara a sistemului de terapie.
Funcțiunile dispozitivului mobil pentru training asistat utilizat de copilul cu tulburari de pronunție sunt:
- prezentarea exercițiului pe care copilul trebuie sa-l efectueze individual - interacțiunea personalizata cu subiectul uman (virsta, sex, diferențe de accent) in timpul terapiei
- evaluarea si incurajarea progreselor obținute de subiectul uman - prelevare esantioanelor audio pentru invațare si a exercițiilor efectuate de copil - comunicația cu calculatorul logopedului
In cadrul cercetarii, se propune dezvoltarea unui SoC dedicat care va va ingloba o serie de extensii privind prelucrare semnalelor audio prin realizarea unor funcții firmware specifice.
4.2. Sistem inteligent de stabilire terapie personalizata Sistemele informatice cu feedback in timp real dedicate tulburarilor patologice de vorbire sunt de ordin relativ recent
in principal datorita necesitații unei puteri de calcul corespunzatoare. Progresele realizate in stiința si ingineria
calculatoarelor fac ca proiectarea si implementarea unui astfel de sistem sa poata fi abordate cu un risc scazut. Pronunțiile copiilor pot fi memorate pentru a fi utilizate la imbunatațirea sistemului.
Ghidul terapeutic este stabilit sub conducerea logopedului de catre modulul instalat pe calculatorul acestuia.
Avantajele specifice ale unui sistem expert de tratament al copiilor cu tulburari de vorbire constau in:
- rabdare, flexibilitatea si timp de lucru nelimitat in intervalele dorite de copil - prezența mai apropiata sunt mulți copii care comunica foarte greu cu persoane in virsta, insa cu un
dispozitiv tip jucarie se simt mai degajați. - explicații mai precise - evaluare obiectiva a progresului care pentru un expert uman este foarte greu de realizat, sistemul in schimb
este proiectat sa analizeze obiectiv evoluția fiecarui caz in parte pe intervale mici de timp.
Sistemul automat de terapie personalizata pastreaza o evidența precisa a evoluției si, prin adaptarea cit mai exacta
a exercițiilor la nivelul la care a ajuns fiecare copil, construind un esafodaj complex ceva contribui la ameliorarea defectelor de pronunție intr-un timp mai scurt.
Rezultatele experimentale de natura audio care vor fi colectate in etapa inițiala a cercetarii, si analiza acestora
asistata de specialisti de la Centrul Logopedic Interscolar Județean Suceava cumulate cu rezultatele cercetarilor
existente in domeniu vor asigura un punct de start in estimarea unor modele care sa asigure un efect vizual pozitiv asupra pacientului. 4.3. Arhitectura sistemului inglobat mobil
Cerintele principale la care trebuie sa raspunda un SoC dedicat aplicatiei vizeaza doua contexte multimedia: audio
(inregistrare, prelucrare, redare), grafic (interfata prietenoasa) plus facilitatile de calcul necesara procedurilor de evaluare, stabilire terapie pe termen scurt, comunicareinre cu PC
. In acest stadiu se intrevede urmatoarea structura:
- un microprocesor pe 32 biți (Xilinx Microblaze) - interfața Ethernet, folosita pentru comunicarea datelor cu PC-ul - interfața UART si una JTAG folosite pentru debug -
interfața SDRAM/FLASH folosita pentru stocarea datelor si a programelor - interfața grafica VGA/LCD - interfața audio in/out - interfața cu HMM (Hidden Markov Model)
|
Figura 2. Structura dispozitivului inglobat mobil
|
4.4. Modelul virtual al cavitații bucale
In terapie este de un mare efect prezentarea pe un model virtual a tuturor miscarilor ascunse ce intervin in procesul
vorbirii. Putem identifica cel puțin 5 puncte de vedere pentru a ilustra diferențele intre pronunția copilului si pronunția
corecta, toate in concordanța cu complexitate sistemului articulator frontal, lateral, palatal, un semafor binar care sa
arate daca direcția pe care trebuie sa o ia aerul este cavitatea bucala, un alt semafor binar care sa arate daca direcția pe care trebuie sa o ia aerul este cavitatea nazala.
Feedback-ul din punctul de vedere al realizarii articulației poate fi realizat cu un mini-profil cu un contur 2D sau 3D al
limbii, care sa arate limba in diferite stadii, diferite scale si din diferite puncte de vedere. Obiectivele luate in considerare pentru realizarea modelului virtual sunt urmatoarele:
- realizarea unui model 3D a elementelor care intervin in fonație permițind demonstrarea video prin intermediul animației in timp real a poziționarii corecte/gresite a acestora
- generarea audio a fonemelor in funcție de poziționarea curenta a elementelor modelului virtual
- obținerea unei interacțiuni naturale a specialistului logoped sau a pacientului cu modelul virtual prin: - specificarea unor puncte de flexiune ale diferitelor elemente (limba) si
- realizarea de comparații de ordin audio vizual cu privire la poziționarea curenta
Un sistem tip realitate virtuala care poate oferi un model fizic tridimensional al cavitații bucale cit si o versiune
transparenta in care flexiunile limbii respectiv poziționarea dinților si a pereților buco-faringieni pot fi observate in condiții optime se dovedeste a fi de o valoare reala in domeniul logopedic [6,7]. Considerentele care trebuie avute in vedere legate de implementarea mediului virtual sunt reprezentate de:
§ fiecare model fizic parametrizabil trebuie sa indeplineasca condițiile unei animații in timp real
§
modelele vor fi deformabile pentru a asigura simularea interacțiunilor intre diferite elemente articulatorii si
efectele acestora asupra sunetelor emise (din nou, constringeri legate de animația in timp real) § interacțiunea naturala a specialistului logoped sau a pacientului cu ansamblul virtual
Modelul virtual trebuie sa asigure o serie de cerințe de ordin calitativ astfel incit sa ofere pacientului / specialistului logoped sentimentul experimentului reusit.
4.5. Gradul de noutate si complexitate al proiectului
- Utilizarea unui procedeu adjuvant in terapia logopedica specific limbii romane;
- Evidențierea rezultatelor la finalul setului de exerciții prin care copilul conștientizează progresele, precum și erorile in timpul activității terapeutice.
- Simulatorul fono articulator prezinta un grad de noutate si complexitate care il situeaza printre cercetarile de virf la nivel european.
Realizarea unui sistem inglobat mobil destinat asistarii terapiei tulburarilor de pronuntie la copii, prezinta un grad
ridicat de noutate atit din punctul de vedere al implementarii hardware cit si din punctul de vedere al interfațarii
software (referințele bibliografice naționale si internaționale nu marcheaza existența unui astfel de dispozitiv).
- Un grad de noutate aparte consta in faptul ca sistemul are ca obiectiv ameliorarea tulburărilor de pronunție specifice limbii romane.
- Gradul ridicat de complexitate al proiectului este reflectat de pluridisciplinaritatea domeniilor de cercetare
implicate: inteligenta artificiala (sisteme expert cu invatare, inglobind tehnici de data mining si recunoasterea
formelor), realitate virtuala, procesarea digitala a semnalelor, electronica digitala (VLSI), arhitectura
calculatoarelor (System on Chip, embedded device), psihologie (proceduri de evaluare, ghid therapeutic design experimental pentru validare).
4.6. Metodologia și tehnicile care vor fi utilizate Privitor la realizarea unui model virtual tridimensional care sa ia in considerare elementele vorbirii, interacțiunea
dintre acestea si efectele pe care diferite flexionari ale acestor elemente se reflecta asupra sunetului emis reprezinta o sarcina complexa care va trebui sa gaseasca raspunsuri in ceea ce priveste:
- care este cel mai bun model pentru fiecare element articulator (limba, maxilar, buze) care contribuie la producerea vorbirii ?
- care este nivelul de complexitate potrivit pentru model pentru a asigura efectul demonstrativ din punct de vedere logopedic ?
- cum interacționeaza diferite modele si cum poate fi modelat efectul interacțiunilor asupra sunetului emis ?
Conceperea si realizarea sistemului inteligent de terapie personalizata va necesita cercetari in domeniul
sistemelor expert cu autoinvatare, care pornind de la o baza initiala de cunostinte si metacunostinte privind
invatarea, se va dezvolta continuu utilizand tehnici de data mining si recunoasterea formelor pentru a extrage cunostinte din eviolutia copilului si a stabili traseul terapeutic optim.
Privind modul de realizare a dispozitivului inglobat mobil, s-a avut in vedere unul din domeniile stiinței
calculatoarelor care au cistigat tot mai mult teren in ultima perioada de timp si anume dezvoltarea de System on Chip
(SoC). Dintre motivele succesului acestui tip de circuit se pot aminti funcționalitațile multiple, costuri finale
scazute, numar redus de componente folosite, integrarea mai multor componente electronice in una singura precum si o mai mare siguranța in ceea ce priveste atacurile de tip reverse engineering. Cercetarea Cercetarea psiho-terapeutica va parcurge trei etape:
- o etapă experimentală vizând aplicarea metodologiei de cercetare de tip pre-test post-test (prin evaluare
inițială și finala) pentru a analiza comparativ eficiența demersurilor terapeutice clasice si asistate;
- o etapă diagnostică presupunând o cunoaștere a atitudinii cadrelor didactice și a părinților față utilizarea dispozitiv inglobat mobil în terapia dislaliei;
- o etapa integrativa constând în identificarea unor principii si metodologii de proiectare a terapiei asistate rezultate în urma celor doua etape anterioare.
Din punctul de vedere al metodologiilor si tehnici utilizate in prelucrarea semnalelor audio sunt de evidențiat:
- tehnici de inregistrare vocala, de esantionare si compresie a semnalelor audio folosind algoritmii ADPCM (Adaptive Differential Pulse Code Modulation) si MP3.
- tehnici de comunicație dispozitiv <-> PC folosind interfața UART (port serial) si Ethernet (TCP/IP).
Ghidul terapeutic inregistrat in baza de cunostinte va cuprinde
- metode pentru dezvoltarea musculaturii aparatului fono-articulator - metode pentru reglarea ritmului dintre inspirație-expirație;
- metode pentru dezvoltarea auzului fonematic( pronunțarea de onomatopee, exerciții de pronunțare ritmică, pronunțarea unor serii de silabe opuse etc.)
- tehnici pentru impostarea si consolidarea sunetului - tehnici pentru automatizarea sunetului in vorbirea libera : introducerea sunetului in propoziții, texte scurte,
povestiri, ghicitori; folosirea unor dictări și povestiri după imagini etc.
Designul experimental pentru validarea sistemului
Subiecții vor fi 90 copii cu tulburări de pronunție distribuiți conform următorului plan factorial:
Factori |
Sigmatism |
Rotacism |
Dislalie polimorfă |
Terapia clasică |
15 subiecți |
15 subiecți |
15 subiecți |
Terapia asistată |
15 subiecți |
15 subiecți |
15 subiecți |
Cercetarea va incepe cu o etapa pre-test constand in diagnosticare initiala a tuturor subiectilor cuprinsi in esantion
(utilizand tehnici de diagnosticare specifice), urmand ca aceleasi instrumente sa fie aplicate in etapa post-test.
Calculatoare, aparatura de inregistrare audio, platforma hardware de dezvoltare a prototipului de dispozitiv inglobat mobil (un kit de dezvoltare cu FPGA Xilinx (Spartan 3 sau Virtex)).
Software Instrumentele software necesare pentru realizarea SoC sunt Xilinx ISE / Xilinx Embedded Development Kit / sistem
de operare ucLinux / Compilator c: gcc pentru microprocesor Microblaze / Xilinx System Generator for DSP.
Animarea in timp real a modelelor elementelor care intervin in fonație respectiv modelarea interacțiunilor care intervin
intre acestea impune folosirea unor biblioteci specializate, recunoscute in comunitatea grafica:
-
Open GL biblioteca open source destinata dezvoltarii aplicațiilor grafice 2D/3D interactive ce prezinta o
serie de avantaje majore: suport industrial care asigura un standard OpenGL, independența de platforma si
sistem de operare, portabilitate, evoluție si dezvoltare continua (consorțiu independent OpenGL Architecture Review Board) -
nVIDIA Cg (C for Graphics) limbaj grafic specializat realizat de nVIDIA care permite folosirea optima a
performanțelor placilor grafice, conducind la un plus calitativ al aplicațiilor de natura grafica
Contribuția fiecărui partener Conform cu Formularul A3.1 Planul de realizare / Rezultate asteptate |