„Šis tyrimas yra novatoriškas bandymas versti neapdorotas EEG bangas tiesiogiai į kalbą, o tai yra reikšmingas proveržis šioje srityje“, – sakė Ching-Ten Lin, UTS Informatikos mokyklos nusipelnęs profesorius ir GrapheneX-UTS HAI centro direktorius.
„Tai pirmas diskretinio kodavimo metodas, kuriuo į smegenų vertimo į tekstą procesą įtraukiami diskretinio kodavimo metodai, ir taip pristatomas novatoriškas požiūris į neuroninį dekodavimą. – aiškino tyrimui vadovavęs Lin. – Integracija su dideliais kalbos modeliais taip pat atveria naujas neurologijos ir dirbtinio intelekto ribas“.
Tyrimo metu – mintys virto žodžiais ekrane
Tyrime, kuris buvo atrinktas kaip pagrindinis pranešimas NeurIPS konferencijoje, kasmetiniame dirbtinio intelekto tyrėjų susitikime, dalyviai tyliai skaitė teksto ištraukas, o dirbtinio intelekto modelis, pavadintas DeWave, naudodamas tik jų smegenų bangas kaip įvesties duomenis, projektavo tuos žodžius ekrane, skelbia portalas „IFLScience“.
Kur kas pranašesnė technologija
Nors tai nėra pirmoji technologija, galinti išversti smegenų signalus į kalbą, kol kas tai vienintelė technologija, kuriai nereikia nei smegenų implantų, nei prieigos prie magnetinio rezonanso aparato.
Be to, mokslininkai teigia, kad ši technologija yra pranašesnė už ankstesnes, kurioms reikia papildomų duomenų, pavyzdžiui, akių stebėjimo programinės įrangos, nes naująją technologiją galima naudoti ir be papildomų įrenginių.
Naudotojams tereikia dėvėti kepuraitę, kuri elektroencefalograma (EEG) fiksuoja jų smegenų veiklą – tai daug praktiškiau ir patogiau nei akių sekimo įranga (jau nekalbant apie MRT aparatą). Gaunamas signalas buvo šiek tiek triukšmingesnis nei informacija, gaunama iš implantų, pripažino tyrėjai, tačiau net ir tokiu atveju, bandymų metu ši technologija veikė gana gerai.
Naujosios technologijos tikslumas – nenuvylė
Atlikus tikslumo matavimus pagal BLEU algoritmą – tai būdas įvertinti originalaus teksto panašumą į mašininio vertimo rezultatą, suteikiant jam balus nuo 0 iki 1 – naujosios technologijos tikslumas buvo apie 0,4 balo. Tiesa, tai nėra taip gerai, kaip kai kurios kitos galimybės, kurios priklauso nuo šių inovatyvesnių metodų. Tačiau tyrėjai mano, kad šį tikslumą jie gali padidinti iki 0,9, t. y. iki lygio, prilygstančio tradicinėms kalbų vertimo programoms.
„Modelis geriau atitinka veiksmažodžius nei daiktavardžius, – paaiškino Yiqun Duan, pirmasis prie tyrimo pridėto straipsnio autorius. – O kalbant apie daiktavardžius, pastebėjome tendenciją rinktis sinonimines poras, o ne tikslius vertimus, pavyzdžiui, „žmogus“ vietoj „autorius“. Manome, kad šios klaidos vyksta todėl, nes smegenims apdorojant šiuos žodžius, semantiškai panašūs žodžiai gali sukelti panašius smegenų bangų modelius. Nepaisant iššūkių, mūsų modelis duoda prasmingų rezultatų – suderina raktinius žodžius ir formuoja panašias sakinių struktūras.“
Rezultatai buvo parodyti NeurIPS konferencijoje, o išankstinį atspaudą galima rasti ArXiV. Jis dar turi būti recenzuotas.
