8 minute read

Mislim, dakle ostavljam trag

Kontrola uma nije znanstvena fantastika. Kontrola uma nije više blizu. Ovdje je, sada. Istraživači s Tehničkog sveučilišta Sydney su naime prvi razvili prijenosni, neinvazivni sustav umjetne inteligencije za čitanje misli. Njihov sustav misli dekodira i pretvara ih u tekst. To su ostvarili s nadogradnjom vlastite biosenzorske tehnologije, koja omogućuje upravljanje uređajima, kao što su roboti i strojevi, isključivo upravljanjem mislima.

Tehnologija istraživača iz Centra za umjetnu inteligenciju GrapheneX-UTS Umjetna inteligencija, usredotočena na čovjeka (GrapheneX-UTS HAI) na Tehničkom sveučilištu Sydney (UTS), mogla bi pomoći u komunikaciji s ljudima, koji zbog bolesti ili ozljede, uključujući moždanu kap ili paralizu, ne mogu govoriti. Isto tako bi mogla omogućavati neometanu komunikaciju između ljudi i strojeva, primjerice pri upravljanju bioničkom rukom ili robotom. Studija australskih istraživača je bila izabrana kao središnji članak na konferenciji NeurIPS, vrhunskom godišnjem susretu, koji predstavlja vodeća svjetska istraživanja na području umjetne inteligencije i strojnog učenja, koja se održava u New Orleansu. Istraživanje je vodio profesor emeritus dr. CT Lin, direktor centra GrapheneX-UTS HAI, zajedno s prvim autorom istraživanja dr. Yiqunom Duan i doktorandom Jinzhouom Zhou s Fakulteta za inženjerstvo i IT UTS. U studiji su sudionici tiho čitali odlomke teksta, dok su nosili kapu, koja je s elektroencefalogramom (EEG) bilježila električnu aktivnost mozga preko vlasišta. Valovi EEG su podijeljeni na odvojene jedinice koje obuhvaćaju posebne značajke i uzorke ljudskog mozga. To obavlja model umjetne inteligencije nazvan DeWave, kojeg su također razvili istraživači. DeWave prevodi EEG signale u tekst i rečenice tako, da uči iz velikih količina EEG podataka. »Ovo istraživanje je pionirski rad u izravnom prevođenju sirovih EEG valova u jezik, što znači važan napredak na tom području,« pojasnio je profesor Lin. »Prvo je uključilo diskretne tehnike kodiranja u proces prevođenja iz mozga u tekst i tako uvelo inovativni pristup ka neuronskom dekodiranju. Integracija s velikim jezičnim modelima otvara nove granice na području neuroznanosti i umjetne inteligencije,« dodao je.

Dosadašnja tehnologija za prevođenje moždanih signala u jezik je zahtijevala ili kirurški zahvat za implantiranje elektroda u mozak, kao što to radi neurotehnološka tvrtka Neuralink, ili skeniranje u uređaju za magnetsku rezonancu, koji je velik i skup uređaj, te ga je teško primjenjivati u svakodnevnom životu. Te metode također teško prevode moždane signale u segmente na razini riječi bez dodatnih pomagala, kao što je praćenje očiju, što ograničava praktičnu primjenu tih sustava. Nova tehnologija se može primjenjivati praćenjem očiju ili bez njega.

U istraživanju UTS je surađivalo dvadeset i devet sudionika. To znači, da ono biti vjerojatno pouzdanije i prilagodljivije od prethodnih tehnologija dekodiranja, koje su bile provjerene na samo jednom ili dva pojednicna, jer se EEG valovi razlikuju između pojedinaca. Primjena EEG signala, primljenih preko kape, a ne s elektrodama koje su implantirane u mozak, znači da je signal robusniji. No studija je izvještavala o najsuvremenijim mogućnostima EEG, koje su premašivale prethodna mjerila.

Istraživač UTS tijekom ispitivanja nove tehnologije za čitanje misli.
Foto: UTS

»Model je spretniji pri podudaranju glagola kao imenice. Kod imenica smo primijetili težnju za stvaranjem sinonima umjesto točnim prijevodima, kao što je 'čovjek' umjesto 'autor',« pojasnio je dr. Duan. Istraživač smatra, da se to događa, jer pri obradi tih riječi mozak kod prema značenju sličnih riječi stvara slične uzorke moždanih valova. »Unatoč izazovima naš model daje smislene rezultate, jer usklađuje ključne riječi i oblikuje slične strukture rečenica.«

Točnost prevođenja je trenutačno približno 40 % pri BLEU-1. Ocjena BLEU je brojka između nula i jedan, koja mjeri sličnost strojno prevedenog teksta s nizom kvalitetnih referentnih prijevoda. Istraživači vjeruju, da će se ta točnost poboljšati na razinu, koja će biti usporediva s tradicionalnim programima za prevođenje jezika ili prepoznavanje govora, koje je bliže 90 %. Istraživanje prati prethodnu tehnologiju moždano-računalnog sučelja, koju je UTS razvio u suradnji s australskim obrambenim snagama i koji primjenjuje moždane valove za davanje naredbi robotu na četiri kotača.

Roboti za kontrolu uma su stvarnost

Jeste li ikada željeli mislima upravljati robotom? Sada možete zahvaljujući istraživanjima UTS na području interakcije između čovjeka i robota. Tamošnji istraživači su razvili biosenzorsku tehnologiju, koja omogućuje upravljanje uređajima, kao što su roboti i strojevi, isključivo upravljanjem mislima. Napredno moždano-računalno sučelje su razvili profesore emeritus Chin-Teng Lin i profesorica Francesca Iacopi s Fakulteta za inženjerstvo i informacijsku tehnologiju UTS u suradnji s australskom vojskom i obrambenim inovacijskim centrom.

Istraživanje, koji je s približno tri četvrtine milijuna eura sredstava financirao australski Obrambeni inovacijski centar, ima tri glavne komponente: biosenzor za prepoznavanje električnih signala iz mozga, instalaciju za pojačavanje signala i dekoder umjetne inteligencije, koji ih prevodi u upute – zaustavi, zakreni desno, zakreni lijevo – koje stroj može razumjeti. »Tu tehnologiju vidim kao sljedeću generaciju sučelja čovjek-računalo,« izjavio je profesor emeritus Lin. Tehnologija UTS može električne signale mozga prevodi u oblik, kojeg neposredno hvata stroj ili robot, te robot izvršava naredbu.

Pored obrambene primjene tehnologija ima veliki potencijal posebice na područjima napredne proizvodnje, svemirske industrije i zdravstva. Invalidima primjerice omogućuje upravljanje invalidskim kolicima ili primjenom proteze. »Tehnologija bez primjene ruku i glasa djeluje i izvan laboratorijskog okruženja, bilo kada i bilo gdje. Zbog nje su sučelja, kao što su konzole, tipkovnice, zasloni osjetljivi na dodir i prepoznavanje kretnji suvišni,« pojasnila je profesorica Iacopi. Istraživačica navodi da im je uspjelo objediniti najbolja svojstva grafena, koji je vrlo biokompatibilan i vrlo provodljiv, s najboljim svojstvima tehnologije silicija. »Primjenom vrhunskog materijala grafena u kombinaciji sa silicijem uspjeli smo ukloniti probleme s korozijom, održivošću i otpornošću na dodir s kožom, kako bismo mogli razviti nosive suhe senzore.«

Autori su studiju tehnologije objavili prošle godine u ACS Applied Nano Materials. Članak prikazuje trodimenzionalne senzore s mikro-oblicima, koji se temelje na sub-nanometarski debelom epitaksijalnom grafenu za prepoznavanje EEG signala iz zahtijevanog zatiljnog područja vlasišta. Zatiljno područje moždanog režnja, koje odgovara vizualnog kori mozga, ključno je za izvođenje sučelja mozak-stroj tj. pametnog mozga, koji se temelji na uobičajenoj paradigmi vizualno pobuđenih potencijala u ustaljenom stanju. Senzori iz uzorkovanog epitaksijalnog grafena imaju učinkoviti kontakt s kožom s niskom impedancijom i mogu postići omjer signal-šum usporediv s mokrim senzorima. Primjenom tih senzora su autori prikazali i jednostavnu komunikaciju sa robotom na četiri kotača preko moždane aktivnosti. U članku je vidljivo, da su grafenski senzori, razvijeni na UTS, vrlo provodni, jednostavni za primjenu i robusni. Senzori sa šesterokutnim uzorkom su postavljeni na stražnju stranu vlasišta i prepoznaju moždane valove iz vidljive kore. Senzori su otporni na teške uvjete, stoga ih je moguće primjenjivati u ekstremnim radnim okruženjima. Korisnik nosi na glavu namještenu leću za proširenu stvarnost, koja prikazuje bijele treptajuće kvadrate. Ukoliko se operater usredotoči na određeni kvadrat, biosenzor prepoznaje njegove moždane valove, a dekoder signal prevodi u naredbe.

Tehnologiju je nedavno predstavila australska vojska, gdje su vojnici s pomoću sučelja mozak-stroj upravljali robotom na četiri kotača tvrtke Ghost Robotics.
Foto: Australska vojska

»Naša tehnologija može u dvije sekunde izdati barem devet naredbi. To znači, da imamo na raspolaganju devet različitih vrsta naredbi, a operater u tom vremenu može izabrati jednu od tih devet,« rekao je profesor Lin. S time su nadogradili postojeću tehnologiju sučelja mozak-računalo, koja je do sada mogla izvoditi samo dvije naredbe (primjerice zakret lijevo ili desno ili pomak naprijed). Nastavio je, da su istraživali i mogućnost maksimalnog smanjivanja buke tijela i okoline, kako bi dobili jasniji signal iz mozga upravitelja.

Tehnologiju je nedavno predstavila australska vojska, gdje su vojnici s pomoću sučelja mozak-stroj upravljali s robotom na četiri kotača Ghost Robotics. Uređaj je omogućavao jednostavno rukovanje robotskim psom s čak 94-postotnom točnošću.

Rezultati istraživanja omogućuju australskoj vojsci istraživanje komuniciranja između vojnika koji tijekom taktičkih misija komuniciraju s robotskih sustavima. Trenutačno vojnici moraju gledati u zaslon i s rukama upravljati robotskom platformom, dok bi inače mogli gledati prema gore i drugačije davati podršku svom timu. »Istražujemo, kako vojnim može upravljati autonomnim sustavom – u ovom slučaju robot na četiri kotača – s pomoću moždanih signala, što znači da vojnik može držati ruke na oružju, što može poboljšati njegovu učinkovitost, kao što je naglašeno u strategiji za robotske i autonomne sustave vojske,« rekla je potpukovnica Kate Tollenaar, voditeljica projekta u australskoj vojsci. »To moždano-računalno sučelje istražuje, kako robotska platforma reagira u stvarnom okruženju, kako bi poduprla djelovanje vojnika.« Istraživači smatraju, da će tehnologija biti zanimljiva za znanstvenu zajednicu, industriju i vladu, i vjeruju, da će i dalje napredovati na području sustava sučelja mozak-računalo.

Na konferenciji o sustavima neuronske obrade informacija NeurIPS 2023 istraživači UTS su predstavili DeWave, novi okvir za nedavno postavljeni zadatak prevođenja iz EEG u tekst s otvorenim rječnikom, koji uvodi novi koncept diskretnog kodiranja. Taj pristup donosi 1- do 10-postotno poboljšanje metrika sukladnosti korpusnog teksta, kao što su BLEU i ROUGE. DeWave ujedno proširuje postavljanje zadatka na dekodiranje neobrađenih EEG valova bez pomoći označavanja fiksacije očiju. Time su pionirski pokazali izvedivo rješenje, koje omogućuje neposredno prevođenje. Unatoč tom napretku, kvaliteta rezultata dekodiranja mozga i dalje je bitno niža od kvalitete prevođenja jezika i prepoznavanja govora. Prevođenje misli neposredno iz mozga je dragocjen, no ujedno i zahtjevan podvig, koji zahtijeva dodatne velike napore. Obzirom na brzi napredak velikih jezičnih modela, slične metode kodiranja, koje povezuju aktivnost mozga s prirodnim jezikom, zaslužuju veću pozornost. Unatoč poboljšanjima DeWave pri prevođenju EEG u tekst primjenom diskretnog kodeksa i kodiranja sirovih valova njegova točnost je lošija u usporedbi s tradicionalnim prevođenjem iz jezika u jezik. Pored toga, njegova ispitivanja, ograničena na javne podatke o neuronskom čitanju, ne poklapaju se u cijelosti s konceptom »tihog govora« neposrednog prevođenja misli iz ljudskog mozga. DeWavnovo uvođenje diskretnog kodiranja, sličnog umetanju teksta, moglo bi biti dobar korak pri popunjavanju praznine između moždanih valova i naprednih jezičnih modela.
This article is from: