Voor het eerst ter wereld heeft een apparaat gedachten kunnen omzetten in tekst, zonder enige chirurgische ingreep of MRI-scan. Dit is een belangrijke doorbraak voor onderzoek dat tot doel heeft mensen die verlamd zijn in staat te stellen met anderen te communiceren.

In het nieuws: onderzoekers van het Human-centric Artificial Intelligence Centre (GrapheneX-UTS) aan de University of Technology Sydney (UTS) hebben een apparaat ontwikkeld dat gedachten naar een computer kan sturen en ze kan vertalen naar tekst.

• Dit is een belangrijke vooruitgang in de geneeskunde, om het leven van mensen die niet kunnen praten vanwege een ziekte of letsel te verbeteren, maar ook een vooruitgang voor de technologie.
• Belangrijker nog, het apparaat vergemakkelijkt de communicatie tussen mensen en machines en creëert nieuwe mogelijkheden.

“Dit onderzoek is een pioniersinspanning in het rechtstreeks vertalen van ruwe EEG-golven naar taal, wat een significante vooruitgang betekent in dit vakgebied.”

professor CT Lin, directeur van het GrapheneX-UTS HAI Centre

Concreet: het apparaat is gebaseerd op een helm met sensoren die de elektrische activiteit in de hersenen door de hoofdhuid meten met behulp van een elektro-encefalogram (EEG) en artificiële intelligentie.

• “De EEG-golven worden opgedeeld in aparte eenheden die specifieke kenmerken en patronen van het menselijk brein vastleggen. Dit wordt gedaan door een AI-model genaamd DeWave, ontwikkeld door de onderzoekers. DeWave vertaalt de EEG-signalen naar woorden en zinnen door te leren van grote hoeveelheden EEG-gegevens,” leggen de onderzoekers uit in hun rapport.
• Het apparaat “is het eerste dat discrete codeertechnieken integreert in het hersenen-naar-tekst-vertaalproces, wat een innovatieve benadering van neuronale decodering introduceert. De integratie van grote taalmodellen opent ook nieuwe mogelijkheden in neurowetenschappen en AI,” benadrukt professor Lin.

Beter dan Neuralink

Het concept van technologieën die in staat zijn om hersensignalen te vertalen naar taal is op zich niet nieuw. Wat wel nieuw is, is dat het apparaat geen chirurgische ingreep vereist om elektroden in de hersenen te implanteren – wat het geval is bij Neuralink van Elon Musk – of dat er een MRI-scan nodig is, een dure oplossing die ook onpraktisch is in het dagelijks leven.

• Bovendien hebben deze oplossingen vaak extra ondersteuning nodig, zoals oogtracking, om hersensignalen te vertalen naar woordniveau, wat hier niet het geval is.

Genoteerd: het apparaat is nog niet perfect. De AI heeft soms moeite om bepaalde gedachten nauwkeurig in woorden te vertalen. Het ontbreekt vertalingen soms aan precisie, maar de eerste resultaten zijn veelbelovend.

• “Het model is beter in het matchen van werkwoorden dan zelfstandige naamwoorden. Wat zelfstandige naamwoorden betreft, hebben we echter een neiging gezien naar synoniemenparen in plaats van nauwkeurige vertalingen, zoals ‘de man’ in plaats van ‘de auteur’,” aldus Yiqun Duan, auteur van de studie.
• Op dit moment is de nauwkeurigheidsscore ongeveer 40 procent op BLEU-1, waarbij BLEU een getal tussen nul en één is dat de gelijkenis van automatisch vertaalde tekst met een set van kwalitatieve referentievertalingen meet.
  • In het kader van de studie moest de AI, op basis van geregistreerde hersensignalen, een tekst vertalen die deelnemers mentaal lazen.
  • Dit maakte een vergelijking mogelijk tussen de oorspronkelijke tekst en de vertaling ervan. (cv)