Beyin-kompüter interfeysləri (BCI) sahəsində sıçrayışı qeyd edərək, UC Berkeley və UC San Francisco-dan olan tədqiqatçılar qrupu ağır iflic olan insanlar üçün təbii nitqi bərpa etmək üçün bir yol açıblar.

Bu iş nitq neyroprotezlərində uzun müddət davam edən gecikmə problemini, subyektin danışmağa cəhd etməsi ilə səsin yarandığı vaxt arasındakı fasiləni həll edir. Süni intellektə əsaslanan modelləşdirmədə son nailiyyətlərdən istifadə edərək, tədqiqatçılar beyin siqnallarını real vaxtda səsli nitqə sintez edən axın metodu hazırlayıblar.

Nature Neuroscience- də bildirildiyi kimi , bu texnologiya danışma qabiliyyətini itirmiş insanlar üçün ünsiyyətə imkan verən kritik bir addımdır.

“Bizim axın yanaşmamız Alexa və Siri kimi cihazların neyroprotezlərə eyni sürətli nitq deşifrə imkanlarını gətirir” dedi Qopala Anumançipalli, Robert E. və Beverli A. Brooks UC Berkeley-də Elektrik Mühəndisliyi və Kompüter Elmləri üzrə köməkçi professor və tədqiqatın əsas müstəntiqi.

“Oxşar növ alqoritmdən istifadə edərək, biz neyron məlumatların şifrəsini deşifrə edə bildiyimizi və ilk dəfə olaraq yaxın sinxron səs axınını aktivləşdirə biləcəyimizi tapdıq. Nəticə daha təbii, səlis nitq sintezidir.”

Neyrocərrah Edvard Çanq, tədqiqatın baş müstəntiqi, “Bu yeni texnologiya nitqə təsir edən ağır ifliclə yaşayan insanların həyat keyfiyyətini yaxşılaşdırmaq üçün böyük potensiala malikdir” dedi. Chang UCSF-də sinir fəaliyyətini birbaşa beyin səthindən qeyd edən yüksək sıxlıqlı elektrod massivlərindən istifadə edərək nitq neyroprotezi texnologiyasını inkişaf etdirməyi hədəfləyən klinik sınaqlara rəhbərlik edir .

“Ən son süni intellekt nailiyyətlərinin yaxın gələcəkdə real dünyada praktiki istifadə üçün BCI-ləri xeyli sürətləndirməsi həyəcanvericidir.”Oyna

00:0001:58SəssizParametrlərPIPTam ekrana daxil olun

OynaBeyin fəaliyyətindən sinxronlaşdırılmış mətnin dekodlanması ilə onlayn naturalistik axın nitq sintezinin nümayişi. Kredit: Təbiət Neyrologiyası (2025). DOI: 10.1038/s41593-025-01905-6

Tədqiqatçılar həmçinin göstərdilər ki, onların yanaşması elektrodların beynin səthinə nüfuz etdiyi mikroelektrod massivləri (MEA) və ya əzələ fəaliyyətini ölçmək üçün üzdəki sensorlardan istifadə edən qeyri-invaziv qeydlər (sEMG) daxil olmaqla, müxtəlif beyin algılama interfeysləri ilə yaxşı işləyə bilər.

“Digər səssiz nitq verilənlər bazasında dəqiq beyin-səs sintezini nümayiş etdirməklə biz göstərdik ki, bu texnika yalnız bir xüsusi cihaz növü ilə məhdudlaşmır”, – Ph.D. Kaylo Littlejon bildirib. UC Berkeley Elektrik Mühəndisliyi və Kompüter Elmləri Departamentinin tələbəsi və tədqiqatın həmmüəllifi. “Eyni alqoritm, yaxşı bir siqnal olduqda, müxtəlif üsullarda istifadə edilə bilər.”

Sinir məlumatlarının nitqə deşifrə edilməsi

Tədqiqatın aparıcı müəllifi Cheol Jun Cho, UC Berkeley Ph.D. Elektrik mühəndisliyi və kompüter elmləri tələbəsi olan neyroprotez beynin nitq istehsalına nəzarət edən hissəsi olan motor korteksdən sinir məlumatlarını seçərək işləyir, sonra beyin funksiyasını nitqə deşifrə etmək üçün süni intellektdən istifadə edir.

“Biz mahiyyətcə düşüncənin artikulyasiyaya çevrildiyi və bu motor idarəetməsinin ortasında olan siqnalları tuturuq” dedi. “Beləliklə, deşifrə etdiyimiz şey düşüncə baş verəndən sonra, nə deyəcəyimizə qərar verdikdən, hansı sözləri istifadə edəcəyimizə və səs traktının əzələlərini necə hərəkət etdirəcəyimizə qərar verdikdən sonradır.”

Tədqiqatçılar alqoritmlərini öyrətmək üçün lazım olan məlumatları toplamaq üçün əvvəlcə mövzusu olan Anna ekranda “Hey, necəsən?” ifadəsinə baxıb sonra səssizcə bu cümləni söyləməyə çalışdılar.

“Bu, bizə onun yaratdığı sinir fəaliyyətinin parçalanmış pəncərələri ilə deməyə çalışdığı hədəf cümlə arasında, heç bir anda səs salmağa ehtiyac duymadan xəritəni təqdim etdi” dedi Littlejon.

Annın heç bir qalıq səsi olmadığı üçün tədqiqatçıların neyron məlumatlarını, girişi xəritələşdirə biləcəkləri hədəf səsi və ya çıxışı yox idi. Onlar çatışmayan detalları doldurmaq üçün süni intellektdən istifadə edərək bu problemi həll etdilər.

“Biz audio yaratmaq və hədəfi simulyasiya etmək üçün əvvəlcədən hazırlanmış mətndən nitqə modelindən istifadə etdik” dedi Ço. “Və biz də Ennin zədədən əvvəlki səsindən istifadə etdik, ona görə də çıxışı deşifrə edəndə daha çox ona oxşayır.”Oyna

00:0000:56SəssizParametrlərGörünməyən sözlərin səssiz nitq cəhdləri zamanı beyin fəaliyyətindən deşifrə olunmuş dalğa formalarının nümunəsi. Kredit: Təbiət Neyrologiyası (2025). DOI: 10.1038/s41593-025-01905-6

Yaxın real vaxtda nitq axını

Əvvəlki BCI tədqiqatında tədqiqatçılar şifrənin açılması üçün uzun bir gecikmə, bir cümlə üçün təxminən 8 saniyə gecikmə yaşadılar. Yeni axın yanaşması ilə, subyekt danışmağa çalışdığı üçün səsli çıxış real vaxta yaxın bir zamanda yaradıla bilər.

Gecikmə müddətini ölçmək üçün tədqiqatçılar nitqin aşkarlanması metodlarından istifadə etdilər ki, bu da onlara danışma cəhdinin başlanğıcını göstərən beyin siqnallarını müəyyən etməyə imkan verdi.

“Biz bu niyyət siqnalına nisbətən görə bilərik, 1 saniyə ərzində ilk səsi çıxarırıq” dedi Anumanchipalli. “Və cihaz davamlı olaraq nitqi deşifrə edə bilir ki, Ann fasiləsiz danışmağa davam edə bilsin.”

Bu daha yüksək sürət dəqiqlik bahasına gəlmədi. Daha sürətli interfeys əvvəlki, axın etməyən yanaşma ilə eyni yüksək səviyyəli dekodlaşdırma dəqiqliyini təmin etdi.

“Bunu görmək ümidvericidir” dedi Littlejon. “Əvvəllər başa düşülən nitqin real vaxtda beyindən ötürülə biləcəyi məlum deyildi.”

Anumanchipalli əlavə etdi ki, tədqiqatçılar həmişə geniş miqyaslı süni intellekt sistemlərinin öyrəndiyini və uyğunlaşdığını, yoxsa sadəcə olaraq təlim məlumatlarının hissələrini nümunəyə uyğunlaşdırıb təkrar etdiyini bilmirlər. Beləliklə, tədqiqatçılar real vaxt modelinin təlim verilənlər toplusunun lüğətinin bir hissəsi olmayan sözləri sintez etmək qabiliyyətini də sınaqdan keçirdilər – bu halda NATO fonetik əlifbasından götürülmüş 26 nadir söz, məsələn, “Alpha”, “Bravo”, “Charlie” və s.

“Biz görünməyən sözlərə ümumiləşdirə bildiyimizi və Annın danışıq nümunələrini həqiqətən deşifrə edə biləcəyimizi görmək istədik” dedi. “Biz tapdıq ki, modelimiz bunu yaxşı bacarır, bu da onun həqiqətən səsin və ya səsin tikinti bloklarını öyrəndiyini göstərir.”

2023-cü il tədqiqatında da iştirak edən Ann, əvvəlki tədqiqatın mətndən nitqə deşifrləmə metodu ilə müqayisədə yeni axın sintezi yanaşması ilə təcrübəsini tədqiqatçılarla bölüşdü.

“O, axın sintezinin daha könüllü olaraq idarə olunan bir modallıq olduğunu söylədi” dedi Anumanchipalli. “Demək olar ki, real vaxtda öz səsini eşitmək onun təcəssüm hissini artırdı.”

Gələcək istiqamətlər

Bu son iş tədqiqatçıları BCI cihazları ilə naturalistik nitq əldə etməyə bir addım yaxınlaşdırmaqla yanaşı, gələcək irəliləyişlər üçün zəmin yaradır.

“Bu konseptin sübutu çərçivəsi olduqca irəliləyişdir” dedi Cho. “Biz indi hər səviyyədə irəliləyiş əldə edə biləcəyimizə nikbinik. Məsələn, mühəndislik tərəfində biz nitqi necə daha yaxşı və daha sürətli yarada biləcəyimizi görmək üçün alqoritmi təkmilləşdirməyə davam edəcəyik.”

Tədqiqatçılar həmçinin nitq zamanı , məsələn, kimsə həyəcanlandıqda baş verən tonda, yüksəklikdə və ya yüksəklikdə baş verən dəyişiklikləri əks etdirmək üçün çıxış səsində ifadəliliyin qurulmasına diqqət yetirir.

“Bu, beyin fəaliyyətindən bu paralinqvistik xüsusiyyətləri nə qədər yaxşı deşifrə edə biləcəyimizi görmək üçün davam edən işdir” dedi Littlejon. “Bu, hətta klassik audio sintez sahələrində də uzun müddətdir davam edən problemdir və boşluğu tam və tam naturalizmə bağlayacaq.”

Ətraflı məlumat: Edvard F. Çanq, Təbii rabitəni bərpa etmək üçün beyindən səsə axın neyroprotezi, Təbiət Neuroscience (2025). DOI: 10.1038/s41593-025-01905-6 . www.nature.com/articles/s41593-025-01905-6

Jurnal məlumatı: Nature Neuroscience Kaliforniya Universiteti – Berkeley tərəfindən təmin edilmişdir