Cornell-in rəhbərlik etdiyi tədqiqat qrupu, Amerika İşarət Dilində (ASL) barmaqların hərfini davamlı və real vaxtda izləyə bilən mikro-sonar texnologiyası ilə təchiz edilmiş süni intellektlə işləyən üzük hazırlayıb.

Hazırkı formada SpellRing mətni kompüterlərə və ya smartfonlara barmaqların hərf üsulu ilə daxil etmək üçün istifadə oluna bilər, hansı ki, ASL-də xüsusi isimlər, adlar və texniki terminlər kimi müvafiq işarələr olmadan sözləri hərf etmək üçün istifadə olunur. Sonrakı inkişafla, növünün ilk olduğuna inanılan cihaz, bütün imzalanmış sözləri və cümlələri davamlı olaraq izləməklə ASL tərcüməsində inqilab edə bilər.

Tədqiqat arXiv preprint serverində dərc olunub .

İnformasiya elmləri sahəsində doktorant Hyunchul Lim, “ASL-də barmaqların hərfini tanıyan bir çox digər texnologiyalar kar və çətin eşitmə qabiliyyətinə malik cəmiyyət tərəfindən qəbul edilməmişdir, çünki aparat böyük və praktiki deyil” dedi . “Biz ASL-də bütün incə və mürəkkəb barmaq hərəkətlərini çəkmək üçün tək üzük hazırlamağa çalışdıq.”Oyna

00:0000:15SəssizParametrlərPIPTam ekrana daxil olun

Lim 26 aprel – 1 may tarixlərində Yaponiyanın Yokohama şəhərində Hesablama Maşınları Assosiasiyasının Hesablama Sistemlərində İnsan Faktorları (CHI) konfransında təqdim olunacaq “SpellRing: Amerika İşarə Dilində Davamlı Barmaqların Üzükdən İstifadə Olaraq Tanınması” kitabının aparıcı müəllifidir .

Lim və Kornel Ann S. Bowers Hesablama və İnformasiya Elmləri Kollecində Gələcək Qarşılıqlı Əlaqələr üçün Ağıllı Kompüter İnterfeysləri (SciFi) Laboratoriyasının tədqiqatçıları tərəfindən hazırlanmış SpellRing baş barmağa taxılır və mikrofon və dinamiklə təchiz edilmişdir. Onlar birlikdə istifadəçinin əl və barmaq hərəkətlərini izləyən eşidilməyən səs dalğalarını göndərir və qəbul edir, mini giroskop isə əlin hərəkətini izləyir. Bu komponentlər 3D çap edilmiş halqanın və standart ABŞ kvartalından böyük olmayan korpusun içərisində yerləşdirilib.

https://googleads.g.doubleclick.net/pagead/ads?gdpr=0&us_privacy=1—&gpp_sid=-1&client=ca-pub-0536483524803400&output=html&h=188&slotname=2793866484&adk=1121470953&adf=1293340994&pi=t.ma~as.2793866484&w=750&abgtt=6&fwrn=4&lmt=1742296098&rafmt=11&format=750×188&url=https%3A%2F%2Ftechxplore.com%2Fnews%2F2025-03-ai-tracks-words-american-language.html&wgl=1&uach=WyJXaW5kb3dzIiwiMTkuMC4wIiwieDg2IiwiIiwiMTM0LjAuNjk5OC44OSIsbnVsbCwwLG51bGwsIjY0IixbWyJDaHJvbWl1bSIsIjEzNC4wLjY5OTguODkiXSxbIk5vdDpBLUJyYW5kIiwiMjQuMC4wLjAiXSxbIkdvb2dsZSBDaHJvbWUiLCIxMzQuMC42OTk4Ljg5Il1dLDBd&dt=1742296092444&bpp=1&bdt=466&idt=416&shv=r20250305&mjsv=m202503130101&ptt=9&saldr=aa&abxe=1&cookie=ID%3Dfdc40d724f2dca57%3AT%3D1735367325%3ART%3D1742296092%3AS%3DALNI_MYStQ6fUQQQLyo5Z7z1h-XhXcWBtA&gpic=UID%3D00000f80eacffadc%3AT%3D1735367325%3ART%3D1742296092%3AS%3DALNI_MYaOugky0UawScoidzfbXof3-N-iw&eo_id_str=ID%3De43bb863646b60b8%3AT%3D1735367325%3ART%3D1742296092%3AS%3DAA-AfjbQoPwZqH28q9IwcCLRSzzg&prev_fmts=0x0%2C1905x945&nras=2&correlator=9885522528&frm=20&pv=1&rplot=4&u_tz=240&u_his=1&u_h=1080&u_w=1920&u_ah=1032&u_aw=1920&u_cd=24&u_sd=1&dmc=8&adx=448&ady=2236&biw=1905&bih=945&scr_x=0&scr_y=0&eid=42532524%2C95353421%2C95354598&oid=2&pvsid=131913928525463&tmod=2122047167&uas=0&nvt=1&ref=https%3A%2F%2Fphys.org%2F&fc=1920&brdim=0%2C0%2C0%2C0%2C1920%2C0%2C1920%2C1032%2C1920%2C945&vis=1&rsz=%7C%7CpeEbr%7C&abl=CS&pfx=0&fu=128&bc=31&bz=1&td=1&tdf=2&psd=W251bGwsbnVsbCxudWxsLDNd&nt=1&ifi=2&uci=a!2&btvi=1&fsb=1&dtd=6516

Şəxsi dərin öyrənmə alqoritmi daha sonra sonar şəkillərini emal edir və real vaxt rejimində və daha çox aparat tələb edən bir çox mövcud sistemlər kimi eyni dəqiqliklə ASL barmaqlarının hərflərini proqnozlaşdırır.

Tərtibatçılar SpellRing-i 20 təcrübəli və təcrübəsiz ASL imzalayanı ilə qiymətləndirdilər, onlara təbii və davamlı olaraq müxtəlif uzunluqlarda cəmi 20.000-dən çox sözün barmaqlarını hərflə oxudular. SpellRing-in dəqiqlik dərəcəsi sözlərin çətinliyindən asılı olaraq 82% ilə 92% arasında idi.

“Alətlər hazırlayan texniki icma ilə onlardan istifadə edən hədəf icma arasında həmişə boşluq var” dedi Cheng Zhang, informasiya elmləri (Cornell Bowers CIS) professoru və məqalənin həmmüəllifi. “Biz bu boşluğun bir hissəsini aradan qaldırdıq. SpellRing-i onu qiymətləndirən hədəf istifadəçilər üçün hazırladıq.”

Tədqiqatçıların sözlərinə görə, əlifbanın hər hərfi ilə əlaqəli 26 əl şəklini tanımaq üçün süni intellekt sistemini öyrətmək (xüsusilə imzalayanlar səmərəlilik, sürət və axın üçün təbii olaraq müəyyən bir hərfin formasını dəyişdirdikləri üçün) sadə deyildi.

SciFi Laboratoriyasını idarə edən Zhang, “Hərflər arasındakı fərq əhəmiyyətli ola bilər” dedi. “Bunu tutmaq çətindir.”

SpellRing, SciFi Laboratoriyasının Ring-a-Pose adlı əvvəlki iterasiyasını qurur və laboratoriyadan sonarla təchiz edilmiş ağıllı cihazların davam edən seriyasının ən sonunu təmsil edir. Tədqiqatçılar əvvəllər virtual reallıqda əl pozalarını , 3D-də bədənin yuxarı hissəsini, səssiz nitqin tanınması, baxış və üz ifadələri və digərləri ilə yanaşı, qadcetlər hazırlayıblar .

” Böyük dil modelləri xəbərlərdə öndə və mərkəz olsa da, maşın öyrənməsi dünyanı yeni və gözlənilməz üsullarla hiss etməyə imkan verir, çünki bu layihə və laboratoriyadakı digərləri nümayiş etdirir”, həmmüəllif Fransua Guimbretière, informasiya elmləri professoru (Cornell Bowers MDB) bildirib. “Bu, hesablama resurslarına daha müxtəlif və əhatəli çıxışa yol açır.”

Tədqiqatları ASL-yə yönəlmiş dilçilik sahəsində doktorant, həmmüəllif Jane Lu dedi: “Mən ASL icması tərəfindən düzgün etmək üçün hər cür tədbir görməyimizə kömək etmək istədim”. “Barmaqların hərfləri texniki baxımdan nüanslı və izləmək çətin olsa da, ASL dilinin ancaq bir hissəsini təşkil edir və dil olaraq ASL-i təmsil etmir. ASL-nin tam tanınması üçün müqayisə edilə bilən cihazların hazırlanmasında hələ uzun yolumuz var, lakin bu, düzgün istiqamətdə maraqlı addımdır.”

Limin gələcək işlərinə daha əhatəli ASL tərcümə sistemi üçün yuxarı bədən hərəkətlərini və üz ifadələrini çəkmək üçün mikro-sonar sisteminin eynəklərə inteqrasiyası daxildir.

SpellRing araşdırmasının bir hissəsi olaraq Cornelldə əsas və orta ASL kurslarını bitirən Lim, “Kar və eşitmə qabiliyyəti zəif olan insanlar ASL üçün əllərindən daha çox istifadə edirlər. Üz ifadələrindən, yuxarı bədən hərəkətlərindən və baş jestlərindən istifadə edirlər” dedi. “ASL çox mürəkkəb, mürəkkəb vizual dildir.”

Ətraflı məlumat: Hyunchul Lim et al, SpellRing: Recognizing Continuous Fingerspelling in American Sign using a Ring, arXiv (2025). DOI: 10.48550/arxiv.2502.10830

Jurnal məlumatı: arXiv Cornell Universiteti tərəfindən təmin edilmişdir