Bugünkü süni intellekt sistemlərinin dil imkanları heyrətamizdir. İndi ChatGPT, Əkizlər və bir çox başqa sistemlərlə, demək olar ki, insanla müqayisə oluna bilən rəvanlıqla təbii söhbətlər edə bilərik. Bununla belə, biz bu şəbəkələrdə belə əlamətdar nəticələrə gətirib çıxaran daxili proseslər haqqında hələ də çox az şey bilirik.

Journal of Statistical Mechanics: Theory and Experiment jurnalında dərc olunan “Nöqtə-məhsul diqqətinin həll edilə bilən modelində mövqe və semantik öyrənmə arasında mərhələ keçidi” adlı araşdırma bu sirrin bir hissəsini açır.

Bu göstərir ki, təlim üçün kiçik həcmli məlumatlardan istifadə edildikdə, neyron şəbəkələri əvvəlcə cümlədəki sözlərin mövqeyinə əsaslanır. Lakin sistem kifayət qədər məlumatlara məruz qaldığı üçün sözlərin mənasına əsaslanan yeni strategiyaya keçir.

Tədqiqat müəyyən edir ki, bu keçid kritik məlumat həddini keçdikdən sonra kəskin şəkildə baş verir – fiziki sistemlərdə faza keçidi kimi. Tapıntılar bu modellərin işini başa düşmək üçün dəyərli fikirlər təklif edir.

Oxumağı öyrənən uşaq kimi, neyroşəbəkə də sözlərin mövqelərinə əsaslanaraq cümlələri başa düşməkdən başlayır: sözlərin cümlədə harada yerləşməsindən asılı olaraq, şəbəkə onların əlaqələri haqqında nəticə çıxara bilər (onlar subyektlər, fellər, obyektlərdir?). Bununla belə, təlim davam etdikcə – şəbəkə “məktəbə davam edir” – yerdəyişmə baş verir: söz mənası əsas məlumat mənbəyinə çevrilir.

Yeni araşdırma izah edir ki, bu, hər gün istifadə etdiyimiz (ChatGPT, Gemini, Claude və s.) transformator dili modellərinin əsas tikinti bloku olan özünə diqqət mexanizminin sadələşdirilmiş modelində baş verənlərdir.

Transformator mətn kimi verilənlərin ardıcıllığını emal etmək üçün nəzərdə tutulmuş neyron şəbəkə arxitekturasıdır və bir çox müasir dil modellərinin əsasını təşkil edir. Transformatorlar ardıcıllıqla münasibətləri başa düşməkdə ixtisaslaşır və hər bir sözün digərlərinə nisbətən əhəmiyyətini qiymətləndirmək üçün özünə diqqət mexanizmindən istifadə edirlər.

https://googleads.g.doubleclick.net/pagead/ads?gdpr=0&us_privacy=1—&gpp_sid=-1&client=ca-pub-0536483524803400&output=html&h=280&slotname=2793866484&adk=2520359048&adf=1100001614&pi=t.ma~as.2793866484&w=750&abgtt=6&fwrn=4&fwrnh=0&lmt=1751867327&rafmt=1&armr=3&format=750×280&url=https%3A%2F%2Ftechxplore.com%2Fnews%2F2025-07-position-ai.html&fwr=0&rpe=1&resp_fmts=3&wgl=1&uach=WyJXaW5kb3dzIiwiMTkuMC4wIiwieDg2IiwiIiwiMTM4LjAuNzIwNC45NyIsbnVsbCwwLG51bGwsIjY0IixbWyJOb3QpQTtCcmFuZCIsIjguMC4wLjAiXSxbIkNocm9taXVtIiwiMTM4LjAuNzIwNC45NyJdLFsiR29vZ2xlIENocm9tZSIsIjEzOC4wLjcyMDQuOTciXV0sMF0.&dt=1751867325765&bpp=1&bdt=400&idt=270&shv=r20250630&mjsv=m202507010101&ptt=9&saldr=aa&abxe=1&cookie=ID%3Dfdc40d724f2dca57%3AT%3D1735367325%3ART%3D1751867322%3AS%3DALNI_MYStQ6fUQQQLyo5Z7z1h-XhXcWBtA&gpic=UID%3D00000f80eacffadc%3AT%3D1735367325%3ART%3D1751867322%3AS%3DALNI_MYaOugky0UawScoidzfbXof3-N-iw&eo_id_str=ID%3D878d521b85743f4c%3AT%3D1751526237%3ART%3D1751867322%3AS%3DAA-AfjZCLruwaFzoQORvGPwXS3Y2&prev_fmts=0x0%2C1905x945&nras=2&correlator=8314269775149&frm=20&pv=1&rplot=4&u_tz=240&u_his=1&u_h=1080&u_w=1920&u_ah=1032&u_aw=1920&u_cd=24&u_sd=1&dmc=8&adx=448&ady=1928&biw=1905&bih=945&scr_x=0&scr_y=0&eid=95353386%2C95362655%2C95365225%2C95365235%2C95365107%2C95359266%2C95365120%2C95365797%2C95360684&oid=2&pvsid=1039555806904654&tmod=1918084381&uas=0&nvt=1&ref=https%3A%2F%2Fphys.org%2F&fc=1920&brdim=0%2C0%2C0%2C0%2C1920%2C0%2C1920%2C1032%2C1920%2C945&vis=1&rsz=%7C%7CpeEbr%7C&abl=CS&pfx=0&fu=128&bc=31&bz=1&td=1&tdf=2&psd=W251bGwsbnVsbCxudWxsLDNd&nt=1&ifi=2&uci=a!2&btvi=1&fsb=1&dtd=1584

“Sözlər arasındakı əlaqələri qiymətləndirmək üçün,” Harvard Universitetində doktorluqdan sonrakı tədqiqatçı və tədqiqatın ilk müəllifi Hugo Cui izah edir, “şəbəkə iki strategiyadan istifadə edə bilər, bunlardan biri sözlərin mövqelərindən istifadə etməkdir.” Məsələn, ingilis dili kimi bir dildə mövzu adətən feldən, o da öz növbəsində obyektdən əvvəl olur. “Məryəm alma yeyir” bu ardıcıllığın sadə nümunəsidir.

“Bu, şəbəkə öyrədildikdə kortəbii olaraq ortaya çıxan ilk strategiyadır” deyə Cui izah edir. “Lakin araşdırmamızda müşahidə etdik ki, əgər təlim davam edərsə və şəbəkə kifayət qədər məlumat alırsa, müəyyən bir nöqtədə – həddi keçdikdən sonra – strategiya kəskin şəkildə dəyişir: şəbəkə əvəzinə mənaya güvənməyə başlayır.”

“Biz bu işi tərtib edərkən, sadəcə olaraq, şəbəkələrin hansı strategiyaları və ya strategiyalar qarışığını qəbul edəcəyini öyrənmək istədik. Amma tapdığımız şey bir qədər təəccüblü oldu: müəyyən bir həddən aşağı olan şəbəkə yalnız mövqeyə, ondan yuxarıda isə yalnız mənaya güvənirdi.”

Cui bu dəyişikliyi fizikadan bir konsepsiya götürərək bir faza keçidi kimi təsvir edir. Statistik fizika çoxlu sayda hissəciklərdən (atomlar və ya molekullar kimi) ibarət sistemləri onların kollektiv davranışını statistik olaraq təsvir etməklə öyrənir.

Eynilə, neyron şəbəkələr – bu süni intellekt sistemlərinin əsası – hər biri bir çox digərləri ilə əlaqəli və sadə əməliyyatları yerinə yetirən çoxlu sayda “qovşaqlardan” və ya neyronlardan (insan beyninin analoqu ilə adlandırılmış) ibarətdir. Sistemin kəşfiyyatı bu neyronların qarşılıqlı təsirindən yaranır ki, bu da statistik üsullarla təsvir edilə bilən bir fenomendir.

Buna görə də suyun müəyyən temperatur və təzyiq şəraitində mayedən qaza keçməsinə bənzər bir faza keçidi kimi şəbəkə davranışında kəskin dəyişiklikdən danışa bilərik.

“Strategiya dəyişikliyinin bu şəkildə baş verdiyini nəzəri baxımdan başa düşmək vacibdir” deyə Cui vurğulayır.

“Şəbəkələrimiz insanların gündəlik qarşılıqlı əlaqədə olduğu mürəkkəb modellərlə müqayisədə sadələşdirilmişdir, lakin onlar bizə modelin bu və ya digər strategiyada sabitləşməsinə səbəb olan şərtləri anlamağa başlamaq üçün göstərişlər verə bilər. Ümid edirik ki, bu nəzəri bilik neyron şəbəkələrdən istifadəni daha səmərəli və təhlükəsiz etmək üçün gələcəkdə istifadə oluna bilər.”

Ətraflı məlumat: Nöqtə-məhsul diqqətinin həll edilə bilən modelində Mövqe və Semantik Öyrənmə arasında Faza Keçid, Statistika Mexanikasının Nəzəriyyəsi və Təcrübəsi Jurnalı (2025).SISSA Medialab tərəfindən təmin edilmişdir