Mürəkkəb interaktiv sistemlərin əlaqələndirilməsi, istər şəhərdə müxtəlif nəqliyyat növləri, istərsə də effektiv və səmərəli robot yaratmaq üçün birlikdə işləməli olan müxtəlif komponentlər, proqram tərtibatçılarının həll etməli olduğu getdikcə daha vacib bir mövzudur. İndi MIT tədqiqatçıları dərin öyrənmə modellərində proqram təminatının optimallaşdırılmasına daha yaxşı yanaşmaları aşkar etmək üçün sadə diaqramlardan istifadə edərək, bu mürəkkəb problemlərə yanaşmanın tamamilə yeni bir yolunu inkişaf etdirdilər.

Onlar deyirlər ki, yeni üsul bu mürəkkəb tapşırıqların həllini o qədər sadə edir ki, onu salfetin arxasına sığacaq bir rəsmə çevirmək olar.

Yeni yanaşma , Transactions of Machine Learning Research jurnalında , gələn doktorant Vincent Abbott və MİT-in İnformasiya və Qərar Sistemləri Laboratoriyasının (LIDS) professoru Gioele Zardini tərəfindən hazırlanmış məqalədə təsvir edilmişdir .

Zardini deyir: “Biz bu yeni sistemlər haqqında danışmaq üçün yeni dil yaratdıq”. O izah edir ki, bu yeni diaqrama əsaslanan “dil” kateqoriya nəzəriyyəsi deyilən bir şeyə əsaslanır.

Bütün bunlar kompüter alqoritmlərinin əsas arxitekturasının layihələndirilməsi ilə əlaqədardır – bu proqramlar, əslində sistemin optimallaşdırılan müxtəlif hissələrini hiss etmək və idarə etməkdir.

“Konponentlər alqoritmin müxtəlif hissələridir və onlar bir-biri ilə danışmalı, məlumat mübadiləsi aparmalı, eyni zamanda enerji istifadəsini, yaddaş sərfiyyatını və s. hesab etməlidirlər”, – Zardini davam edir.

Bu cür optimallaşdırmalar olduqca çətindir, çünki sistemin bir hissəsindəki hər dəyişiklik öz növbəsində digər hissələrdə dəyişikliklərə səbəb ola bilər ki, bu da digər hissələrə əlavə təsir göstərə bilər və s.

Tədqiqatçılar hazırda tədqiqatın ən aktual mövzusu olan dərin öyrənmə alqoritmlərinin xüsusi sinfinə diqqət yetirmək qərarına gəliblər . Dərin öyrənmə böyük süni intellekt modellərinin, o cümlədən ChatGPT kimi böyük dil modellərinin və Midjourney kimi görüntü yaratma modellərinin əsasını təşkil edir. Bu modellər digər əməliyyatlarla kəsişən matris çarpmalarının “dərin” seriyası ilə məlumatları manipulyasiya edir.

https://googleads.g.doubleclick.net/pagead/ads?client=ca-pub-0536483524803400&output=html&h=280&slotname=2793866484&adk=2520359048&adf=746485419&pi=t.ma~as.2793866484&w=750&abgtt=6&fwrn=4&fwrnh=0&lmt=1745569007&rafmt=1&armr=3&format=750×280&url=https%3A%2F%2Ftechxplore.com%2Fnews%2F2025-04-diagram-based-language-optimization-complex.html&fwr=0&rpe=1&resp_fmts=3&wgl=1&uach=WyJXaW5kb3dzIiwiMTkuMC4wIiwieDg2IiwiIiwiMTM1LjAuNzA0OS4xMTUiLG51bGwsMCxudWxsLCI2NCIsW1siR29vZ2xlIENocm9tZSIsIjEzNS4wLjcwNDkuMTE1Il0sWyJOb3QtQS5CcmFuZCIsIjguMC4wLjAiXSxbIkNocm9taXVtIiwiMTM1LjAuNzA0OS4xMTUiXV0sMF0.&dt=1745569007787&bpp=1&bdt=95&idt=56&shv=r20250423&mjsv=m202504210101&ptt=9&saldr=aa&abxe=1&cookie=ID%3Dfdc40d724f2dca57%3AT%3D1735367325%3ART%3D1745568794%3AS%3DALNI_MYStQ6fUQQQLyo5Z7z1h-XhXcWBtA&gpic=UID%3D00000f80eacffadc%3AT%3D1735367325%3ART%3D1745568794%3AS%3DALNI_MYaOugky0UawScoidzfbXof3-N-iw&eo_id_str=ID%3De43bb863646b60b8%3AT%3D1735367325%3ART%3D1745568794%3AS%3DAA-AfjbQoPwZqH28q9IwcCLRSzzg&prev_fmts=0x0&nras=1&correlator=5092069003410&frm=20&pv=1&rplot=4&u_tz=240&u_his=1&u_h=1080&u_w=1920&u_ah=1032&u_aw=1920&u_cd=24&u_sd=1&dmc=8&adx=448&ady=1872&biw=1905&bih=945&scr_x=0&scr_y=0&eid=31091983%2C42532524%2C95354562%2C42533293%2C95344790%2C95357877%2C95359115%2C95356661%2C95356809&oid=2&pvsid=4787992496511665&tmod=1709708043&uas=0&nvt=1&ref=https%3A%2F%2Fphys.org%2F&fc=1920&brdim=0%2C0%2C0%2C0%2C1920%2C0%2C1920%2C1032%2C1920%2C945&vis=1&rsz=%7C%7CpeEbr%7C&abl=CS&pfx=0&fu=128&bc=31&bz=1&td=1&tdf=2&psd=W251bGwsbnVsbCxudWxsLDNd&nt=1&ifi=2&uci=a!2&btvi=1&fsb=1&dtd=61

Matrislər daxilindəki nömrələr parametrlərdir və uzun təlimlər zamanı yenilənir və mürəkkəb nümunələri tapmağa imkan verir. Modellər milyardlarla parametrdən ibarətdir ki, bu da hesablamanı bahalı edir və beləliklə, təkmilləşdirilmiş resurs istifadəsini və optimallaşdırılmasını əvəzolunmaz edir.

Diaqramlar, NVIDIA kimi şirkətlər tərəfindən təmin edilən alqoritmlər və işlədikləri paralelləşdirilmiş qrafik emal vahidi (GPU) avadanlığı arasındakı əlaqələri aşkar edərək, dərin öyrənmə modellərinin ibarət olduğu paralelləşdirilmiş əməliyyatların təfərrüatlarını əks etdirə bilər.

“Mən bu barədə çox həyəcanlıyam,” Zardini deyir, çünki “görünür, biz dərin öyrənmə alqoritmlərini çox gözəl təsvir edən, istifadə etdiyiniz operatorlar olan bütün vacib şeyləri, məsələn, enerji sərfiyyatı, yaddaş bölgüsü və optimallaşdırmağa çalışdığınız hər hansı digər parametrləri açıq şəkildə ifadə edən bir dil tapdıq”.

Dərin öyrənmə sahəsində irəliləyişlərin çoxu resurs səmərəliliyinin optimallaşdırılmasından qaynaqlanır. Ən son DeepSeek modeli göstərdi ki, kiçik bir komanda resurs səmərəliliyinə və proqram təminatı və aparat arasındakı əlaqəyə diqqət yetirərək OpenAI və digər əsas laboratoriyaların top modelləri ilə rəqabət apara bilər. Tipik olaraq, bu optimallaşdırmaları əldə edərkən, o deyir ki, “insanların yeni arxitekturaları kəşf etmək üçün çoxlu sınaq və səhvlərə ehtiyacı var”.

Məsələn, FlashAttention adlı geniş istifadə olunan optimallaşdırma proqramının hazırlanması dörd ildən çox vaxt aparıb. Lakin onların hazırladıqları yeni çərçivə ilə “biz həqiqətən də bu problemə daha formal şəkildə yanaşa bilərik”. Bütün bunlar vizual olaraq dəqiq müəyyən edilmiş qrafik dildə təqdim olunur.

Lakin bu təkmilləşdirmələri tapmaq üçün istifadə edilən üsullar “çox məhduddur” deyir. “Düşünürəm ki, bu, böyük bir boşluq olduğunu göstərir, çünki bizdə alqoritmin optimal icrası ilə əlaqələndirilməsinin formal sistematik metodu yoxdur və ya hətta işləmək üçün nə qədər resurs lazım olduğunu başa düşmürük.” Amma indi onların hazırladıqları yeni diaqrama əsaslanan üsulla belə bir sistem mövcuddur.

Bu yanaşmanın əsasını təşkil edən kateqoriya nəzəriyyəsi sistemin müxtəlif komponentlərini və onların ümumiləşdirilmiş, mücərrəd şəkildə qarşılıqlı əlaqəsini riyazi şəkildə təsvir etmək üsuludur. Fərqli perspektivlər əlaqələndirilə bilər. Məsələn, riyazi düsturlar onları həyata keçirən və resurslardan istifadə edən alqoritmlərlə, yaxud sistemlərin təsvirləri möhkəm “monoidal sətir diaqramları” ilə əlaqəli ola bilər.

Bu vizualizasiyalar sizə birbaşa oynamağa və müxtəlif hissələrin necə birləşdiyini və qarşılıqlı əlaqədə olduğunu sınamağa imkan verir. Onların hazırladıqları, Zardini deyir ki, daha çox qrafik konvensiyaları və daha çox xüsusiyyətləri özündə birləşdirən “steroidlər üzərində sim diaqramları” deməkdir.

“Kateqoriya nəzəriyyəsi abstraksiya və kompozisiya riyaziyyatı kimi düşünülə bilər” deyir Abbott. “Hər hansı bir kompozisiya sistemi kateqoriya nəzəriyyəsindən istifadə edərək təsvir edilə bilər və sonra kompozisiya sistemləri arasındakı əlaqə də öyrənilə bilər.”

O deyir ki, adətən funksiyalarla əlaqəli olan cəbri qaydalar diaqramlar kimi də göstərilə bilər. “Sonra, diaqramlarla edə biləcəyimiz bir çox vizual fəndləri cəbri fəndlərə və funksiyalara aid edə bilərik. Beləliklə, bu müxtəlif sistemlər arasında bu uyğunluğu yaradır.”

https://googleads.g.doubleclick.net/pagead/ads?client=ca-pub-0536483524803400&output=html&h=280&slotname=2793866484&adk=2520359048&adf=3042148327&pi=t.ma~as.2793866484&w=750&abgtt=6&fwrn=4&fwrnh=0&lmt=1745569007&rafmt=1&armr=3&format=750×280&url=https%3A%2F%2Ftechxplore.com%2Fnews%2F2025-04-diagram-based-language-optimization-complex.html&fwr=0&rpe=1&resp_fmts=3&wgl=1&uach=WyJXaW5kb3dzIiwiMTkuMC4wIiwieDg2IiwiIiwiMTM1LjAuNzA0OS4xMTUiLG51bGwsMCxudWxsLCI2NCIsW1siR29vZ2xlIENocm9tZSIsIjEzNS4wLjcwNDkuMTE1Il0sWyJOb3QtQS5CcmFuZCIsIjguMC4wLjAiXSxbIkNocm9taXVtIiwiMTM1LjAuNzA0OS4xMTUiXV0sMF0.&dt=1745569007788&bpp=1&bdt=96&idt=127&shv=r20250423&mjsv=m202504210101&ptt=9&saldr=aa&abxe=1&cookie=ID%3Dfdc40d724f2dca57%3AT%3D1735367325%3ART%3D1745568794%3AS%3DALNI_MYStQ6fUQQQLyo5Z7z1h-XhXcWBtA&gpic=UID%3D00000f80eacffadc%3AT%3D1735367325%3ART%3D1745568794%3AS%3DALNI_MYaOugky0UawScoidzfbXof3-N-iw&eo_id_str=ID%3De43bb863646b60b8%3AT%3D1735367325%3ART%3D1745568794%3AS%3DAA-AfjbQoPwZqH28q9IwcCLRSzzg&prev_fmts=0x0%2C750x280&nras=1&correlator=5092069003410&frm=20&pv=1&rplot=4&u_tz=240&u_his=1&u_h=1080&u_w=1920&u_ah=1032&u_aw=1920&u_cd=24&u_sd=1&dmc=8&adx=448&ady=3439&biw=1905&bih=945&scr_x=0&scr_y=0&eid=31091983%2C42532524%2C95354562%2C42533293%2C95344790%2C95357877%2C95359115%2C95356661%2C95356809&oid=2&pvsid=4787992496511665&tmod=1709708043&uas=0&nvt=1&ref=https%3A%2F%2Fphys.org%2F&fc=1920&brdim=0%2C0%2C0%2C0%2C1920%2C0%2C1920%2C1032%2C1920%2C945&vis=1&rsz=%7C%7CpeEbr%7C&abl=CS&pfx=0&fu=128&bc=31&bz=1&td=1&tdf=2&psd=W251bGwsbnVsbCxudWxsLDNd&nt=1&ifi=3&uci=a!3&btvi=2&fsb=1&dtd=132

Nəticədə, o deyir ki, “bu, çox vacib bir problemi həll edir, yəni bizdə bu dərin öyrənmə alqoritmləri var, lakin onlar riyazi modellər kimi aydın şəkildə başa düşülmür”. Amma onları diaqram kimi təqdim etməklə onlara formal və sistemli yanaşmaq mümkün olur, deyir.

Bunun imkan verdiyi şeylərdən biri, çoxnüvəli kompüter GPU-larında paralel real proseslərin paralel emal yolu ilə necə təmsil oluna biləcəyinin aydın vizual başa düşülməsidir.

“Beləliklə,” Abbott deyir, “diaqramlar həm funksiyanı təmsil edə bilər, həm də onu GPU-da optimal şəkildə necə yerinə yetirəcəyini ortaya qoya bilər.”

“Diqqət” alqoritmi ümumi, kontekstual məlumat tələb edən dərin öyrənmə alqoritmləri tərəfindən istifadə olunur və ChatGPT kimi böyük dil modellərini təşkil edən seriallaşdırılmış blokların əsas mərhələsidir. FlashAttention, inkişafı illərlə davam edən, lakin diqqət alqoritmlərinin sürətinin altı dəfə yaxşılaşması ilə nəticələnən optimallaşdırmadır.

Onların metodunu yaxşı qurulmuş FlashAttention alqoritminə tətbiq edərək, Zardini deyir ki, “burada biz onu hərfi mənada salfetdə əldə edə bilərik”. Sonra əlavə edir: “Yaxşı, bəlkə bu, böyük salfetdir”. Lakin onların yeni yanaşmasının bu mürəkkəb alqoritmlərlə işləməyi nə qədər asanlaşdıra biləcəyini başa düşmək üçün onlar öz rəsmi tədqiqat məqalələrini “Salfetdə FlashDiqqət” adlandırdılar.

Abbott deyir ki, bu üsul, “müvafiq metodlardan fərqli olaraq, optimallaşdırmanı həqiqətən tez əldə etməyə imkan verir”.

Onlar ilkin olaraq bu yanaşmanı artıq mövcud FlashAttention alqoritminə tətbiq etsələr də, onun effektivliyini təsdiqləsələr də, “biz indi təkmilləşdirmələrin aşkarlanmasını avtomatlaşdırmaq üçün bu dildən istifadə edəcəyimizə ümid edirik” deyir Zardini, LIDS-də baş müstəntiq olmaqla yanaşı, Rudge və Nancy Allen, Mülki Mühəndislik və Fakültələr İnstitutunun köməkçi professoru. Məlumat, Sistemlər və Cəmiyyət üçün.

Plan ondan ibarətdir ki, son nəticədə, o deyir ki, proqram təminatını elə inkişaf etdirəcəklər ki, “tədqiqatçı öz kodunu yükləyir və yeni alqoritmlə siz avtomatik olaraq nəyin yaxşılaşdırıla biləcəyini, nəyin optimallaşdırıla biləcəyini aşkar edirsiniz və siz alqoritmin optimallaşdırılmış versiyasını istifadəçiyə qaytarırsınız”.

Alqoritmlərin optimallaşdırılmasının avtomatlaşdırılması ilə yanaşı, Zardini qeyd edir ki, dərin öyrənmə alqoritmlərinin aparat resurslarından istifadə ilə necə əlaqəli olduğuna dair güclü təhlil aparat və proqram təminatının sistematik birgə dizaynına imkan verir. Bu iş xətti Zardininin eyni vaxtda mühəndis sistemlərinin müxtəlif komponentlərini optimallaşdırmaq üçün kateqoriya nəzəriyyəsi alətlərindən istifadə edən kateqoriyalı birgə dizayna diqqəti ilə inteqrasiya edir.

Abbott deyir ki, “optimallaşdırılmış dərin öyrənmə modellərinin bütün sahəsi, məncə, kifayət qədər tənqidi şəkildə həll edilməmişdir və buna görə də bu diaqramlar çox həyəcanlıdır. Onlar bu problemə sistemli yanaşmanın qapılarını açır.”

Answers.ai-nin təsisçisi və baş direktoru Ceremi Hovard, bu işlə əlaqəli olmayan, “Bu tədqiqatın keyfiyyətindən çox təsirləndim. … Bu məqalədə istifadə olunan dərin öyrənmə alqoritmlərinin diaqramlaşdırılmasına yeni yanaşma çox əhəmiyyətli bir addım ola bilər” deyir. “Bu yazıda mən ilk dəfədir ki, real dünya aparatında dərin öyrənmə alqoritminin performansını dərindən təhlil etmək üçün istifadə edilən belə notasiya ilə rastlaşıram… Növbəti addım real dünya performansının əldə edilib-edilmədiyini görmək olacaq.”

Google DeepMind-ın baş tədqiqatçısı və Kembric Universitetinin müəllimi Petar Velickovic deyir ki, bu işlə heç bir əlaqəsi olmayan, “Bu, həm də təcrübəsiz oxucular üçün yüksək əlçatanlığı nəzərdə tutan gözəl tərtib edilmiş nəzəri tədqiqat parçasıdır – bu cür məqalələrdə nadir hallarda rast gəlinən xüsusiyyət”. Bu tədqiqatçılar, o deyir ki, “açıqca əla ünsiyyətçilərdir və mən onların bundan sonra nə tapacaqlarını görmək üçün səbirsizlənirəm”.

İnternetdə yerləşdirilən yeni diaqram əsaslı dil artıq proqram tərtibatçılarının böyük diqqətini və marağına səbəb olub. Abbottun diaqramları təqdim edən əvvəlki məqaləsindən bir rəyçi qeyd etdi: “Təklif olunan neyron dövrə diaqramları bədii nöqteyi-nəzərdən əla görünür (bunu mühakimə edə bildiyim qədər).”

Zardini deyir: “Bu, texniki araşdırmadır, lakin eyni zamanda parlaqdır”.

Daha çox məlumat: Vincent Abbott et al, FlashAttention on a Salfet: Dərin Öyrənmə IO-Awareness üçün Diaqrammatik Bir Yanaşma (2025)

Massaçusets Texnologiya İnstitutu