Yale Universiteti, Dartmut Kolleci və Kembric Universitetinin tədqiqatçıları funksional maqnit rezonans görüntüləmə (fMRI) siqnallarının mətndə deşifrə edilməsi üçün subyekt-aqnostik model olan MindLLM-ni işləyib hazırlayıblar.

Neyroelmdən məlumatlı diqqət mexanizmini böyük dil modeli (LLM) ilə inteqrasiya edən model, UMBRAE, BrainraChat kimi əvvəlki modellərlə müqayisədə aşağı axın tapşırıqlarında 12,0% təkmilləşdirmə, görünməyən mövzuların ümumiləşdirilməsində 16,4% artım və yeni tapşırıq uyğunlaşmasında 25,0% artımla mövcud yanaşmaları üstələyir.

Beyin fəaliyyətinin təbii dilə çevrilməsi nevrologiya və beyin-kompüter interfeysi tətbiqləri üçün əhəmiyyətli təsirlərə malikdir. Əvvəlki cəhdlər proqnozlaşdırılan performans, məhdud tapşırıq müxtəlifliyi və fənlər arasında zəif ümumiləşdirmə ilə bağlı çətinliklərlə üzləşib. Mövcud yanaşmalar çox vaxt fərdlər arasında ümumiləşdirmə imkanlarını məhdudlaşdıran mövzuya xüsusi parametrlər tələb edir.

Çap öncəsi server arXiv- də dərc edilən “MindLLM: fMRI-to-Text Decoding üçün Mövzu-Aqnostik və Çox Yönlü Model” adlı araşdırmada MindLLM səkkiz şəxsin məlumatlarına əsaslanan hərtərəfli fMRI-mətn meyarlarından istifadə edilməklə qiymətləndirilmişdir (NSD-Natural Scenes standart verilənlər bazası fM-də geniş istifadə olunan tədqiqat).

MindLLM dizaynı fMRI kodlayıcısından və böyük dil modelindən ibarətdir .

Birincisi, fMRI skanları beyni voksellər adlanan kiçik 3D vahidlərə (3D piksellər kimi) bölür. Fərqli insanlar standart beyin atlasına uyğunlaşdırıldıqda heç vaxt uyğun gəlməyən fərqli beyin strukturlarına malikdirlər. Aktiv voksellərin sayı və düzülüşü dəyişə bildiyindən (tədqiqatda iştirak edən fərdlər üzrə 12,682 ilə 17,907 arasında), hər bir mövzu üçün fərqli giriş ölçüləri tələb olunur.

Beyin funksiyaları fərdlər arasında ardıcıl olaraq qaldığından, voksel paylamaları fərqli olsa belə, fMRI kodlayıcısı daxilində nevrologiya ilə bağlı məlumatlı fəaliyyət xəritələşdirilməsi (dəyişdirilmiş diqqət mexanizmindən istifadə etməklə) sistemə subyektlər arasında bu dəyişən giriş formalarını yerləşdirməyə imkan verir.

Vokselin funksional məlumatını onun xam fMRI dəyərindən ayırmaqla, model neyroelm tədqiqatından əvvəl mövcud olan biliklərdən istifadə edir və fərdlər arasında ardıcıllığı artırır.

Brain Instruction Tuning (BIT) sistemin fMRI siqnallarından müxtəlif semantik təsvirləri çıxarmaq qabiliyyətini daha da artırır. BIT eyni şəkillərə baxan bir çox insanın fMRI qeydlərini ehtiva edən geniş miqyaslı fMRI məlumat dəstlərindən istifadə edən təlimat tənzimləmə yanaşmasıdır. Bu çox mövzulu fMRI məlumatları və əlaqəli mətn annotasiyaları modelin semantik anlayışını gücləndirir.

Hərtərəfli fMRI-to-mətn meyarları modelin performansını qiymətləndirərək, beyin yazıları, suallara cavablar və əsaslandırma tapşırıqlarında üstün nəticələr nümayiş etdirdi.

MindLLM yeni mövzulara daha yaxşı uyğunlaşır, əvvəlki mövzu-aqnostik modellərə nisbətən performansı 16,4% artırır. O, yeni tapşırıqlara 25% daha uyğunlaşa bilir və müxtəlif problemləri effektiv şəkildə həll etməyə imkan verir.

Modelin diqqət nümunələri xüsusi beyin bölgələri ilə qavrayış və düşünmə kimi idrak funksiyaları arasında əlaqəni göstərir.

Bir çox əvvəlki modellər yalnız vizual stimullarla əlaqəli fMRI siqnallarından başlıqların yaradılmasına diqqət yetirir. MindLLM bilik axtarışını, simvolik dilin işlənməsini və mürəkkəb əsaslandırmanı dəstəkləyən verilənlər toplusunu inteqrasiya etməklə bu məhdudiyyətləri üstələyir.

Əvvəllər görülmüş şəkillərin təsvirlərini əldə etmək kimi yaddaşa əsaslanan tapşırıqların daxil edilməsi modelin koqnitiv nevrologiyaya tətbiqini gücləndirir. Açıq sual-cavab imkanları mümkün tətbiqlərin çeşidini daha da genişləndirərək həm tibbi, həm də tədqiqat parametrlərindən faydalanır.

Müəyyən edilmiş neyroelmi atlaslar, o cümlədən Glasser və Rolls tərəfindən, modelə voksel mövqeləri və fəaliyyət dəyərləri arasında fərq qoymağa kömək edən funksional prioritetləri təmin edir. Bu standartlaşdırılmış xəritələşdirmələri birləşdirərək, model həm mövzu ümumiləşdirməsini, həm də neyroelmi bütövlüyünü qoruyur.

Cari tətbiqlər statik fMRI anlık görüntülərini emal edir, sistemin zamanla düşüncə irəliləyişini ələ keçirmək qabiliyyətini məhdudlaşdırır. Gələcək irəliləyişlər, beyin fəaliyyəti nümunələrinin necə inkişaf etdiyini təhlil etmək üçün təkrarlanan arxitekturalar və ya ardıcıl diqqət mexanizmləri kimi müvəqqəti modelləşdirmə üsullarının daxil edilməsini əhatə edə bilər.

MindLLM, beyin fəaliyyətinin semantik məlumatlara necə çevrildiyinə dair şərh edilə bilən anlayışlar təqdim edir, onun neyroelmi tədqiqat üçün bir vasitə kimi rolunu gücləndirir. Real vaxt rejimində fMRI deşifrəsinin genişləndirilməsi neyroprotezlər, psixi vəziyyətin izlənilməsi və beyin-kompüter interfeysləri üçün yeni imkanlar aça bilər.

Daha çox məlumat: Weikang Qiu et al, MindLLM: fMRI-to-Text Decoding üçün Mövzu-Aqnostik və Çox Yönlü Model, arXiv (2025). DOI: 10.48550/arxiv.2502.15786

Jurnal məlumatı: arXiv 

© 2025 Science X Network