Paul Arnold tərəfindən , Phys.org

Gaby Clark tərəfindən redaktə edilmiş , Robert Eqan tərəfindən nəzərdən keçirilmişdir

 Redaktorların qeydləriBizim yanaşmamıza ümumi baxış. Biz K-FAC (b) istifadə edərək çəki matrisi ilə itki əyriliyini təxmini etməyə imkan verən təlim məlumatı nümunəsindən aktivləşdirmələr və qradientlər toplayırıq (a). Bu çəki matrislərini yüksəkdən aşağı əyriliyə doğru sıralanmış komponentlərə (hər biri matrislə eyni ölçüdə) parçalayırıq. Dil modellərində biz göstəririk ki, müxtəlif tapşırıqların verilənləri komponentlər spektrinin hissələri ilə fərqli şəkildə qarşılıqlı əlaqədə olur (c). Kredit: arXiv (2025). DOI: 10.48550/arxiv.2510.24256

ChatGPT kimi böyük süni intellekt modellərinin məlumatları necə öyrəndiyini və yadda saxladığını öyrənən tədqiqatçılar onların yaddaş və düşünmə bacarıqlarının daxili arxitekturasının fərqli hissələrini tutduğunu aşkar ediblər. Onların fikirləri süni intellektin daha təhlükəsiz və etibarlı olmasına kömək edə bilər.

Kütləvi məlumat dəstləri üzərində öyrədilmiş AI modelləri ən azı iki əsas emal xüsusiyyətinə əsaslanır. Birincisi yaddaşdır ki, bu da sistemə məlumatı geri qaytarmağa və oxumağa imkan verir. İkincisi mülahizə yürütmək, ümumiləşdirilmiş prinsipləri və öyrənilmiş nümunələri tətbiq etməklə yeni problemləri həll etməkdir. Ancaq indiyə qədər süni intellektin yaddaşının və ümumi intellektinin eyni yerdə saxlanılıb-saxlanmadığı məlum deyildi.

Beləliklə, Goodfire.ai startapının tədqiqatçıları böyük dil və görmə modellərinin necə işlədiyini başa düşmək üçün onların daxili strukturunu araşdırmaq qərarına gəliblər.

AI-nin beyninin xəritəsi

Birincisi, komanda müxtəlif qabiliyyətlərə cavabdeh olan spesifik emal komponentlərini, xüsusilə aşağı əyrilikli yollarda (dar, xüsusi yaddaş zolaqları) əzbərləməyi və yüksək əyrilikli sahələrdə (geniş, paylaşılan emal komponentləri) çevik əsaslandırmanı müəyyən etmək üçün K-FAC (Kronecker-Faktored Təxminən Əyrilik) adlı riyazi texnikadan istifadə etdi.

Sonra onlar süni intellektin yaddaşla bağlı hissələrini söndürdülər və modeli müxtəlif tapşırıqlar üzrə sınaqdan keçirdilər. Bunlara faktiki suallara cavab vermək və yeni problemlərin həlli daxildir. Bu, onlara yaddaşın söndürüldüyü zaman modellərin hələ də öz mülahizə bacarıqlarından istifadə edə bildiyini göstərməyə imkan verdi ki, bu da iki funksiyanın AI-nin daxili arxitekturasının ayrı-ayrı hissələrini tutduğunu göstərir.

“Bizim əyriliyə əsaslanan budama yanaşmamız nəzarət edilən təlim məlumatlarına ehtiyac olmadan hər iki model ölçüsündə yadda saxlamağı effektiv şəkildə azaldır və görünməmiş yadda saxlanmış məzmuna daha yaxşı ümumiləşdirməyə nail olur”, – tədqiqatçılar arXiv preprint serverində dərc olunmuş məqalələrində yazıblar .

Yaddaşın söndürülməsi prosesi təəccüblü bir dəyişikliyi ortaya qoydu. Ümumi problemin həlli toxunulmaz qalsa da, riyaziyyat üçün istifadə edilən süni intellekt və təcrid olunmuş faktları xatırlamaq bacarıqları ciddi şəkildə təsirləndi. “Arifmetik və qapalı kitab faktlarının axtarışı daha çox aşağı əyrilik istiqamətlərinə əsaslanır və redaktələrdən qeyri-mütənasib şəkildə təsirlənir, halbuki açıq kitab və qeyri-ədəd məntiqi əsaslandırma əsasən qorunur və ya bəzən təkmilləşir” dedi müəlliflər.

AI-ni daha təhlükəsiz etmək

Süni intellektin necə işlədiyini dəqiq bilmək təhlükəsizliyin yaxşılaşdırılması və ictimai etimadın artırılması üçün əsas olacaq. Məlumatları yadda saxlayan AI modelləri ilə bağlı problemlərdən biri onların şəxsi məlumatları və ya müəllif hüququ ilə qorunan mətni sızdıra bilməsidir. Həmçinin, bu əzbərləmə zərərli qərəzlərin və ya zəhərli məzmunun saxlanmasına səbəb ola bilər.

Mühəndislər süni intellektin ümumi intellektinə təsir etmədən əzbərlədiyi faktları və xüsusi yolları dəqiq şəkildə hədəfə alıb aradan qaldıra bilsələr, bu problemlər yüngülləşdirilə bilər . Bu yaddaş yollarını başa düşmək həm də AI modellərini ehtiyac duyduqları şəbəkə sahəsinin miqdarını azaltmaqla daha səmərəli və daha ucuz işlədə bilər.

Müəllifimiz Paul Arnold tərəfindən sizin üçün yazılmış , Gaby Clark tərəfindən redaktə edilmiş və Robert Eqan tərəfindən yoxlanılmış və nəzərdən keçirilmiş bu məqalə diqqətli insan əməyinin nəticəsidir. Müstəqil elmi jurnalistikanı yaşatmaq üçün sizin kimi oxuculara güvənirik. Bu hesabat sizin üçün əhəmiyyət kəsb edirsə, lütfən, ianə (xüsusilə aylıq) nəzərdən keçirin. Siz təşəkkür olaraq reklamsız hesab əldə edəcəksiniz .

Ətraflı məlumat: Jack Merullo et al, Memorization to Reasoning in the Spectrum of Loss curvature, arXiv (2025). DOI: 10.48550/arxiv.2510.24256

Jurnal məlumatı: arXiv 

© 2025 Science X Network