Patricia Delacey, Michigan Universiteti

Gaby Clark tərəfindən redaktə edilmişdir , Andrew Zinin tərəfindən nəzərdən keçirilmişdir

 Redaktorların qeydləriBLOOM-176B təlimində səssiz xəta. Kredit: arXiv (2025). DOI: 10.48550/arxiv.2506.14813

TrainCheck, vaxt və resurslara qənaət edərək, aşağı axın problemlərinə səbəb olmamışdan əvvəl aşkarlanması çətin olan səhvlərin kök səbəbini tapmaq üçün təlim invariantlarından istifadə edir.

Miçiqan Universitetində hazırlanmış yeni açıq mənbəli çərçivə dərin öyrənmə təlimi zamanı baş verən səssiz səhvləri aktiv şəkildə aşkarlayır . Aşkarlanması çətin olan bu problemlər açıq-aşkar məşq uğursuzluqlarına səbəb olmur, lakin qiymətli resurslar və vaxt sərf edərkən modelin performansını sakitcə aşağı salır.

Qiymətləndirmələrdə TrainCheck çərçivəsi real dünyadakı 20 səssiz məşq səhvindən 18-ni yalnız bir iterasiyada müəyyən etdi, halbuki indiki üsullar yalnız ikisini tutdu və məşhur təlim kitabxanalarında əvvəllər məlum olmayan altı səhvi aşkar etdi. Tədqiqatçılar bu yaxınlarda Bostonda USENIX Əməliyyat Sistemlərinin Dizaynı və Tətbiqi üzrə Simpoziumunda (OSDI) təqdim olunan bir araşdırmada TrainCheck-i təqdim etdilər .

“TrainCheck-i inkişaf etdirməklə, biz tərtibatçıları səssiz səhvləri həll etmək üçün daha yaxşı alətlərlə təmin etməyi və nəticədə daha möhkəm AI sistemlərini işə salmağı hədəfləyirik” dedi UM-nin kompüter elmləri və mühəndisliyi üzrə dosenti və tədqiqatın baş müəllifi Rayan Huang.

Dərin öyrənmə zamanı süni neyron şəbəkələri böyük həcmli məlumatlardan istifadə edərək tapşırıqları yerinə yetirməyi öyrənir, istənilən performansa çatmaq üçün parametrləri bir neçə dövr ərzində tənzimləyir. Böyük dil modelləri (LLMs) və kompüter görmə modelləri kimi geniş miqyaslı AI modellərini öyrətmək bahadır, səssiz səhvlər xüsusilə baha başa gəlir, çünki onlar təlimin davam etdirilməsinə imkan verir və bu, optimal olmayan modelə gətirib çıxarır.

Mövcud metodlar dərin öyrənmə təliminə yüksək səviyyəli siqnallarla nəzarət edir, məsələn, itki (modelin proqnozlarının düzgün cavabla nə qədər səhv olduğu), dəqiqlik (düzgün cavabların faizi) və qradient normaları (hər təlim addımı zamanı modelin parametrlərinin nə qədər dəyişdiyinin ölçülməsi).

Bununla belə, bu quş baxışı göstəriciləri səs-küylüdür, məşq zamanı təbii olaraq dəyişir, bu da normal variasiya ilə aktual problem arasında fərq qoymağı çətinləşdirir. Məsələn, HuggingFace-in BLOOM-176B LLM-nin təlimi səssiz xətanı qaçırdı, çünki itki və ya dəqiqlikdə aşkar dəyişikliklərə səbəb olmadı. Səhv, müxtəlif GPU-larda işləyən modelin nüsxələrinin bir-birindən ayrılmasına səbəb oldu, son təlim keçmiş modelləri yararsız hala gətirdi və beləliklə, bahalı hesablamalar üçün aylar sərf etdi.

TrainCheck-in yeni yanaşması təlim boyu sabit olan qaydalar olan təlim invariantlarına əsaslanır. Çərçivə davamlı olaraq təlim invariantlarına nəzarət edir, tərtibatçıları kənarlaşmalar barədə dərhal xəbərdar edir və nəyin səhv olduğunu tapmaqda kömək etmək üçün ətraflı sazlama məlumatı verir. Bu, problemlər aşkarlansa belə, kök səbəbini tapa bilməyən əvvəlki yüksək səviyyəli üsullardan böyük bir addımdır.

“Təlim invariantlarını avtomatik çıxararaq və onlara nəzarət etməklə, TrainCheck səhvlərin sürətli müəyyən edilməsinə və həllinə imkan verir ki, bu da ənənəvi metodlarla müqayisədə əhəmiyyətli irəliləyişdir. O, maşın öyrənmə sistemlərində səhvlərin aşkarlanması üçün yeni standart müəyyən edir “, – UM-da kompüter elmləri və mühəndislik üzrə doktorant və tədqiqatın aparıcı müəllifi Yuxuan Jiang bildirib.

Tədqiqat qrupu, performansı dörd mövcud aşkarlama metodu ilə müqayisə edərkən TrainCheck-i 20 səssiz səhv üzərində sınaqdan keçirdi. Səssiz səhvlərdən altısı əvvəlki araşdırmadan, digər 14-ü isə tərtibatçıların həqiqətən üzləşdiyi problemlərə qarşı çərçivəni sınaqdan keçirmələrini təmin etmək üçün tərtibatçı forumlarında (GitHub, StackOverflow və sosial media ) müzakirə edilən məsələlərdən götürülüb.

TrainCheck 20 səssiz səhvdən 18-ni uğurla aşkar etdi, yüksək səviyyəli siqnal detektorları isə yalnız ikisini aşkarladı. Diaqnostika aşkar etdi ki, TrainCheck-in aşkar etdiyi 18 səhvdən pozuntu hesabatları 10 halın dəqiq əsas səbəbini tapıb, digər səkkizində isə kökə yaxın lokallaşdırılıb. Bunun əksinə olaraq, yüksək səviyyəli detektorlar yalnız bir səhv üçün diaqnostik göstərişlər verə bilərdi.

“TrainCheck-in prinsipial invariant əsaslı yanaşmasından istifadə edərək real dünya problemlərinin həllində nə qədər yaxşı çıxış etdiyi bizi heyran etdi” dedi Huang.

Saxta səhvləri qiymətləndirərkən, TrainCheck tərtibatçıları saxta səhvlər barədə xəbərdar etdi, lakin aşağı sürətlə. Yanlış həyəcan siqnalları baş versə də , onları işdən çıxarmağı nisbətən asanlaşdıran tanınan nümunələrə əməl etdilər.

Güclü nəticələr göstərir ki, TrainCheck müxtəlif maşın öyrənmə çərçivələrinə inteqrasiya oluna bilər və tərtibatçılara səhvlərdən qorunmaq üçün proaktiv alət təqdim edir. Səssiz səhvlərin erkən aşkarlanmasını təklif etməklə, israf edilmiş resursları minimuma endirir və modelin dəqiqliyini və möhkəmliyini artırır.

Gələcək uyğunlaşmalar tərtibatçılara əlavə sazlama yardımı təmin etmək üçün TrainCheck-i təkmilləşdirə və davamlı təsdiqləmə yanaşmasını paylanmış sistemlər kimi digər hesablama sahələrində genişləndirə bilər, səssiz xətaların ümumi olduğu yerlərdə davamlılığı və performansı artırır.

Ətraflı məlumat: Yuxuan Jiang və digərləri, Etibarlı Təlim: Avtomatlaşdırılmış Proaktiv Yoxlamalarla Dərin Öyrənmə Təlimində Səssiz Səhvləri Tutmaq, arXiv (2025). DOI: 10.48550/arxiv.2506.14813

GitHub: github.com/OrderLab/TrainCheck

Jurnal məlumatı: arXiv Michigan Universiteti tərəfindən təmin edilmişdir