Süni intellekt modelləri getdikcə daha çox yayıldıqca və səhiyyə, maliyyə, təhsil, nəqliyyat və əyləncə kimi müxtəlif sektorlara inteqrasiya olunduqca, onların başlıq altında necə işlədiyini anlamaq çox vacibdir. Süni intellekt modellərinin əsasını təşkil edən mexanizmləri şərh etmək bizə onları təhlükəsizlik və qərəzlilik baxımından yoxlamağa imkan verir ki, bu da kəşfiyyatın özünün arxasında duran elm haqqında anlayışımızı dərinləşdirmək potensialına malikdir.

Təsəvvür edin ki, biz insan beyninin hər bir fərdi neyronunu müəyyən bir obyektin qavranılmasındakı rollarını araşdırmaq üçün manipulyasiya etməklə birbaşa tədqiq edə bilərik. Belə bir təcrübə insan beyninə son dərəcə invaziv olsa da, başqa bir növ neyron şəbəkəsində daha məqsədəuyğundur: süni olan. Bununla belə, bir qədər insan beyninə bənzəyən, milyonlarla neyrondan ibarət süni modellər əl ilə tədqiq etmək üçün çox böyük və mürəkkəbdir və bu, miqyasda şərh oluna bilməyi çox çətin bir vəzifəyə çevirir.

Bunu həll etmək üçün MIT Kompüter Elmləri və Süni İntellekt Laboratoriyasının (CSAIL) tədqiqatçıları şəkillərin müxtəlif xüsusiyyətlərini qiymətləndirən süni görmə modellərini şərh etmək üçün avtomatlaşdırılmış yanaşma tətbiq etmək qərarına gəliblər. Onlar digər süni intellekt sistemlərində təcrübə aparmaq üçün alətlərlə təchiz edilmiş görmə dili modeli magistralından istifadə edərək müxtəlif neyron şəbəkələrinin şərh edilə bilməsi tapşırıqlarını avtomatlaşdıran sistem olan “MAIA” (Multimodal Automated Interpretability Agent) hazırlayıblar.

Tədqiqat arXiv preprint serverində dərc olunub .

“Məqsədimiz şərh edilə bilən təcrübələri avtonom şəkildə apara bilən AI tədqiqatçısı yaratmaqdır. Mövcud avtomatlaşdırılmış şərh üsulları sadəcə bir atış prosesində məlumatları etiketləyir və ya vizuallaşdırır. Digər tərəfdən MAIA hipotezlər yarada, onları sınaqdan keçirmək üçün eksperimentlər tərtib edə və dəqiqləşdirə bilər. onun iterativ analiz vasitəsilə başa düşülməsi,” Tamar Rott Shaham, CSAIL-də MIT-nin elektrik mühəndisliyi və kompüter elmləri (EECS) postdoktu və tədqiqat haqqında yeni məqalənin həmmüəllifi deyir.

“Əvvəlcədən öyrədilmiş görmə dili modelini şərh edilə bilən alətlər kitabxanası ilə birləşdirərək, bizim multimodal metodumuz hərtərəfli cavab verənə qədər öz yanaşmasını davamlı olaraq təkmilləşdirərək, konkret modellər üzərində məqsədyönlü eksperimentlər tərtib edib həyata keçirməklə istifadəçi sorğularına cavab verə bilər.”

Avtomatlaşdırılmış agent üç əsas vəzifənin öhdəsindən gəlmək üçün nümayiş etdirilir: O, görmə modelləri daxilində fərdi komponentləri etiketləyir və onları aktivləşdirən vizual konsepsiyaları təsvir edir, yeni vəziyyətlərə daha davamlı olmaq üçün aidiyyəti olmayan xüsusiyyətləri aradan qaldıraraq təsvir təsnifatını təmizləyir və gizli axtarışlar aparır. Nəticələrində potensial ədalətlilik problemlərini aşkar etməyə kömək etmək üçün AI sistemlərindəki qərəzlər.

“Lakin MAIA kimi sistemin əsas üstünlüyü onun çevikliyidir” dedi, CSAIL-də tədqiqatçı alim və tədqiqatın həmrəhbəri, Ph.D. Sarah Schwettmann. “Biz MAIA-nın faydalılığını bir neçə xüsusi tapşırıqda nümayiş etdirdik , lakin sistemin geniş düşünmə imkanlarına malik təməl modeldən qurulduğunu nəzərə alsaq, o, istifadəçilərdən gələn bir çox müxtəlif növ şərh suallarına cavab verə bilər və onları araşdırmaq üçün eksperimentlər tərtib edə bilər.”

https://googleads.g.doubleclick.net/pagead/ads?gdpr=0&us_privacy=1—&gpp_sid=-1&client=ca-pub-0536483524803400&output=html&h=135&slotname=2793866484&adk=675901022&adf=1873531024&pi=t.ma~as.2793866484&w=540&abgtt=6&fwrn=4&lmt=1721854572&rafmt=11&format=540×135&url=https%3A%2F%2Ftechxplore.com%2Fnews%2F2024-07-multimodal-agent-iteratively-components-ai.html&wgl=1&uach=WyJXaW5kb3dzIiwiMTAuMC4wIiwieDg2IiwiIiwiMTI2LjAuNjQ3OC4xODMiLG51bGwsMCxudWxsLCI2NCIsW1siTm90L0EpQnJhbmQiLCI4LjAuMC4wIl0sWyJDaHJvbWl1bSIsIjEyNi4wLjY0NzguMTgzIl0sWyJHb29nbGUgQ2hyb21lIiwiMTI2LjAuNjQ3OC4xODMiXV0sMF0.&dt=1721854456194&bpp=2&bdt=332&idt=885&shv=r20240722&mjsv=m202407180101&ptt=9&saldr=aa&abxe=1&cookie=ID%3D9ead181ef67abbaa%3AT%3D1721801884%3ART%3D1721854444%3AS%3DALNI_MYoq0akGsLUXhAUIhnaG6TQeS4STg&eo_id_str=ID%3Db268401c0e4aeef7%3AT%3D1721801884%3ART%3D1721854444%3AS%3DAA-AfjYSUg2K_FFfwOkLTloH9McJ&prev_fmts=0x0%2C1423x739&nras=2&correlator=1028858831906&frm=20&pv=1&ga_vid=1057348607.1721801883&ga_sid=1721854457&ga_hid=1303504856&ga_fc=1&rplot=4&u_tz=240&u_his=2&u_h=900&u_w=1440&u_ah=860&u_aw=1440&u_cd=24&u_sd=1&dmc=8&adx=347&ady=2377&biw=1423&bih=739&scr_x=0&scr_y=0&eid=44759876%2C44759927%2C44759837%2C95331689%2C95331832%2C95334527%2C95334830%2C95337869%2C95338227%2C95338253%2C31078663%2C31078665%2C31078668%2C31078670&oid=2&pvsid=4470508529744400&tmod=153846045&uas=0&nvt=2&ref=https%3A%2F%2Fphys.org%2F&fc=1920&brdim=0%2C0%2C0%2C0%2C1440%2C0%2C1440%2C860%2C1440%2C739&vis=1&rsz=%7C%7CpeEbr%7C&abl=CS&pfx=0&fu=128&bc=31&bz=1&td=1&tdf=0&psd=W251bGwsbnVsbCwibGFiZWxfb25seV80IiwxXQ..&nt=1&ifi=2&uci=a!2&btvi=1&fsb=1&dtd=M

Neyron tərəfindən neyron

Tapşırığın bir nümunəsində, bir insan istifadəçi MAIA-dan görmə modelindəki xüsusi bir neyronun aşkar etmək üçün məsul olduğu anlayışları təsvir etməyi xahiş edir. Bu sualı araşdırmaq üçün MAIA əvvəlcə neyronu maksimum aktivləşdirən ImageNet verilənlər bazasından “məlumat toplusu nümunələri” əldə edən alətdən istifadə edir. Bu misal neyron üçün həmin şəkillər rəsmi geyimdə olan insanları, çənə və boyunlarının yaxın görünüşlərini göstərir. MAIA neyronun fəaliyyətinə səbəb olan şeylər üçün müxtəlif fərziyyələr irəli sürür: üz ifadələri, çənələr və ya qalstuklar. MAIA daha sonra sintetik şəkillər yaradaraq və redaktə etməklə hər bir fərziyyəni ayrı-ayrılıqda yoxlamaq üçün eksperimentlər tərtib etmək üçün alətlərindən istifadə edir – bir təcrübədə insan üzünün şəklinə papyon əlavə etmək neyronun reaksiyasını artırır.

Rott Shaham deyir: “Bu yanaşma bizə neyronların fəaliyyətinin konkret səbəbini müəyyən etməyə imkan verir, eynilə əsl elmi təcrübə kimi.

MAIA-nın neyron davranışlarına dair izahatları iki əsas yolla qiymətləndirilir. Birincisi, MAIA-nın şərhlərinin düzgünlüyünü qiymətləndirmək üçün məlum əsaslı həqiqət davranışları olan sintetik sistemlərdən istifadə olunur. İkincisi, öyrədilmiş süni intellekt sistemlərində heç bir yer-həqiqət təsviri olmayan “real” neyronlar üçün müəlliflər MAIA-nın təsvirlərinin görünməyən məlumatlar üzərində neyronların davranışını nə qədər yaxşı proqnozlaşdırdığını ölçən yeni avtomatlaşdırılmış qiymətləndirmə protokolu tərtib edirlər.

CSAIL-in rəhbərlik etdiyi metod ResNet, CLIP və görmə transformatoru DINO kimi müxtəlif görmə modellərində fərdi neyronları təsvir edən ilkin metodlardan üstün olmuşdur. MAIA həmçinin bilinən əsas həqiqət təsvirləri ilə sintetik neyronların yeni verilənlər bazasında yaxşı çıxış etdi. Həm real, həm də sintetik sistemlər üçün təsvirlər çox vaxt insan ekspertləri tərəfindən yazılmış təsvirlərlə eyni idi.

Ayrı-ayrı neyronlar kimi AI sisteminin komponentlərinin təsvirləri necə faydalıdır?

“Böyük süni intellekt sistemləri daxilində davranışların başa düşülməsi və lokallaşdırılması bu sistemlərin tətbiq edilməzdən əvvəl təhlükəsizlik baxımından yoxlanılmasının əsas hissəsidir – bəzi təcrübələrimizdə biz MAIA-nın arzuolunmaz davranışları olan neyronları tapmaq və bu davranışları silmək üçün necə istifadə oluna biləcəyini göstəririk. model”, – Schwettmann deyir. “Biz süni intellekt sistemlərini başa düşmək və izləmək üçün alətlərin sistemin miqyası ilə ayaqlaşdığı, yeni modellərin təqdim etdiyi gözlənilməz problemləri araşdırmaq və ümid edirəm ki, başa düşmək imkanı verən daha dayanıqlı AI ekosisteminə doğru qururuq.”

Neyron şəbəkələrin içərisinə baxmaq

Yeni yaranmaqda olan şərh sahəsi “qara qutu” maşın öyrənmə modellərinin yüksəlişi ilə yanaşı fərqli bir tədqiqat sahəsinə çevrilir. Tədqiqatçılar bu modelləri necə açıb onların necə işlədiyini anlaya bilərlər?

İçəriyə baxmaq üçün mövcud üsullar ya miqyasda, ya da istehsal edə biləcəkləri izahatların dəqiqliyində məhduddur. Üstəlik, mövcud metodlar müəyyən bir modelə və konkret vəzifəyə uyğun gəlir. Bu, tədqiqatçıların sual etməsinə səbəb oldu: Biz istifadəçilərə süni intellekt modelləri ilə bağlı şərh edilə bilən suallara cavab vermək üçün necə ümumi sistem qura bilərik, eyni zamanda insan təcrübəsinin çevikliyini avtomatlaşdırılmış texnikanın miqyası ilə birləşdirə bilərik?

Bu sistemin həllini istədikləri kritik sahə qərəzlilik idi. Şəkil təsnifatçılarının şəkillərin xüsusi alt kateqoriyalarına qarşı qərəzli olub-olmadığını müəyyən etmək üçün komanda təsnifat axınının son qatına baxdı (şəkillərin it, pişik olub-olmadığını müəyyən edən maşın kimi elementləri çeşidləmək və ya etiketləmək üçün nəzərdə tutulmuş sistemdə). , və ya quş) və daxil edilmiş şəkillərin ehtimal xalları (maşının öz təxminlərinə təyin etdiyi güvən səviyyələri).

Şəklin təsnifatındakı potensial qərəzləri başa düşmək üçün MAIA-dan sistem tərəfindən səhv olaraq etiketlənmə ehtimalı olan xüsusi siniflərdə (məsələn, “labrador retriever”) şəkillərin alt dəstini tapmaq istəndi. Bu nümunədə MAIA, qara labradorların şəkillərinin səhv təsnif oluna biləcəyini aşkar etdi və bu, modeldə sarı tüklü retrieverlərə qarşı qərəz olduğunu göstərir.

https://googleads.g.doubleclick.net/pagead/ads?gdpr=0&us_privacy=1—&gpp_sid=-1&client=ca-pub-0536483524803400&output=html&h=135&slotname=2793866484&adk=675901022&adf=1897700409&pi=t.ma~as.2793866484&w=540&abgtt=6&fwrn=4&lmt=1721854622&rafmt=11&format=540×135&url=https%3A%2F%2Ftechxplore.com%2Fnews%2F2024-07-multimodal-agent-iteratively-components-ai.html&wgl=1&uach=WyJXaW5kb3dzIiwiMTAuMC4wIiwieDg2IiwiIiwiMTI2LjAuNjQ3OC4xODMiLG51bGwsMCxudWxsLCI2NCIsW1siTm90L0EpQnJhbmQiLCI4LjAuMC4wIl0sWyJDaHJvbWl1bSIsIjEyNi4wLjY0NzguMTgzIl0sWyJHb29nbGUgQ2hyb21lIiwiMTI2LjAuNjQ3OC4xODMiXV0sMF0.&dt=1721854456196&bpp=3&bdt=335&idt=885&shv=r20240722&mjsv=m202407180101&ptt=9&saldr=aa&abxe=1&cookie=ID%3D9ead181ef67abbaa%3AT%3D1721801884%3ART%3D1721854444%3AS%3DALNI_MYoq0akGsLUXhAUIhnaG6TQeS4STg&eo_id_str=ID%3Db268401c0e4aeef7%3AT%3D1721801884%3ART%3D1721854444%3AS%3DAA-AfjYSUg2K_FFfwOkLTloH9McJ&prev_fmts=0x0%2C1423x739%2C540x135%2C1005x124&nras=3&correlator=1028858831906&frm=20&pv=1&ga_vid=1057348607.1721801883&ga_sid=1721854457&ga_hid=1303504856&ga_fc=1&rplot=4&u_tz=240&u_his=2&u_h=900&u_w=1440&u_ah=860&u_aw=1440&u_cd=24&u_sd=1&dmc=8&adx=347&ady=4291&biw=1423&bih=739&scr_x=0&scr_y=1371&eid=44759876%2C44759927%2C44759837%2C95331689%2C95331832%2C95334527%2C95334830%2C95337869%2C95338227%2C95338253%2C31078663%2C31078665%2C31078668%2C31078670&oid=2&psts=AOrYGsn1eX9FxIwRF0cEUkea6djVz1LwGAN9Isd6BWdEuRBuGfO8NSpHN_SFHlxdKCP5pc3LIFuTzKRFrRS3y2mLhMOfPAYMznaoD3_QxnLxVDCNNRWf-w&pvsid=4470508529744400&tmod=153846045&uas=3&nvt=1&ref=https%3A%2F%2Fphys.org%2F&fc=1920&brdim=0%2C0%2C0%2C0%2C1440%2C0%2C1440%2C860%2C1440%2C739&vis=1&rsz=%7C%7CpeEbr%7C&abl=CS&pfx=0&fu=128&bc=31&bz=1&td=1&tdf=0&psd=W251bGwsbnVsbCwibGFiZWxfb25seV80IiwxXQ..&nt=1&ifi=3&uci=a!3&btvi=3&fsb=1&dtd=M

MAIA eksperimentləri tərtib etmək üçün xarici alətlərə güvəndiyi üçün onun performansı həmin alətlərin keyfiyyəti ilə məhdudlaşır. Ancaq görüntü sintezi modelləri kimi vasitələrin keyfiyyəti yaxşılaşdıqca MAIA da yaxşılaşacaq. MAIA həmçinin bəzən ilkin fərziyyəni yanlış şəkildə təsdiqlədiyi zamanlar təsdiqləmə meylini göstərir. Bunu azaltmaq üçün tədqiqatçılar eksperimental nəticələri ümumiləşdirmək üçün dil modelinin fərqli bir nümunəsindən istifadə edən təsvirdən mətnə ​​alət yaratdılar. Başqa bir uğursuzluq rejimi müəyyən bir təcrübəyə həddindən artıq uyğundur, burada model bəzən minimal sübutlara əsaslanaraq vaxtından əvvəl nəticələr verir.

Rott Shaham deyir: “Məncə, laboratoriyamız üçün təbii növbəti addım süni sistemlərdən kənara çıxmaq və oxşar təcrübələri insan qavrayışına tətbiq etməkdir”. “Bunu sınaqdan keçirmək üçün ənənəvi olaraq əl ilə dizayn və stimulların sınaqdan keçirilməsi tələb olunurdu ki, bu da çox əmək tələb edir. Agentimizlə biz bu prosesi genişləndirə, eyni vaxtda çoxsaylı stimulları layihələndirə və sınaqdan keçirə bilərik. Bu, həm də bizə insanın vizual qavrayışını süni sistemlərlə müqayisə etməyə imkan verə bilər. “

“Neyron şəbəkələrini başa düşmək insanlar üçün çətindir, çünki onların hər biri mürəkkəb davranış nümunələri olan yüz minlərlə neyron var. MAIA bu neyronları avtomatik analiz edə bilən və distillə edilmiş tapıntıları həzm oluna bilən şəkildə insanlara bildirə bilən süni intellekt agentləri inkişaf etdirməklə bunun qarşısını almağa kömək edir. “Tədqiqatda iştirak etməyən Berkeleydəki Kaliforniya Universitetinin dosenti Jacob Steinhardt deyir. “Bu metodların genişləndirilməsi süni intellekt sistemlərini başa düşmək və təhlükəsiz şəkildə nəzarət etmək üçün ən vacib yollardan biri ola bilər.”

Daha çox məlumat: Tamar Rott Shaham et al, Multimodal Avtomatlaşdırılmış Tərcümə Agenti, arXiv (2024). DOI: 10.48550/arxiv.2404.14394

Jurnal məlumatı: arXiv