ChatGPT platformasının fəaliyyətini dəstəkləyən model kimi maşın öyrənmə alqoritmləri və böyük dil modelləri (LLM) geniş tapşırıqların həllində effektiv olduğunu sübut etdi. Bu modellər müxtəlif növ verilənlər (məsələn, mətnlər, şəkillər, videolar və/və ya audio yazılar) üzrə öyrədilir, bunlar adətən insanlar tərəfindən qeyd olunur, mühüm xüsusiyyətləri, o cümlədən məlumatlarda ifadə olunan emosiyaları etiketləyir.

Pensilvaniya Dövlət Universitetinin tədqiqatçıları bu yaxınlarda həm insanlar, həm də böyük dil modelləri (LLM) olan üçüncü tərəf annotatorlarının öz yazılı mətnlərində başqalarının ifadə etdiyi duyğuları nə dərəcədə müəyyən edə biləcəyini daha yaxşı başa düşməyə yönəlmiş bir araşdırma apardılar . Onların arXiv preprint serverində dərc edilmiş və Vyanada keçiriləcək ACL 2025 konfransında təqdim olunacaq məqalədə qeyd olunan nəticələri göstərir ki, insanlar tez-tez mətnlərdə başqalarının ifadə etdiyi duyğuları qəbul edə bilmirlər.

“Bir çox NLP tapşırıqları üçüncü tərəf annotasiyalarından istifadə edərək müəlliflərin şəxsi vəziyyətlərini (emosiyalar kimi) modelləşdirir, bu etiketlərin müəllifin faktiki təcrübəsinə uyğun olduğunu fərz edir”, – məqalənin baş müəllifi Sarah Rajtmajer Tech Xplore-a bildirib. “Lakin bu kritik fərziyyə nadir hallarda araşdırılır.

“Müəllifin şəxsi vəziyyəti ilə onun üçüncü tərəf təfsiri arasındakı uyğunsuzluq sadəcə etiketləmə xətası deyil – o, öyrənilmiş modellər vasitəsilə yayıla və sosial cəhətdən zərərli nəticələrə gətirib çıxara bilər.”

Ph.D rəhbərlik etdiyi son tədqiqat. tələbə Jiayi Li mətn əsaslı emosiyaların tanınmasına diqqət yetirdi, çünki bütün dünyada fərdlər tərəfindən istifadə edilən bir çox AI platforması söhbət vasitəsilə əldə edilir və yazılı mətnləri emal etmək üçün nəzərdə tutulub. Komandanın cavab verməyə ümid etdiyi əsas sual budur: İnsanların ifadə etdiyi duyğuların tanınmasına gəldikdə üçüncü tərəf annotasiyaları nə dərəcədə etibarlıdır?

https://googleads.g.doubleclick.net/pagead/ads?gdpr=0&us_privacy=1—&gpp_sid=-1&client=ca-pub-0536483524803400&output=html&h=280&slotname=2793866484&adk=2520359048&adf=1100001614&pi=t.ma~as.2793866484&w=750&abgtt=6&fwrn=4&fwrnh=0&lmt=1747732347&rafmt=1&armr=3&format=750×280&url=https%3A%2F%2Ftechxplore.com%2Fnews%2F2025-05-party-annotators-accurately-emotions.html&fwr=0&rpe=1&resp_fmts=3&wgl=1&uach=WyJXaW5kb3dzIiwiMTkuMC4wIiwieDg2IiwiIiwiMTM2LjAuNzEwMy4xMTQiLG51bGwsMCxudWxsLCI2NCIsW1siQ2hyb21pdW0iLCIxMzYuMC43MTAzLjExNCJdLFsiR29vZ2xlIENocm9tZSIsIjEzNi4wLjcxMDMuMTE0Il0sWyJOb3QuQS9CcmFuZCIsIjk5LjAuMC4wIl1dLDBd&dt=1747732339209&bpp=1&bdt=453&idt=240&shv=r20250515&mjsv=m202505070101&ptt=9&saldr=aa&abxe=1&cookie=ID%3Dfdc40d724f2dca57%3AT%3D1735367325%3ART%3D1747732339%3AS%3DALNI_MYStQ6fUQQQLyo5Z7z1h-XhXcWBtA&gpic=UID%3D00000f80eacffadc%3AT%3D1735367325%3ART%3D1747732339%3AS%3DALNI_MYaOugky0UawScoidzfbXof3-N-iw&eo_id_str=ID%3De43bb863646b60b8%3AT%3D1735367325%3ART%3D1747732339%3AS%3DAA-AfjbQoPwZqH28q9IwcCLRSzzg&prev_fmts=0x0%2C1905x945&nras=2&correlator=3205197099547&frm=20&pv=1&rplot=4&u_tz=240&u_his=1&u_h=1080&u_w=1920&u_ah=1032&u_aw=1920&u_cd=24&u_sd=1&dmc=8&adx=448&ady=1669&biw=1905&bih=945&scr_x=0&scr_y=0&eid=95331832%2C95332927%2C95353386%2C95360813%2C31092429%2C42533294%2C95360954%2C95360684%2C95360294%2C95360949&oid=2&pvsid=8057970067418015&tmod=1234211106&uas=0&nvt=1&ref=https%3A%2F%2Fphys.org%2F&fc=1920&brdim=0%2C0%2C0%2C0%2C1920%2C0%2C1920%2C1032%2C1920%2C945&vis=1&rsz=%7C%7CpeEbr%7C&abl=CS&pfx=0&fu=128&bc=31&bz=1&td=1&tdf=2&psd=W251bGwsbnVsbCxudWxsLDNd&nt=1&ifi=2&uci=a!2&btvi=1&fsb=1&dtd=8020

“Bu sual bizi öz-özünə bildirilən (birinci tərəf) duyğular ilə üçüncü tərəf annotatorlarının, o cümlədən həm insanlar, həm də LLM-lərin şərhləri arasındakı uyğunluğu sistematik şəkildə öyrənməyə sövq etdi” dedi Li. “Biz həmçinin amilləri daxil etməklə, xüsusilə insan annotatorları üçün paylaşılan demoqrafik məlumatların təsirini tədqiq etməklə və LLM-lərə müəllif demoqrafik məlumatlarını təqdim etməklə, bu uyğunlaşdırmanı təkmilləşdirməyin yollarını araşdırdıq.”

Üçüncü tərəf annotatorlarının mətnlərdən başqalarının emosiyalarını çıxarmaq qabiliyyətini araşdırmaq üçün tədqiqatçılar Connect kraudsorsinq platforması vasitəsilə işə götürülən sosial media istifadəçilərini əhatə edən təcrübə aparıblar. Tədqiqat iştirakçılarından əvvəlcə öz sosial media yazılarını paylaşmaları və bu yazılarda ifadə etdikləri hissləri etiketləmələri istəndi.

“Sonra biz müəlliflərə nisbətən demoqrafik xüsusiyyətlərini nəzərə alaraq, müxtəlif insan annotator qruplarından eyni yazıları etiketləməyi xahiş etdik” dedi Li. “Həmçinin bizim bir neçə böyük dil modelimiz (LLM) eyni etiketləmə tapşırığını yerinə yetirirdi. Bu üçüncü tərəf annotasiyalarını (həm insanlardan, həm də LLM-lərdən) F1 balı və statistik testlər kimi qiymətləndirmə metriklərindən istifadə edərək müəllifin özünün bildirdiyi emosiyaları ilə müqayisə edərək , birinci və üçüncü tərəf annotasiyaları arasında uyğunluğu araşdırdıq.”

Təhlillərində Li, Rajtmajer və həmkarları yazı yazan istifadəçilər və üçüncü tərəf annotatorları arasındakı demoqrafik oxşarlıqlara da baxıblar. Bu, onlara oxşar demoqrafik (məsələn, oxşar yaş və ya etnik mənşəyə malik) insanların bir-birlərinin emosiyalarını daha yaxşı qəbul etmələri ehtimalını araşdırmağa imkan verdi.

“Tədqiqatımızın ən diqqətəlayiq tapıntısı üçüncü tərəf annotasiyaları ilə birinci tərəfin öz bildirdiyi emosiyalar arasında aydın uyğunsuzluqdur” dedi Rajtmajer. “Bu tapıntı, emosiyaların tanınması tədqiqatında üçüncü tərəf annotatorlarının yalnız mətnə ​​əsaslanaraq başqasının emosional ifadəsini etibarlı şəkildə çıxara bilməsi ilə bağlı ümumi fərziyyəyə qarşı çıxır.

“Qeyd edək ki, biz yazı müəllifi ilə demoqrafik xüsusiyyətləri paylaşan insan annotatorlarının birinci tərəf etiketləri ilə daha çox uyğunlaşdığını və demoqrafik kontekstlə LLM-lərin təşviq edilməsinin kiçik, lakin statistik cəhətdən əhəmiyyətli irəliləyişlərə səbəb olduğunu gördük.”

Ümumilikdə, bu son işin tapıntıları göstərir ki, insan annotatorları mətnlərdə ifadə olunan emosiyaları qəbul etməkdə keçmiş tədqiqatların təklif etdiyi kimi təsirli olmaya bilər, lakin oxşar xüsusiyyətləri paylaşan insanların emosiyalarını aşkar etməkdə daha yaxşı ola bilər.

Bu fikir, təbii dil emalı (NLP) modellərinin, o cümlədən LLM-lərin təlimi üçün gələcək mətn məlumat dəstlərinin şərhinə rəhbərlik edə bilər ki, bu da bu modellərin istifadəçilər tərəfindən ifadə olunan emosiyalara uyğun cavablar yaratmaq qabiliyyətini artırmağa kömək edə bilər.

“Bizim tədqiqat tədqiqatçıların və tərtibatçıların kimin emosional perspektivini – müəllifin və ya müşahidəçinin perspektivini ələ aldıqlarını dəqiq bilməsi zərurətini vurğulayır” dedi Rajtmajer. “Bu fərq, müəllifin emosional vəziyyətini başa düşməyin çox vaxt məqsəd olduğu psixi sağlamlıq dəstəyi və empatik dialoq sistemləri kimi aşağı axın tətbiqlərində xüsusilə vacibdir.

“İrəli gedərək, biz bioloji reaksiyalardan və sərt üçüncü tərəf tərəfindən qurulmuş taksonomiyalardan əldə edilən əsas emosiya kateqoriyalarından kənara çıxan daha incə və istifadəçi mərkəzli emosiya modelləri ilə maraqlanırıq.”

Daha çox məlumat: Jiayi Li və digərləri, Üçüncü tərəflər bizim duyğularımızı oxuya bilərmi?, arXiv (2025). DOI: 10.48550/arxiv.2504.18673

Jurnal məlumatı: arXiv 

© 2025 Science X Network