Britaniya Tibb Jurnalı tərəfindən

Sadie Harley tərəfindən redaktə edilib , Robert Egan tərəfindən nəzərdən keçirilib

 Redaktorların qeydləri

 GIST

Tercih edilən mənbə kimi əlavə edin

Kredit: CC0 İctimai Sahə

Beş məşhur çatbot tərəfindən təqdim edilən tibbi məlumatların əhəmiyyətli bir hissəsi qeyri-dəqiq və natamamdır, cavabların yarısı (50%) problemli idi: 30%-i müəyyən dərəcədə, 20%-i isə olduqca problemli idi. Bunlar BMJ Open jurnalında dərc olunmuş bir araşdırmanın nəticələridir .

Tədqiqatçılar xəbərdarlıq edirlər ki, ictimai maarifləndirmə və nəzarət olmadan bu çatbotların davamlı şəkildə yerləşdirilməsi dezinformasiyanın artması riskini yaradır.

Tədqiqatçıların izah etdiyi kimi, generativ süni intellekt çatbotları tədqiqat, təhsil, biznes, marketinq və tibb sahələrində sürətlə tətbiq olunmağa başlayıb və bir çox insan onlardan axtarış motorları kimi, o cümlədən gündəlik sağlamlıq və tibbi sorğular üçün istifadə edir.

Tədqiqat necə quruldu

Səhiyyə və tibb sahələrində onsuz da yanlış məlumatlara meylli və buna görə də gündəlik sağlamlıq davranışlarına təsir göstərən dəqiqlik səviyyəsini ölçmək üçün tədqiqatçılar 2025-ci ilin fevral ayında ictimaiyyətə açıq və populyar beş generativ süni intellekt çatbotunu araşdırdılar: Gemini (Google); DeepSeek (High-Flyer); Meta süni intellekt (Meta); ChatGPT (OpenAI); və Grok (xAI).

Hər bir çatbotdan xərçəng, peyvəndlər, kök hüceyrələr, qidalanma və idman performansı kimi beş kateqoriyanın hər birində 10 açıq və qapalı sual soruşuldu. Suallar internetdə və akademik müzakirələrdə yayılmış “məlumat axtaran” sağlamlıq və tibbi sorğulara və dezinformasiya troplarına bənzəmək üçün hazırlanmışdır.

Tədqiqatçılar qeyd edirlər ki, onlar modelləri yanlış məlumatlara və ya əks göstərişlərə yönəltmək üçün hazırlanmışdır – bu strategiya süni intellekt çatbotlarının stress testi və davranış zəifliklərini müəyyən etmək üçün getdikcə daha çox istifadə olunur.

Qapalı suallar çatbotlardan elmi konsensusa uyğun gələn, çox vaxt bir düzgün cavabla əvvəlcədən müəyyən edilmiş cavablar vermələrini tələb edirdi. Açıq suallar isə adətən çatbotlardan siyahı şəklində birdən çox cavab yaratmalarını tələb edirdi.

Cavablar necə qiymətləndirildi və qiymətləndirildi

Cavablar, obyektiv əvvəlcədən müəyyən edilmiş meyarlardan istifadə edərək, qeyri-, qismən və ya çox problemli kimi təsnif edilmişdir . Problemli cavab, peşəkar rəhbərlik olmadan riayət edildikdə, qeyri-sabit istifadəçiləri potensial olaraq səmərəsiz müalicəyə yönəldə və ya zərər verə biləcək bir cavab kimi müəyyən edilmişdir.

Məlumat dəqiqlik və tamlıq baxımından qiymətləndirildi və dəlillərin gücündən asılı olmayaraq, çatbotun elmi və qeyri-elmi əsaslı iddialar arasında yanlış tarazlıq təqdim edib-etmədiyinə xüsusi diqqət yetirildi.

Hər bir cavab, həmçinin Flesch Oxuma Rahatlığı balından istifadə edərək asan, sadə ingilis dilində yazılıb-yazılmamasından tutmuş çətin, akademik dilə qədər oxunaqlılıq dərəcəsinə görə qiymətləndirildi.

Protokol növü və modelləri ilə bağlı əsas tapıntılar

Sual növü təsirli idi: məsələn, açıq suallar gözləniləndən xeyli çox – 40 yüksək problemli cavab və gözləniləndən xeyli az – 51 problemsiz cavab vermişdir. Qapalı suallarda isə bunun əksi doğru idi.

Cavabların keyfiyyəti beş çatbot arasında əhəmiyyətli dərəcədə fərqlənməsə də, Grok gözləniləndən xeyli çox problemli cavablar verdi (29/50; 58%). Əkizlər ən az problemli və ən problemsiz cavablar verdi.

Çatbotlar peyvəndlər və xərçəng sahəsində ən yaxşı nəticəni, kök hüceyrələr, atletik performans və qidalanma sahəsində isə ən pis nəticəni göstərdilər.

Cavablar ardıcıl olaraq inam və qətiliklə, az sayda xəbərdarlıq və ya imtina ilə ifadə edildi. Cəmi 250 sualdan yalnız ikisi cavab verməkdən imtina etdi və hər ikisi də anabolik steroidlər və alternativ xərçəng müalicələri ilə bağlı suallara cavab olaraq Meta AI-dən gəldi.

İstinad keyfiyyəti aşağı idi və orta tamlıq balı 40% idi. Çatbot halüsinasiyaları və uydurma sitatlar heç bir çatbotun tam dəqiq istinad siyahısı təqdim etməməsi demək idi.

Bütün oxunaqlılıq balları “çətin” kimi qiymətləndirildi, bu da mürəkkəblik baxımından kollec məzunu üçün uyğunluğa bərabərdir.

Tədqiqatın və kontekstin məhdudiyyətləri

Tədqiqatçılar yalnız beş çatbotu qiymətləndirdiklərini və kommersiya süni intellektinin sürətlə inkişaf etdiyini etiraf edirlər, buna görə də onların tapıntıları universal tətbiq olunmaya bilər. Və bütün real dünya sorğuları qəsdən ziddiyyətli deyil, onların tətbiq etdiyi bu yanaşma problemli məzmunun yayılmasını şişirdilmiş ola bilər.

Buna baxmayaraq, onlar qeyd edirlər ki, “Elmi dəqiqlik, istinad keyfiyyəti və cavabların oxunaqlılığı ilə bağlı tapıntılarımız mühüm davranış məhdudiyyətlərini və süni intellekt çatbotlarının ictimaiyyətə açıq səhiyyə və tibbi kommunikasiyada necə istifadə edildiyini yenidən qiymətləndirmək ehtiyacını vurğulayır”.

“Varsayılan olaraq, çatbotlar real vaxt məlumatlarına daxil olmurlar, əksinə təlim məlumatlarından statistik nümunələr çıxararaq və ehtimal olunan söz ardıcıllığını proqnozlaşdıraraq nəticələr yaradırlar. Onlar nə mühakimə yürüdürlər, nə də dəlilləri ölçüb-biçirlər, nə də etik və ya dəyər əsaslı mühakimələr yürüdə bilirlər”, – deyə onlar izah edirlər.

“Bu davranış məhdudiyyəti o deməkdir ki, çatbotlar avtoritar səslənən, lakin potensial olaraq qüsurlu cavabları təkrarlaya bilər.”

Çatbotların istifadə etdiyi məlumatlara sual-cavab forumları və sosial media da daxildir və elmi məzmun adətən açıq girişli və ya ictimaiyyətə açıq məqalələrlə məhdudlaşır ki, bunlar da dərc olunmuş tədqiqatların yalnız 30-50%-ni təşkil edir. Tədqiqatçılara görə, bu, danışıq səlisliyini artırsa da, elmi dəqiqlik bahasına başa gələ bilər.

“Süni intellekt çatbotlarının istifadəsi genişlənməyə davam etdikcə, məlumatlarımız generativ süni intellektin ictimai sağlamlığı pozmaq əvəzinə dəstəkləməsini təmin etmək üçün ictimai təhsilə, peşəkar təlimə və tənzimləyici nəzarətə ehtiyac olduğunu vurğulayır”, – deyə onlar yekunlaşdırıblar.