İnqrid Fadelli , Phys.org tərəfindən

redaktə edən: Gaby Clark , rəy verən: Andrew Zinin

 Redaktorların qeydləri

 GIST

Tercih edilən mənbə kimi əlavə edin

Statsız LLM agentləri hər bir qarşılıqlı əlaqəni təcrid olunmuş şəkildə emal edir. Daimi yaddaşa malik LLM agentləri saxlanılan məlumatları sorğulamağa və əldə etməyə imkan verir. Mənbə: Torres, Shrestha və Misra.

ChatGPT, Gemini və digər süni intellekt (Sİ) ilə işləyən danışıq platformalarının əsasını təşkil edən hesablama alqoritmləri olan böyük dil modelləri (LLM) hazırda dünyada geniş istifadə olunur. Bu modellər sualları tez bir zamanda cavablandıra, onlayn məlumat əldə edə, istifadəçilərə konkret tapşırıqlarda kömək edə və konkret məqsədlər üçün uyğunlaşdırılmış mətn yarada bilər.

Son bir neçə ildə kompüter alimləri geniş çeşiddə LLM-lər təqdim ediblər ki, bunlardan bəziləri tapşırıqları müstəqil şəkildə yerinə yetirə və istifadəçi adından hərəkətlər edə bilər, məsələn, mesajlara cavab vermək, onlayn görüşlər planlaşdırmaq və ya proqramlaşdırma kodunu yeniləmək. Daha yaxınlarda onlar bu modellərin çoxunu yaddaşla təmin ediblər, çünki bu, onlara eyni məlumatı dəfələrlə almadan istifadəçinin tipik seçimləri və ya əvvəlki sorğuları ətrafında cavabları uyğunlaşdırmağa imkan verir.

Yaddaş gücləndirilmiş süni intellekt agentlərinin nəzərəçarpacaq üstünlükləri olsa da və fərdi istifadəçilərin ehtiyaclarını daha yaxşı ödəyə bilsələr də, onlar həmçinin yeni təhlükəsizlik riskləri yaradırlar. Nyu Meksiko Dövlət Universitetinin tədqiqatçıları bu yaxınlarda süni intellekt agentinin uzunmüddətli yaddaşını gizli şəkildə zəhərləyən və GhostWriter adlandırdıqları kiberhücumu təsvir etdilər. Onların preprint arXiv serverində dərc olunmuş məqaləsində süni intellekt agentinin fəaliyyətinə mənfi təsir göstərmədən bu hücumun qarşısını almağa və ya riskini məhdudlaşdırmağa kömək edə biləcək iki perspektivli strategiya təqdim olunur.

Corc Torres, Şarad Şrestha və Satyajayant Misra öz məqalələrində yazırdılar ki, “Hal-hazırda uzunmüddətli yaddaş agentləri iki fərqli sahəyə bölünür: söhbət və fəaliyyət planlaşdırma agentləri”. “Şəxsi köməkçi agentlər bu iki sahənin birləşməsində oturur və etibarsız məlumat mənbələri ilə qarşılıqlı əlaqədə olarkən həssas məlumatları idarə edir və bu da əvvəllər nəzərə alınmayan təhlükəsizlik zəifliklərini yaradır. Biz yaddaş anbarlarını zəhərləmək üçün alətlərdən istifadə edən şəxsi agentlərdə mövcud yaddaş alt sistemlərindən istifadə edən yeni hücum vektoru GhostWriter-i təqdim edirik.”İki fazalı yaddaş inyeksiyası hücumu: 1-ci faza yaddaşı zəhərləyir, bu da 2-ci fazada qanuni istifadəçinin elektron poçt ünvanı sorğusu zamanı geri alınır və üzərində hərəkətə keçir. Mənbə: arXiv (2026). DOI: 10.48550/arxiv.2607.06595

GhostWriter hücumu

Torres və həmkarları tərəfindən müəyyən edilən GhostWriter hücumu, LLM-in uzunmüddətli yaddaşına etibarsız və ya zərərli məlumatlar daxil etməklə işləyir. Bu məlumatlara süni intellektin gələcək reaksiyalarına təsir göstərə biləcək təlimatlar və ya “saxta xatirələr”, eləcə də avtomatlaşdırılmış və ya planlaşdırılmış hərəkətlər daxil ola bilər.

Məsələn, saxta yaddaş istifadəçinin e-poçt hesabını idarə edən LLM üçün təlimatlar ehtiva edə bilər və onlardan həmişə müəyyən bir göndərəndən gələn e-poçtları ümumiləşdirməsini və gizli şəkildə onları hücumçunun poçt qutusuna göndərməsini tələb edir. Bunlar bank, maliyyə qurumu və ya digər rəsmi şəxs tərəfindən göndərilən və həssas məlumatlar ehtiva edən e-poçtlar ola bilər.

Müəlliflər yazırdılar ki, “GhostWriter iki mərhələdə işləyir: inyeksiya, rəqibin hədəf agentə gizli hücum yükü göndərdiyi yer; və aktivləşdirmə, bu mərhələdə zəhərlənmiş yaddaşın geri alındığı yer. Biz göstəririk ki, GhostWriter təxminən 98% universal inyeksiya nisbətinə və ən müasir agentlərə qarşı təxminən 60% yüksək orta aktivasiya nisbətinə nail olur.”

Bu hücumu azaltmaq üçün ümidverici bir strategiya

Tədqiqatçılar GhostWriter hücumunun süni intellekt agentinin uzunmüddətli yaddaşına zərərli məlumatları uğurla yeridə biləcəyini və gələcək davranışına təsir göstərə biləcəyini göstərdilər. Bu, onları bu hücumun riskini azaltmaq və ya hücum edənlərin yalançı yaddaşlar yeritməsinin qarşısını almaq üçün hazırlanmış yeni təhlükəsizlik tədbirləri hazırlamağa ilhamlandırdı.

Torres və həmkarları yazırdılar ki, “Bu hücum təhlükəsizliyə yönəlmiş yaddaş idarəetməsinin olmaması səbəbindən mümkündür. Buna cavab olaraq, iki azaltma texnikasından istifadə edən Agentic Memory Sentry (AM-Sentry) təklif edirik: yaddaş qənaət siyasəti və yaddaş bərpa ekranı. Təcrübələrimiz göstərir ki, AM-Sentry agentin faydalılığını qoruyarkən GhostWriter-in uğur nisbətini kəskin şəkildə azaldır.”

Torres və həmkarlarının son işləri uzunmüddətli yaddaşa malik LLM əsaslı platformaların təkmilləşdirilməsinə töhfə verə bilər. Gələcəkdə komandanın yeni təklif etdiyi təhlükəsizlik strategiyaları digər LLM-lərə də tətbiq oluna, daha da təkmilləşdirilə və daha geniş ssenarilərdə sınaqdan keçirilə bilər.

Müəllifimiz İnqrid Fadelli tərəfindən sizin üçün yazılmış, Qeb Klark tərəfindən redaktə edilmiş və Endryu Zinin tərəfindən faktlar yoxlanılmış və nəzərdən keçirilmiş bu məqalə diqqətli insan əməyinin nəticəsidir. Müstəqil elmi jurnalistikanı yaşatmaq üçün sizin kimi oxuculara güvənirik. Əgər bu reportaj sizin üçün vacibdirsə, xahiş edirik ianə etməyi düşünün (xüsusilə aylıq). Təşəkkür olaraq reklamsız hesab əldə edəcəksiniz .

Nəşr detalları

George Torres və digərləri, Agentlər Çox Çox Yadda Saxladıqda: Böyük Dil Model Agentlərinə Yaddaş Zəhərlənməsi Hücumları, arXiv (2026). DOI: 10.48550/arxiv.2607.06595

Jurnal məlumatı: arXiv 

Əsas anlayışlar

Generativ süni intellekt etikasıGenerativ süni intellekt dezinformasiyalarıBu hekayənin arxasında kim dayanır?

İnqrid Fadelli

Psixologiya bakalavr və beynəlxalq jurnalistika magistri dərəcəsi olan müstəqil jurnalist. 2018-ci ildən bəri süni intellekt, robototexnika, nevrologiya və astrofizika sahələrini əhatə edir. Tam profil →

Qeb Klark

İngilis dili üzrə magistr dərəcəsi, 2021-ci ildən bəri mətn redaktoru, ali təhsil və səhiyyə sahəsində təcrübəyə malikdir. Etibarlı elm xəbərlərinə həsr olunub. Tam profil →

Endryu Zinin

Fizika üzrə magistr dərəcəsi və tədqiqat təcrübəsi. Uzun müddət elm xəbərləri həvəskarı. Science X-in redaksiya uğurunda əsas rol oynayır. Tam profil →

© 2026 Science X Network