ChatGPT kimi böyük süni intellekt modelləri üzərində işləyən tədqiqatçılar sistemləri öyrətmək üçün çoxlu internet mətni, fotoşəkilləri və videolarına malikdirlər. Lakin fiziki maşınları öyrədən robotistlər maneələrlə üzləşirlər: Robot məlumatları bahadır və bütövlükdə dünyada rouminq edən robot parkları olmadığından, insanların evləri kimi dinamik mühitlərdə yaxşı işləmələri üçün kifayət qədər məlumat asanlıqla əldə olunmur. .

Bəzi tədqiqatçılar robotları yetişdirmək üçün simulyasiyalara müraciət ediblər. Bununla belə, hətta tez-tez qrafik dizayneri və ya mühəndisi cəlb edən bu proses zəhmətli və baha başa gəlir.

Vaşinqton Universitetinin tədqiqatçılarından iki yeni tədqiqat robotları real şəraitdə işləməyə öyrədən simulyasiyalar yaratmaq üçün video və ya fotoşəkillərdən istifadə edən süni intellekt sistemlərini təqdim edir. Bu, robotların mürəkkəb şəraitdə işləməsi üçün təlim xərclərini əhəmiyyətli dərəcədə azalda bilər.

Birinci araşdırmada istifadəçi həndəsəsini qeyd etmək üçün smartfonla məkanı sürətlə skan edir. RialTo adlanan sistem daha sonra istifadəçinin müxtəlif şeylərin necə işlədiyini (məsələn, çekmece açmaq) daxil edə biləcəyi məkanın “rəqəmsal əkiz” simulyasiyasını yarada bilər.

Robot daha sonra simulyasiyada hərəkətləri effektiv şəkildə etməyi öyrənmək üçün cüzi dəyişikliklərlə faktiki olaraq təkrarlaya bilər. İkinci araşdırmada komanda internetdən real mühitlərin şəkillərini çəkən və robotların məşq edə biləcəyi fiziki cəhətdən real simulyasiya mühitləri yaradan URDFormer adlı sistem qurdu.

Komandalar öz tədqiqatlarını – birincisi iyulun 16-da , ikincisi isə iyulun 19-da – Hollandiyanın Delft şəhərində keçirilən Robototexnika Elmi və Sistemləri konfransında təqdim edilib.Oynamaq

00:0000:06SəssizParametrlərPIPTam ekrana daxil olun

Paul G. Allen Kompüter Elmləri və Mühəndisliyi Məktəbinin UW köməkçisi professoru Abhishek Gupta və hər iki məqalənin baş müəllifi Abhishek Gupta, “Biz real dünyadan ucuz qiymətə simulyasiyaya keçən sistemləri işə salmağa çalışırıq” dedi.

“Sistemlər daha sonra həmin simulyasiya səhnələrində robotları məşq edə bilər, beləliklə, robot fiziki məkanda daha effektiv fəaliyyət göstərə bilər. Bu, təhlükəsizlik üçün faydalıdır – pis təlim keçmiş robotların əşyaları sındırması və insanlara zərər verməsi mümkün deyil – və bu, potensial olaraq girişi genişləndirir. Əgər Siz yalnız telefonunuzla onu skan edərək evinizdə işləmək üçün bir robot əldə edə bilərsiniz, bu texnologiyanı demokratikləşdirir.”

https://googleads.g.doubleclick.net/pagead/ads?gdpr=0&us_privacy=1—&gpp_sid=-1&client=ca-pub-0536483524803400&output=html&h=135&slotname=2793866484&adk=675901022&adf=1873531024&pi=t.ma~as.2793866484&w=540&abgtt=6&fwrn=4&lmt=1723059753&rafmt=11&format=540×135&url=https%3A%2F%2Ftechxplore.com%2Fnews%2F2024-08-photos-videos-ai-conjure-simulations.html&wgl=1&uach=WyJXaW5kb3dzIiwiMTAuMC4wIiwieDg2IiwiIiwiMTI3LjAuNjUzMy45OSIsbnVsbCwwLG51bGwsIjY0IixbWyJOb3QpQTtCcmFuZCIsIjk5LjAuMC4wIl0sWyJHb29nbGUgQ2hyb21lIiwiMTI3LjAuNjUzMy45OSJdLFsiQ2hyb21pdW0iLCIxMjcuMC42NTMzLjk5Il1dLDBd&dt=1723057912396&bpp=1&bdt=1106&idt=1834&shv=r20240801&mjsv=m202408060101&ptt=9&saldr=aa&abxe=1&cookie=ID%3D3b199fcd67477665%3AT%3D1722782760%3ART%3D1723059599%3AS%3DALNI_MYiVAjEyy4dUxgOksNR26c7Dw2QPA&eo_id_str=ID%3Dd042eab5cd0e9128%3AT%3D1722782760%3ART%3D1723059599%3AS%3DAA-AfjaezaeceO7ROnaS-eCO7629&prev_fmts=0x0%2C1423x739&nras=2&correlator=1517411109684&frm=20&pv=1&rplot=4&u_tz=240&u_his=1&u_h=900&u_w=1440&u_ah=860&u_aw=1440&u_cd=24&u_sd=1&dmc=8&adx=347&ady=2524&biw=1423&bih=739&scr_x=0&scr_y=0&eid=44759875%2C44759926%2C44759837%2C95331688%2C95334526%2C95334830%2C95337870%2C31085927%2C31084186%2C95339220%2C95336267%2C31078663%2C31078665%2C31078668%2C31078670&oid=2&pvsid=2877771793362979&tmod=997116151&uas=0&nvt=1&ref=https%3A%2F%2Fphys.org%2F&fc=1920&brdim=0%2C0%2C0%2C0%2C1440%2C0%2C0%2C0%2C1440%2C739&vis=1&rsz=%7C%7CpeEbr%7C&abl=CS&pfx=0&fu=128&bc=31&bz=0&td=1&tdf=0&psd=W251bGwsbnVsbCwibGFiZWxfb25seV80IiwxXQ..&nt=1&ifi=2&uci=a!2&btvi=1&fsb=1&dtd=M

Hal-hazırda bir çox robotlar montaj xətləri kimi mühitlərdə işləmək üçün yaxşı uyğunlaşsa da, onlara insanlarla və daha az strukturlaşdırılmış mühitlərdə qarşılıqlı əlaqə qurmağı öyrətmək hələ də problem olaraq qalır.

“Məsələn, bir fabrikdə bir ton təkrar var” dedi URDFormer araşdırmasının aparıcı müəllifi, Allen Məktəbində UW doktorantı Zoey Chen. “Tapşırıqları yerinə yetirmək çətin ola bilər, lakin siz bir robotu proqramlaşdırdıqdan sonra o, tapşırığı təkrar-təkrar yerinə yetirməyə davam edə bilər. Halbuki evlər unikaldır və daim dəyişir. Obyektlərin, tapşırıqların, mərtəbə planlarının və insanların müxtəlifliyi var. Bu, AI-nin robotistlər üçün həqiqətən faydalı olduğu yerdir.”

İki sistem bu çağırışlara müxtəlif yollarla yanaşır.

Gupta-nın Massaçusets Texnologiya İnstitutunda bir komanda ilə yaratdığı RialTo-da kimsə bir mühitdən keçir və onun həndəsəsini və hərəkət edən hissələrini videoya çəkir. Məsələn, mətbəxdə şkafları, toster və soyuducunu açacaqlar.

Daha sonra sistem mövcud süni intellekt modellərindən istifadə edir – və insan işlərin necə hərəkət etdiyini göstərmək üçün qrafik istifadəçi interfeysi vasitəsilə bəzi sürətli iş görür – videoda göstərilən mətbəxin simulyasiya edilmiş versiyasını yaradır. Virtual robot simulyasiya edilmiş mühitdə sınaq və səhv yolu ilə o toster sobasının açılması kimi tapşırıqları dəfələrlə yerinə yetirərək özünü məşq edir – bu, gücləndirmə öyrənməsi adlanan üsuldur.

Simulyasiyada bu prosesdən keçərək, robot həmin tapşırığı təkmilləşdirir və ətrafdakı narahatlıqlar və ya dəyişikliklər, məsələn, tosterin yanında yerləşdirilmiş stəkanın ətrafında işləyir. Robot daha sonra həmin öyrənməni fiziki mühitə köçürə bilər, burada o, real mətbəxdə təlim keçmiş robot qədər dəqiqdir.

Digər sistem, URDFormer, bir mətbəxdə nisbətən yüksək dəqiqliyə daha az diqqət yetirir; əvəzinə, o, tez və ucuz bir şəkildə yüzlərlə ümumi mətbəx simulyasiyasını özündə cəmləşdirir. URDFormer internetdən şəkilləri skan edir və onları, məsələn, həmin mətbəx çekmece və şkaflarının necə hərəkət edəcəyinə dair mövcud modellərlə cütləşdirir.

Daha sonra o, ilkin real dünya görüntüsündən simulyasiyanı proqnozlaşdırır və tədqiqatçılara robotları geniş mühitlərdə tez və ucuz öyrətməyə imkan verir. Mübadilə ondan ibarətdir ki, bu simulyasiyalar RialTo-nun yaratdığı simulyasiyalardan əhəmiyyətli dərəcədə az dəqiqdir.

“İki yanaşma bir-birini tamamlaya bilər” dedi Gupta. “URDFormer yüzlərlə ssenari üzrə ilkin məşq üçün həqiqətən faydalıdır. RialTo xüsusilə robotu əvvəlcədən öyrətmisinizsə və indi onu kiminsə evində yerləşdirmək və bəlkə də 95% uğurlu olmasını istəyirsinizsə faydalıdır.”

İrəliləyən RialTo komandası sistemini insanların evlərində yerləşdirmək istəyir (əsasən laboratoriyada sınaqdan keçirilib) və Gupta müvəffəqiyyət dərəcələrini yaxşılaşdırmaq üçün sistemlərə az miqdarda real dünya təlim məlumatlarını daxil etmək istədiyini söylədi.

“Ümid edirəm ki, real dünya məlumatlarının kiçik bir hissəsi uğursuzluqları düzəldə bilər” dedi Gupta. “Lakin biz hələ də bilməliyik ki, real dünyada birbaşa toplanan məlumatları, ucuz, lakin bir qədər səhv olan simulyasiyalarda toplanan məlumatlarla necə birləşdirə bilərik”.

URDFormer kağızında əlavə həmmüəlliflər arasında UW-dan Aaron Walsman, Marius Memmel, Alex Fang – Allen Məktəbinin bütün doktorantları; Karthikeya Vemuri, Allen Məktəbində bakalavr; Alan Vu, Allen Məktəbinin magistr tələbəsi; və NVIDIA-da tədqiqatçı alim Kaichun Mo. Allen Məktəbinin professoru Dieter Fox böyük bir müəllif idi.

URDFormer kağızında əlavə həmmüəlliflər arasında MİT-dən Marsel Torne, Entoni Simeonov, Tao Çen – bütün doktorantlar; Zechu Li, tədqiqatçı; və bakalavr tələbəsi Aprel Çan. Pulkit Agrawal, MİT-də dosent, baş müəlliflərdən biri idi. URDFormer tədqiqatı qismən Amazon Science Hub tərəfindən maliyyələşdirilib.

Ətraflı məlumat: Torne et al. Simulyasiya yolu ilə reallığın uzlaşdırılması: Möhkəm manipulyasiya üçün realdan sim-həqiqi yanaşma, enriquecoronadozu.github.io/rs … s2024/rss20/p015.pdf

Chen və başqaları. URDFormer: Real-Dünya Şəkillərindən Artikulyar Simulyasiya Mühitlərinin Yaradılması üçün Boru Kəməri, enriquecoronadozu.github.io/rs … s2024/rss20/p124.pdfVaşinqton Universiteti tərəfindən təmin edilmişdir