Google Research-də süni intellekt üzrə tədqiqatçılar qrupu Lumiere adlı yeni nəsil süni intellektə əsaslanan mətndən videoya generator hazırlayıb. Qrup arXiv preprint serverində göstərdikləri səyləri təsvir edən bir məqalə dərc etdi .

Son bir neçə il ərzində süni intellekt proqramları tədqiqat laboratoriyasından geniş istifadəçi icmasına keçdi – məsələn, ChatGPT kimi LLM-lər brauzerlərlə inteqrasiya olunub və istifadəçilərə misli görünməmiş üsullarla mətn yaratmağa imkan verib.

Bu yaxınlarda mətndən-şəklə çevrilən generatorlar istifadəçilərə sürreal görüntülər yaratmağa imkan verdi. Və mətndən videoya generatorlar istifadəçilərə bir neçə sözdən başqa heç nə ilə qısa video kliplər yaratmağa imkan verdi. Bu yeni səydə Google komandası Lumiere adlı mətndən videoya generatorun elanı ilə bu sonuncu kateqoriyanı yeni zirvələrə qaldırdı .

Ehtimal ki, ilk fotoqrafiya avadanlıqlarını yaradan Lumiere qardaşlarının adını daşıyan Lumiere, istifadəçilərə “iki yenot birlikdə kitab oxuyur” kimi sadə bir cümlə yazmağa və iki yenotun məhz bunu etdiyini göstərən tam bitmiş videonu geri almağa imkan verir. heyrətamiz yüksək qətnamə. Yeni generator daha yaxşı görünən nəticələr yaratmaqla mətndən videoya generatorların inkişafında növbəti addımı təmsil edir.

Google, yeni generatorun arxasındakı texnologiyanı “təməl qoymuş Space-Time U-Net arxitekturası” kimi təsvir edir. Bir model keçidində animasiya videosu yaratmaq üçün nəzərdə tutulmuşdur.

Nümayiş videosu göstərir ki, Google istifadəçilərə mövcud videonun bir hissəsini vurğulayaraq redaktə etmək və “paltarın rəngini qırmızıya dəyişdirmək” kimi təlimatları yazmaq kimi əlavə funksiyalar əlavə edib. Generator həmçinin tam rəngli təsvirdən daha çox subyektin üslubunun yaradıldığı stilizasiyalar kimi müxtəlif növ nəticələr yaradır. O, həmçinin müxtəlif üslub istinadları kimi alt üslublara imkan verir. O, həmçinin, istifadəçinin hərəkətsiz təsvirin bir hissəsini və ya hamısını vurğulaya və onu canlandıra biləcəyi kinematoqrafiya ilə məşğul olur.

Elanında Google, Lumiere-ni ictimaiyyətə buraxmağı və ya yaymağı planlaşdırıb-yaratmadıqlarını, çox güman ki, müəllif hüquqları qanunlarını pozan videoların potensial yaradılması nəticəsində yarana biləcək aşkar hüquqi nəticələrə görə dəqiqləşdirməyib.

Ətraflı məlumat: Omer Bar-Tal et al, Lumiere: A Space-Time Diffusion Model for Video Generation, arXiv (2024). DOI: 10.48550/arxiv.2401.12945

lumiere-video.github.io/

Jurnal məlumatı: arXiv