Decart’ın yeni yapay zeka video2video aracı Mirage, sıfır gecikmeyle sonsuz, gerçek zamanlı video oluşturmayı başarıyor. Geliştiricinin canlı yayın AI video modeli olan MirageLSD tarafından desteklenen sistem şimdilik 768×432 çözünürlükte saniyede 20 kare üretebiliyor. Decart ekibi blog yazısında, “Gerçek zamanlı üretim, insan gözünü rahatsız etmemesi için her karenin 40 milisaniyeden daha kısa sürede üretilmesini gerektiriyor” diye belirtiyor.
Decart'ın teknolojisi, oyunlar için büyük bir potansiyele sahip. Kasım 2024'te şirket, Mirage'a benzer bir yaklaşım kullanarak anında oynanabilir Minecraft benzeri bir dünya oluşturan Oasis adlı bir oyunu da tanıtmıştı. Kullanıcılar bir dokuya yaklaşıp tekrar uzaklaşarak oyun içinde yeni oynanabilir sahneler oluşturabiliyorlardı. Decart'ın video demoları, yapay zekanın Minecraft oyununu karlı bir harikalar diyarına dönüştürdüğünü, Call of Duty oyuncularını pembe ağaçların bulunduğu sakin bir çayırda koşturduğunu ve One Direction'ın “What Makes You Beautiful” şarkısını çeşitli anime stilleriyle yeniden yorumladığını gösteriyor. Her kare, nedensel, otoregresif yaklaşım olarak bilinen bir yöntemle, hem metin komutu hem de önceki kareyi girdi olarak kullanarak sırayla üretiliyor.
Bu araç, Discord veya TikTok gibi platformlarda canlı yayın, video görüşmeleri ve önceden kaydedilmiş TV programları, filmler ve kliplerin normal oynatılması için kullanılabilir. Decart, gelecekte full HD ve 4K desteği sunmayı da hedefliyor.
Gerçek zamanlı YZ dönüşümü nasıl oluyor?
Benzer video2video yapay zeka araçları, kullandıkları otoregresif modeller nedeniyle canlı yayınlarda zorluklar yaşıyor. Her yeni kare, önceki karelerden alınan bilgiler kullanılarak oluşturulduğundan, önceki hataların da devralınması anlamına geliyor. Dolayısıyla yaklaşık 30 saniyelik görüntüden sonra, biriken bu hatalar video kalitesini ciddi şekilde düşürüyor.
Mirage, iki yenilikle bu sorunu çözüyor. İlk olarak, difüzyon zorlaması, modeli tam bağlam gerektirmeden gürültülü kareleri temizlemek için eğitiyor ve kare kare doğru oluşturma imkanı sağlıyor. İkincisi, geçmiş artırma, modele kendi geçmiş çıktılarındaki hataları tanıma ve düzeltmeyi öğretiyor, böylece model oluşturma sırasında da aynısını yapmayı öğreniyor ve zamanla kalite düşüşünü önlüyor.
Normalde tipik yapay zeka video2video araçları genellikle yavaş ve yalnızca birkaç saniyelik çıktı için dakikalarca işlem gerektiriyor. Mirage, işleme süresi ve diğer sistem yükleri dahil olmak üzere, girdi ve çıktı arasındaki gecikmeyi yaklaşık 100 milisaniyeye düşürmüş. Decart, her kareyi oluşturmak için gereken adımları azaltarak ve modeli daha verimli çalışacak şekilde düzenleyerek bunu başarıyor. Sistem, hızı artırmak ve gecikmeyi en aza indirmek için özel düşük seviyeli GPU kodu kullanılarak NVIDIA Hopper yongaları için özel olarak ayarlanmış.
Mirage şu an daha ilk günlerinde. Ardından çeşitli ek video modelleri, sesler, duygular, müzikler de gelecek. Şirket tüm duyuları portallara dönüştüren bir platform inşa ettiğini belirtiyor. Bugün, ister PC ister mobil herhangi bir cihazda Mirage ile oynayarak çevrenizi, oyunlarınızı ve filmlerinizi farklı fizik ve sihir yasalarına sahip yeni evrenlere kendiniz de ışınlayabilirsiniz.Bunun için https://mirage.decart.ai/ sitesini ziyaret etmeniz yeterli. Biz de ofisimiz üzerinde bu servisi denedik. Bu etkileyici deneyimi yukarıdaki videodan izleyebilirsiniz.
Yaz boyunca, yüz tutarlılığı, ses kontrolü ve hassas nesne kontrolü dahil olmak üzere model yükseltmeleri ve ek özellikleri de düzenli olarak yayınlanacak. Gelişmeleri https://x.com/DecartAI adresinden siz de takip edebilirsiniz.