SeedVR2 ile 480p videoyu 1080p’ye yükseltme testi

👁 114 okunma

Yapay zekâyla üretilen bir klibin dudak senkronunu düzelttikten sonra son işlem olarak SeedVR2’yi denedim. 7B fp8 sürümü, videoyu 832×480’den 1872×1080’e çıkardı; 20 saniyelik klibin işlenmesi 1034 saniye sürdü. Öncesi-sonrası karşılaştırmasında yüz, gözlük ve kıyafet çevresindeki değişim en belirgin şekilde görülüyor. Bu işlem seçilmiş bir çekimi son hâline getirmek için yararlı, ancak üretimdeki bütün hataları düzeltmenin yolu değil.

480p klip nereden geldi?

Başlangıç noktası, dudak senkronu modellerini karşılaştırırken de kullandığım “Kendi Yolumda Çalarken” adlı şarkıdan bir bölümdü. Bu ad, Lehçe test materyalindeki şarkı adının Türkçe çevirisidir; testte Türkçe değil, Lehçe kullanıldı. Önce Seedance 2.5 ile API üzerinden görüntü oluşturdum. Ardından hazır videoyu yerel InfiniteTalk’ta V2V modunda işledim. Bu adım, dudak hareketlerini vokalle daha uyumlu hâle getirdi ancak videoyu 832×480 çözünürlükte verdi.

Bu sıralamanın belirli bir amacı vardı. Seedance görsel açıdan etkileyici bir temel sundu, ancak senkron ölçümünde 0,153 puan aldı. InfiniteTalk V2V sonrasında sonuç 0,366’ya yükseldi. Çözünürlükle ancak bundan sonra ilgilendim. Onaylamadığım bir çekimi önceden büyütseydim, yeniden işlenmesi gerekecek bir klipte ayrıntılar için zaman harcayabilirdim.

Bu nedenle tüm üretimlerin ham hâli yerine son işlem için seçilmiş bir bölümü kullandım. Uzun bir kurgu çalışmasında da aynı yöntemi izlerdim: önce sahneyi, yüz ifadesini ve müzikle uyumu değerlendirir, sonra görüntüye daha maliyetli işlemler uygularım. Upscaler, çekimin şarkıya uyup uymadığına karar vermez.

SeedVR2 7B fp8 test sonuçları

Süreyi RTX 4090 ekran kartımda yaptığım bu çalışmanın sonucu olarak değerlendiriyorum. Herhangi bir video için garanti edilen performans gibi sunmuyorum. Klip uzunluğu, boyutlar, bellek yönetimi veya işleme ayarları değiştiğinde tüm görevin nasıl çalışacağı da değişebilir. Raporda bu etkileri sayısal olarak açıklamaya yetecek sayıda deneme yok.

“1080p” ifadesini de açıklamak gerekiyor. Bu testte 1080, görüntünün yüksekliğini ifade ediyor; gerçek çıktı 1872×1080 boyutundaydı. Genişliği alışılmış bir değere çevirmiyorum ve görüntünün kırpıldığını da söylemiyorum. Klibi bir kurgu projesine eklerken kişiyi esnetmemek için tuvale nasıl sığdığını kontrol ederdim.

Öncesi ve sonrası: Görüntüde ne değişti?

Hazırladığım karşılaştırmanın sol tarafı daha yumuşak görünüyor. Gözlük çerçevesi, şapka kenarları ve ağız çevresindeki geçişler daha az belirgin. Sağ tarafta çerçeveyi, sakalı ve sweatshirt dokusunu daha kolay seçebiliyorum. Fark, sahnenin genel renkleri yerine yüze odaklandığımda özellikle belirginleşiyor.

Bunu özgün kayıttan gerçek ayrıntıların geri kazanılması olarak tanımlamıyorum. Görüntü üretken yapay zekâyla oluşturuldu; SeedVR2 ise ayrıntıları yeniden oluşturuyor. Daha belirgin bir doku ikna edici görünebilir ama üretimden önce var olan bir şeyin aslına sadık kaydı değildir. Bu nedenle yüzü incelerken öncelikle kişinin tutarlılığına, ağız şekline ve gözlüklerin görünümüne bakıyorum.

Tek bir kareden oluşan karşılaştırma, seçilen görüntüdeki detayların okunaklılığını göstermek için yeterli. Ancak tek başına hareket hâlindeki görüntünün kararlılığını doğrulamaz. Buradan klibin tamamında titreme olmadığı veya tüm karelerin aynı olduğu sonucunu çıkarmıyorum. Bu ayrım, videoyu yalnızca etkileyici bir ekran görüntüsüne bakarak değerlendirmemek açısından önemli.

ComfyUI’da yükseltme aşaması nasıl kurulur?

Kullandığım araç ailesi ComfyUI-SeedVR2_VideoUpscaler entegrasyonuna sahip. Anlattığım iş akışında SeedVR2LoadDiTModel, SeedVR2LoadVAEModel ve SeedVR2VideoUpscaler düğümleri bulunuyor. Ayrıca isteğe bağlı SeedVR2TorchCompileSettings kullanılıyor. Bu son öğeyi indirilecek ek bir ağırlık dosyası olarak değerlendirmiyorum.

Uygulamada onaylanmış giriş görüntüsünü uygun model ve VAE yükleyicilerine bağlıyor, ardından hedef görüntü yüksekliğini ayarlıyorum. Test notlarında yerel bir yardımcı betiğin şu komutla çağrıldığı yazıyor: python klip.py upscale <klip.mp4> 1080. Bu, denemede kullanılan betiğin arayüzü; uzantıyı kurduktan sonra herkesin kullanabileceği evrensel bir komut değil.

Raporda tam bir hazır ayar bulunmadığından, doğrulanmış bir hazır ayar eklemiyorum. Kayıtlar 7B fp8 modelini, çözünürlüğü, süreyi ve bu aşamanın iş akışındaki yerini doğruluyor. Önceki araç açıklamasında 3B sürümünün dosyalarından da söz ediliyor. Bu checkpoint boyutlarını ölçümde kullandığım modelle karıştırmıyorum.

Bellek ve ayarlar: İpuçları ile test sonuçları arasındaki fark

SeedVR2 açıklamasında CPU’ya offload, block swap ve VAE tiling, ekran kartı belleği üzerindeki baskıyı azaltma yöntemleri olarak anlatılıyor. Kendi grafiğimi planlarken bunları seçenek olarak değerlendiriyorum, ancak belirli bir zaman kazancı atfetmiyorum. Testte farklı ayarların karşılaştırması veya en yüksek VRAM ve RAM kullanımı ölçümü yok.

Bellek yetersizliği yaşanırsa öncelikle işlem aşamalarını birbirinden ayırır ve modellerin aynı anda bellekte tutulmasını sınırlarım. Ardından blok değiştirme ayarlarını, işlenen parti boyutunu ve hedef görüntüyü kontrol ederim. Bunlar belgelerde yer alan sorun giderme önerileri; anlattığım çalışmada karşılaşılan hataların listesi değil. Bunları uygulanmış düzeltmeler gibi sunmuyorum.

Daha uzun bir materyalde çalışmayı onaylanmış çekimlere göre bölerdim. Boş ekran kartı belleği, işlemin tamamının sistem belleğine sığacağını kanıtlamaz. Bununla birlikte, zamansal tutarlılığa etkisini kontrol etmeden parti boyutunu da küçültmezdim. Bellek tasarrufu ancak sonuç kurguya uygun kalıyorsa anlamlıdır.

Testte yükseltme hangi sorunları çözmedi?

SeedVR2 sonrasında senkronun arttığını gösteren ayrı bir ölçümüm yok. Sonuç tablosunda bu aşama için önceki değere atıf yapılıyor. Dolayısıyla vardığım sonuç sınırlı: InfiniteTalk V2V dudak senkronunu iyileştirdi; SeedVR2 ise çözünürlüğü artırıp görüntü detaylarını değiştirdi. Bu iki sonucu, şarkı söyleme performansını otomatik olarak düzelttiği vaadine dönüştürmüyorum.

Upscaler’a kare hızındaki değişimi de bağlamıyorum. Kare enterpolasyonu, belgelerde RIFE ile açıklanan ayrı bir işlem. SeedVR2 ölçümünün parçası değildi. Benzer şekilde görüntü keskinliğinin artması elleri, hatalı bir enstrümanı veya inandırıcı olmayan hareketleri otomatik olarak düzeltmiyor. Bu tür sorunları, görüntüyü son işlem için seçmeden önce değerlendiriyorum.

Pratik kullanımda maliyet ve lisans

Yükseltme aşaması yerel donanımı kullandı; kayıtlardaki maliyet kalemi elektrik. Enerji tüketimini ölçmediğim için klip başına fiyat vermiyorum. İş akışının önceki aşamalarında ücretli Seedance kullanılmıştı. Bu nedenle “yerel yükseltme”, tamamlanmış içeriğin önceki aşamalarda hiçbir harcama yapılmadan üretildiği anlamına gelmiyor.

Kaynaklardaki entegrasyon deposu ve resmî SeedVR projesi Apache-2.0 lisansı altında tanımlanıyor. Bu bilgileri test parametrelerinden ayrı olarak kontrol ettim. Ek ağırlıkları ve uzantıları seçerken lisans koşullarını ilgili bileşene göre değerlendiriyorum. Kodun kullanım hakları, işlediğim görüntü ve müzik üzerindeki hakların yerine geçmez.

Sık sorulan sorular

SeedVR2 bu klibi 1080p yaptı mı?

Evet, sonuç 1872×1080 boyutundaydı. En-boy oranını tek başına hedef kalite adı açıklamadığı için tam boyutları paylaşıyorum. Dışa aktarırken yüzü esnetmeden klibin projeye nasıl sığdığını kontrol ederdim.

7B fp8 sürümü 3B’den daha iyi mi?

Bu materyalde ikisini doğrudan karşılaştırmadım. Raporda 7B fp8 kullanıldığı belirtiliyor. Yalnızca daha büyük model adından hareketle kalite veya hız sıralaması çıkarmıyorum.

Tek bir kareye bakarak karar verebilir miyim?

Hayır. Kare üzerinden detayları inceledim ama çekimin tamamını onaylamadan önce sesi dinlemek ve videoyu hareket hâlinde izlemek gerekir. Özellikle ağız bölgesinde daha net bir görüntü, önceki bir hatayı daha görünür kılabilir.

SeedVR2’yi ne zaman tekrar kullanırım?

Sahneyi ve oynatmayı onayladıktan sonra, düşük çözünürlük klibin kurguda kullanılmasını kısıtlıyorsa kullanırım. Bu test, son işlem aşamasını destekliyor ancak üretilen her sürümü seçmeden büyütmek için yeterli dayanak sunmuyor.

Test klibi Seedance ile oluşturuldu ve ComfyUI içinde yerel dudak senkronu işleminden geçti. Kendi ekran kartınızda çalıştırabileceğiniz diğer modelleri Yerel yapay zekâ rehberinde anlatıyorum.

// okumaya devamKimya için hangi yapay zekâ? ChatGPT Plus testiKarşılaştırmalarGPT-6.1 Terra bilgisayar kullanımı: Form doldurma testiKarşılaştırmalarTürkçe yazan yapay zekâ görselleri: 21 model testiKarşılaştırmalar