Seedance 2.5, Wan 3.0 ve InfiniteTalk lip-sync testi

👁 116 okunma

Aynı karakter karesi ve aynı şarkı bölümüyle Polonyaca bir parça için lip-sync yapay zekâ araçlarını test ettim. Görüntü açısından en çok Seedance 2.5’i beğendim, ancak vokalle dudak senkronizasyonu en zayıf onda çıktı. Wan 3.0, kullanılabilir bir playback elde etmenin daha hızlı yoluydu; fakat süre sınırına takıldım. Yerel InfiniteTalk ölçümde en iyi sonucu verdi, karşılığında daha uzun süre beklemek gerekti.

Aynı bölüm, aynı karakter

Deneme için şarkının Lehçe orijinalindeki “Kendi tarzımla çaldığımda” anlamına gelen bölümün 14,5-34,5 saniyelerini seçtim. Bu kısım ikinci nakaratı, davulların girişini ve kıtanın başlangıcını içeriyor. Böylece yalnızca uzun süre devam eden sakin bir sesli harfi değerlendirmedim. Enerjinin değiştiği bu bölümde yüzün şarkıya tepki verip vermediğini, yoksa yalnızca gösterişli bir animasyon mu yaptığını görmek daha kolay.

Başlangıç noktası, Z-Image Turbo ile yerel olarak hazırlanan aynı karakter karesiydi. API varyantlarında TAKT motoru üzerinden ses referansı kullandım. Yerel varyantta WanVideoWrapper üzerinden çalıştırılan InfiniteTalk, Wan 2.1 I2V 14B fp8 tabanı ve 6 adımda lightx2v kullanıldı. Bu, modellerin tüm olanaklarını değil, belirli yapılandırmaları karşılaştıran bir test.

20 saniyenin tamamını karşılaştırmayı planlamıştım, ancak Wan 3.0 bu uzunluktaki isteği tamamlamadı. Bu nedenle ortak ölçüm bölümü ilk 15 saniye oldu. Daha uzun bölümün sonuçlarını ortak sıralamaya eklemiyorum. Aksi hâlde modelleri içeriği farklı materyaller üzerinde karşılaştırmış olurdum ve tablo, yöntemin hak ettiğinden daha güvenilir görünürdü.

MediaPipe ile lip-sync ölçümünü nasıl yaptım?

lipsync_pomiar.py betiğinde MediaPipe ile algılanan ağız açılma eğrisini, demucs ile ayrıştırılan vokalin ses düzeyiyle karşılaştırdım. ±0,5 saniye aralığında kayma aradım. Korelasyonun yüksek olması, belirlenen yöntemle bu eğrilerin daha uyumlu olduğu anlamına geliyordu. Bu yaklaşım, yüzün sese genel tepkisini karakterin “şarkı söylüyor gibi” görünmesinden ayırmaya yardımcı oldu.

Bu ölçümün sınırları var. Ses düzeyi, her Lehçe ses için gereken ağız şeklini tam olarak açıklamıyor. Dudakların kapanması, ünsüzlerin artikülasyonu ve mimiklerin doğallığı izlerken ayrıca değerlendirilmelidir. Bu nedenle korelasyonu telaffuzun otomatik değerlendirmesi ya da izleyicinin tüm şarkının gerçekten söylendiğine inanacağının kanıtı olarak yorumlamıyorum.

Yüz algılama oranını da ayrıca kaydettim. InfiniteTalk ve Wan raporda %100, Seedance ise %69-76 değerlerine ulaştı. Yüzün daha az algılanması, ölçümün kapsamını kısıtlıyor ve doğrudan çıkarım yapmayı zorlaştırıyor. Rapor eksik algılamaların nedenini açıklamadığı için bir neden ileri sürmüyorum. Bu göstergeyi tek başına karar vermek için kullanmak yerine görüntüyü izleyerek değerlendiriyorum.

Kayma aramak, sonucun eğriler bu şekilde hizalandıktan sonraki uyumu da anlattığı anlamına geliyor. Bu, oluşturucudan indirilen dosyanın ses başlangıcının baştan itibaren kusursuz olduğu kanıtı değil. Bu yüzden bitmiş çekimi kurgularken sabit kaymayı ve uyumun sonraki müzik cümlelerinde sürüp sürmediğini ayrıca kontrol ediyorum. Tüm ses kaydını kaydırmak başlangıcı düzeltebilir, ancak şarkının devamında doğru ağız animasyonunun yerini tutmaz.

Sonuçlar, maliyetler ve bekleme süreleri

Süreler elde edilen klipler için geçerli: yerel varyant ve Seedance 20 saniyelik, Wan ise 15 saniyelik materyal üretti. Ortak süre yalnızca senkronizasyon ölçümünün yer aldığı sütun için geçerli. Tutarlar, bu denemenin maliyeti; her gün için geçerli bir fiyat listesi değil. Enerji tüketimini ölçmediğim için elektrik maliyetini eklemiyorum.

Görüntü ayarları da farklıydı. InfiniteTalk 25 kare/sn hızında 832×480, Wan 30 kare/sn hızında 1280×720, Seedance ise 24 kare/sn hızında 1280×720 görüntü verdi. Kurgu sırasında bu farkları dikkate almak gerekiyor. Ancak bu karşılaştırmada daha yüksek çözünürlük, şarkıyla daha iyi dudak uyumu sağlamadı.

Seedance: en iyi görüntü, kendi sesiyle ilgili sorun

Seedance’in ışığını, kompozisyonunu ve genel olarak bitmiş çekim hissini en çok beğendim. Bu, senkronizasyon ölçümünden ayrı tuttuğum görsel bir değerlendirme. Görüntü orijinal şarkı olmadan izlendiğinde güzel bir kare dikkati kolayca ağızdan uzaklaştırabiliyor. Görüntüyü gerçek vokalle eşleştirince estetik üstünlük tek başına yeterli olmadı.

Model kendi ses parçasını da oluşturdu. Bu parçanın orijinalle korelasyonu 0,12 oldu. Bu materyalde, notlarda belirtilen yaklaşık 47 ms kayma hesaba katılarak sesin orijinaliyle değiştirilmesi gerekti. Bu kaymayı başka kliplere otomatik olarak uygulamazdım. Modelin kendi ses parçası, sırf görüntüyle birlikte geldi diye şarkının ana kaydının yerini almamalı.

Wan 3.0: kullanışlı playback, ancak bu testte en fazla 15 saniye

Wan, Seedance’ten daha yüksek korelasyon elde etti ve bu denemede daha düşük maliyetliydi. En pratik sorun görüntüyü değerlendirmeden önce ortaya çıktı: 20 saniyelik istek ücret alınmadan generation_failed mesajıyla sonuçlandı. Yalnızca 15 saniyelik istek çalıştı. Bu testteki sınırı, denediğim API yolu için geçerli bir kısıtlama olarak değerlendiriyorum; mümkün olan her entegrasyonla ilgili bir kanıt olarak değil.

Müzik videosu planlarken daha kısa bölümler hazırlayıp kurgu kesimlerinin yerlerini belirlerdim. Süre alanı istenen değeri kabul ediyor diye daha uzun bir müzik cümlesinin de üretileceğini varsaymazdım. Görüntünün başarıyla oluşturulması ve klip sınırlarının müziğe uyması ayrı işler; yeni bir istek göndermeden önce ikisini de hesaba katmak gerekir.

Ölçümde InfiniteTalk önde, V2V ise ek bir seçenek

Yerel InfiniteTalk, ortak bölümde en yüksek korelasyonu elde etti. 20 saniyenin tamamındaki sonuç 0,424 oldu. Daha düşük çözünürlük ve daha uzun hesaplama süresi karşılığında, belirli bir bölümü şarkı söyleme işi için daha güçlü bir başlangıç noktası sundu. Bu, her kelimenin kusursuz biçimde artiküle edildiği anlamına gelmiyor.

Seedance’i yerel InfiniteTalk ile V2V modunda birleştirmeyi de denedim. 4 adımdan 2’sinde ve 1,5 değerindeki audio_scale ayarıyla korelasyon 0,153’ten 0,366’ya yükseldi. Yüz algılama oranı %77 oldu; ek aşama 656 saniye sürdü. 832×480 boyutunda bir görüntü elde edildi. Dolayısıyla playback’teki iyileşme, görüntü ayarlarının değişmesini kabul etmeyi gerektirdi.

Bu yöntem ölçümde tek başına InfiniteTalk’ı geçmedi, ancak API üzerinden daha önce oluşturulmuş görüntüyü kullanmayı sağladı. Sonraki SeedVR2 7B fp8 işlemi, ek 1034 saniyede görüntüyü 1872×1080’e çıkardı. Bunu seçilen çekimi son hâle getirme yöntemi olarak değerlendiriyorum. Görüntüyü büyütmek, senkronizasyonun da iyileştiğini kanıtlamaz.

Sık sorulan sorular

Lehçe şarkı için hangi modeli seçerdim?

Bu denemeye dayanarak playback en önemli unsursa InfiniteTalk’ı seçerdim. Daha kısa çekimler ve hızlı sonuç gerektiğinde Wan’ı değerlendirirdim. Seedance’i ise dudaklarda ek düzeltme yapmayı gerektiren görüntüler için kullanırdım.

En yüksek korelasyon kusursuz lip-sync anlamına mı geliyor?

Hayır. Tüm seslerin doğru söylenip söylenmediğini değil, ağız açılma hareketiyle vokal ses düzeyi arasındaki ilişkiyi ölçtüm. Sonuç bu denemeleri karşılaştırmaya yardımcı oluyor, ancak klibi orijinal miksle izleyerek değerlendirme yapmanın yerini tutmuyor.

Yerel üretim ücretsiz mi?

Raporda üretim ücreti olmadığını kaydettim. Elektrik, donanım ve çalışma ortamını hazırlama süresi yine de maliyet oluşturuyor. Enerji tüketimini ölçmediğim için toplam maliyet ya da her klip sayısında tasarruf sağlanacağı konusunda bir iddia sunmuyorum.

Model fiyatları ve erişim hakkında Seedance ve Wan 3.0 yazılarında, tam klip için çekim planı hakkında ise müzik videoları için Kling 4.0 yazısında bilgi verdim.

// okumaya devamGemini Omni 1.2 vs Seedance, Kling, Veo ve Wan KarşılaştırmasıKarşılaştırmalarGTA 6 Tarzı AI Video: Seedance, Wan 3.0 ve MiniMax KarşılaştırmasıKarşılaştırmalarSeedVR2 ile 480p videoyu 1080p’ye yükseltme testiKarşılaştırmalar