InfiniteTalk ComfyUI kurulumu: RTX 4090 testim

👁 115 okunma

InfiniteTalk’ı ComfyUI’de RTX 4090 ile, Lehçe bir şarkıdan alınmış bir kesitle test ettim. Yerel olarak üretilen klip 20 saniyeydi; hesaplama 1284 saniye, yani 21 dakikadan uzun sürdü. Test sırasında transformers, torchaudio ve LoRA birleştirme sorunlarıyla karşılaştım. Denediğim kurulumu ve gerekli dosyaları anlatırken, testte kaydedilen ayarlarla önerilen bellek ayarlarını birbirinden ayırıyorum.

ComfyUI’ye ne kuruyorum?

InfiniteTalk’ı ComfyUI-WanVideoWrapper üzerinden kullandım. Bu eklenti video modelinin, InfiniteTalk modülünün ve ses temsillerinin yüklenmesini sağlıyor. Anlattığım kurulumun tabanı Wan 2.1 I2V; bu nedenle tabanı istediğiniz daha yeni bir Wan ailesiyle değiştirmiyorum. Aynı üreticinin adını taşıyan modellerin ve düğümlerin tüm ağırlıkları desteklediği anlamına gelmiyor.

Kurulumu hazırlarken wrapper deposunu kullandığım ComfyUI kurulumunun custom_nodes klasörüne koyuyorum. requirements.txt dosyasındaki bağımlılıkları aynı ComfyUI kurulumuna atanmış Python yorumlayıcısıyla yüklüyorum. Sistem genelindeki rastgele bir pip komutuyla paket kurmaktan kaçınıyorum; aksi halde kütüphane bilgisayarda bulunabilir, ancak uygulama tarafından görülemeyebilir.

Eklentiyi kurup ComfyUI’yi yeniden başlattıktan sonra örnek InfiniteTalk iş akışını yüklüyorum. Yeni checkpoint’ler indirmeden önce eksik düğüm olup olmadığını kontrol ediyorum. Belgelerdeki örnek farklı bir ağırlık varyantı kullanıyor; fp8 için loader’ı ve dosyaları bilinçli seçmek gerekiyor. Bir checkpoint’in adını değiştirmek dönüştürme işlemi yapmaz.

fp8 modelleri ve dosya boyutları

Aşağıda araç kartında açıklanan kurulumu listeliyorum. Boyutlar, kart yükünü ölçerek değil, Hugging Face’e kaydedilmiş metadata’dan alındı. GB değerleri ondalık sistemdedir. Offload, tamponlar ve düğümlerin çalışma sırası işlem sırasında bellek kullanımını değiştirdiğinden, bu değerleri VRAM gereksinimi olarak toplamıyorum.

Taban modeli ve InfiniteTalk modülünü models\diffusion_models klasörüne, metin kodlayıcısını models\text_encoders klasörüne, VAE’yi models\vae klasörüne, CLIP Vision’ı models\clip_vision klasörüne koyuyorum. wav2vec’in konumunu ses loader’ına göre belirliyorum. Her iki bileşen de girdi verisini işliyor diye wav2vec’i metin kodlayıcısı klasörüne koymuyorum.

İş akışında WanVideoModelLoader, MultiTalkModelLoader, Wav2VecModelLoader, MultiTalkWav2VecEmbeds, WanVideoImageToVideoMultiTalk, WanVideoSampler ve WanVideoVAELoader düğümlerinin bulunduğunu kontrol ediyorum. InfiniteTalk’ın yerel yolundaki tam checkpoint, MultiTalkModelLoader tarafından yüklenen küçük modülün yerine doğrudan kullanılamaz. Grafiği çalıştırmadan önce formatlar arasındaki farkları kontrol ediyorum.

RTX 4090’da lightx2v, vokal ve üretim süresi

Kaydedilen denemede lightx2v ve 6 adım kullandım. Bu sayıyı standart Wan tabanı için evrensel bir ayar olarak sunmuyorum. Kısa örnekleme süresini uygun eklenti ve yapılandırmayla birlikte değerlendirmek gerekiyor. Test raporunda kullanılan LoRA’nın tam dosya adı yer almadığından, yeniden üretim için kesinmiş gibi belirli bir checkpoint adı vermiyorum.

Karşılaştırma için Lehçe bir şarkıdan 14,5 ile 34,5 saniyeler arasındaki bölümü seçtim. Girdiyi hazırlarken görüntüyle vokalin başlangıcını eşleştiriyorum, son klibi de orijinal miksle birleştiriyorum. Ayrıştırılmış ses, mimikleri yönlendirmeye yardımcı oluyor; ancak hazır videodaki tam şarkının yanlışlıkla onunla değiştirilmemesi gerekiyor.

1284 saniyelik süre, 20 saniyelik bir klip için ölçüldü. Ağız açıklığının vokal ses düzeyiyle korelasyonu, eşleşen ilk 15 saniyede 0,471; kesitin tamamında 0,424 oldu. Yüz, sürenin %100’ünde algılandı. Bu ölçüm, demucs ile ayrıştırılmış vokali kullanan MediaPipe sonucudur; Lehçedeki tüm seslerin doğru telaffuz edildiğine dair bir değerlendirme değildir. Testi Lehçe yaptım.

Araç kartı metin kodlayıcı için offload, block swap ve VAE’yi ayrı çözme seçeneklerini öneriyor. Rapor tam bir ön ayarı veya en yüksek VRAM kullanımını kaydetmediği için bunları bellek yönetimi önerileri olarak ele alıyorum. RTX 4090’da çalışmış olması, her uzunluk, çözünürlük ve grafın aynı rahatlıkla çalışacağını garanti etmiyor.

Transformers 5.x: hidden_states düzeltmesi

Wrapper’da, wav2vec bileşeninin hidden_states işlemesi için transformers 5.17’ye yönelik bir düzeltme gerekiyordu. Test kaydında orijinal dosyanın kopyası nodes.py.orig-2110 adıyla yer alıyordu. Modeller yükleniyor, ancak ses işleme sırasında uygulama duruyorsa bu, sorunu araştırmak için faydalı bir ipucu. Sorun, kütüphanelerin birlikte çalışmasıyla ilgiliydi; şarkının Lehçe sözleriyle ilgili değildi.

Notlarda bu düzeltmenin diff’i bulunmuyor. Bu yüzden uydurma kod parçacığı veya değiştirilecek satır numarası vermiyorum. Bu kurulumu yeniden oluşturmak için düzeltmenin kaydı ya da wrapper ile transformers’ın uyumlu sürümleri gerekiyor. Testte doğruladığım çözümü, yalnızca “her şeyi güncelleyin” diyerek tarif etmek mümkün değil.

Torchaudio, merge_loras ve Windows’ta çalıştırma

Çalışan kurulumda torch 2.14 cu132 ile torchaudio nightly 2.11 kullandım. Bu sürümler, test ortamının kaydıdır; her kurulumu koşulsuz güncelleme önerisi değildir. Ses içe aktarma hatalarında model ağırlıklarını değiştirmeden önce Python yorumlayıcısını, torch sürümünü ve buna karşılık gelen torchaudio paketini karşılaştırıyorum.

Bir diğer engel LoRA birleştirmesiydi. Birleştirme Windows’ta access violation hatasına neden olduğu için merge_loras=False kullandım. Bu ayrım önemli: LoRA’yı değil, birleştirme işlemini devre dışı bıraktım. Eklentiyi kaldırıp kısa örneklemeyi sürdürmek, sonuçlarını anlattığım yapılandırmayı değiştirmiş olurdu.

ComfyUI’yi PYTHONUTF8=1 ile çalıştırdım. Ortamı yeniden oluştururken bu değişkeni işlemi başlatmadan önce ayarlıyorum. Paket sürümlerini kaydedip çalışan iş akışını da saklıyorum; böylece bağımlılıklarda sonradan yapılan bir değişiklikten sonra sorunun sesten mi, model yüklemeden mi, yoksa örnekleyiciden mi kaynaklandığını anlamak kolaylaşıyor.

V2V: hazır bir klipte ağız hareketlerini iyileştirme

Seedance 2.5 ile oluşturulmuş bir klipte V2V’yi de denedim. 4 adımın 2’sinde ve 1,5 değerindeki audio_scale ayarıyla ek işlem 656 saniye sürdü. Korelasyon 0,153’ten 0,366’ya yükseldi; yüz algılama oranı %77 oldu. Sonuç 832×480 çözünürlüğündeydi. Bu ayrı bir yapılandırma olduğundan ayarlarını temel lightx2v denemesiyle birleştirmiyorum.

InfiniteTalk V2V yalnızca ağız bölgesini değil, mimikleri ve hareketi de değiştirebilir. Bu nedenle işlemden sonra karakterin kimliğini ve performansın niteliğini de karşılaştırıyorum. Senkronizasyon göstergesinin iyileşmesi tek başına yeterli değil; önceki klibi seçme nedenim olan görüntü öğeleri kayboluyorsa sonuç istediğim gibi olmamış demektir. Giriş sürümünü saklamak bu değerlendirmeyi kolaylaştırıyor.

Kurulumdaki bileşenlerin lisansları

Kaynak belgelerde InfiniteTalk, WanVideoWrapper ve Wan 2.1 tabanı Apache-2.0 lisanslı. TencentGameMate kodlayıcısı ile belirtilen Kijai dönüştürmesi MIT, ComfyUI ise GPL-3.0 olarak listeleniyor. Kod, ağırlıklar ve eklentilerin koşullarını ayrı ayrı kontrol ediyorum. Wrapper’ın lisansı, yüklenen her model için otomatik olarak geçerli olmuyor.

LightX2V deposu listede Apache-2.0 lisanslı; ancak kullanılan LoRA’nın tam adı bilinmediğinden belirli dosyayı tanımlamak mümkün değil. Benzer şekilde, ek vokal ayrıştırma aracının lisansını ayrıca kontrol etmek gerekiyor. Hunyuan ailesine ilişkin kısıtlamaları, yalnızca Tencent adı geçtiği için wav2vec kodlayıcısına da uygulamıyorum.

Sık sorulan sorular

InfiniteTalk Lehçe şarkılarla çalışıyor mu?

Anlattığım denemede kullanılabilir bir sonuç aldım. Belirli bir şarkı kesitini test ettim; bu sonucu her ses rengine, tempoya ve artikülasyona genellemiyorum.

21 dakika kurulum süresini de kapsıyor mu?

Hayır. Kaydedilen 1284 saniye, klibin hesaplama süresini ifade ediyor. Ağırlıkları indirme, ortamı hazırlama ve hataları ayıklama süreleri raporda ayrıca ölçülmedi.

Transformers için hazır düzeltmeyi kopyalayabilir miyim?

Paylaşılan kayıtta düzeltmenin kodu yok. Yalnızca sorunun hangi bölümle ilgili olduğu ve orijinal dosyanın bir kopyasının adı belirtiliyor. Yapılandırmayı aslına uygun şekilde yeniden kurmak için rastgele bir dosya değişikliği değil, doğru diff gerekiyor.

Yeni başlıyorsanız önce Windows’ta ComfyUI kurulumu ve Yerel Wan 2.2 rehberlerine göz atın. Kendi ekran kartınızda modeller çalıştırma konusunu Yerel yapay zekâ rehberinde daha ayrıntılı anlatıyorum.

// okumaya devamSeedance 2.5, Wan 3.0 ve InfiniteTalk lip-sync testiKarşılaştırmalarXiaomi MiMo-V2.6: fiyatı, benchmark sonuçları ve testimKarşılaştırmalarWan 2.2 yerel kurulum: RTX 4090’da süre ve VRAM testiKarşılaştırmalar