OpenAI, ChatGPT’nin 1 milyar kullanıcıya ulaşan depolama altyapısını nasıl ölçekledi?
OpenAI, ChatGPT’nin depolama altyapısını milyar kullanıcı ölçeğine nasıl taşıdığını anlattı. Teknik yazıdan öne çıkanlar.
👁 114 okunma
OpenAI, ChatGPT için depolama altyapısını ölçeklendirmeyi ele alan teknik yazı dizisinin ikinci bölümünü yayımladı. Bir milyar kullanıcı barajını aşan bir ürünün mühendislik altyapısına dair ayrıntıları paylaşması, bu ölçekteki şirketler arasında ender rastlanan bir durum. ChatGPT, yalnızca iki yılda internet tarihinin en hızlı büyüyen uygulamalarından biri oldu.
ChatGPT’nin 1 milyar kullanıcısı: Bir mühendislik sorunu
OpenAI’nin sözünü ettiği ölçeği kavramak zor. ChatGPT, Kasım 2022’de piyasaya çıktıktan sonra bir milyon kullanıcıya ulaşmak için yalnızca beş gün harcadı. Karşılaştırmak gerekirse Instagram’ın aynı sayıya ulaşması iki buçuk ay, Netflix’in ise üç yılı aşkın süre aldı. Şirket bugün bir milyardan fazla kullanıcıdan söz ediyor. Bu da altyapının, tüketiciye yönelik yapay zekâ uygulamaları tarihinde benzeri görülmemiş bir hızla ölçeklenmesi gerektiği anlamına geliyor.
ChatGPT’deki her sohbet veri üretir: konuşma geçmişi, bağlam, kullanıcı tercihleri, kullanıcıların yüklediği dosyalar ve belgeler; ücretli planlarda ise DALL-E veya kod yorumlayıcısı gibi araçların oluşturduğu içerikler. Bu, basit bir veritabanı sorunu değil. Gerçek zamanlı, güvenilir ve küresel ölçekte çalışan, iyi düşünülmüş bir veri kalıcılığı mimarisi gerektiriyor.
Veri depolamak neden en zor kısım?
Büyük dil modelleri söz konusu olduğunda tartışmalar genellikle hesaplama gücüne odaklanıyor: GPU sayısı, eğitim maliyeti ve çıkarım hızı. Depolama daha az dikkat çekici olsa da en az onlar kadar kritik. Kullanıcı ChatGPT’de bir sohbeti açtığında sistemin önceki mesajları, yüklenen dosyaları ve kullanıcının ya da API operatörünün belirlediği sistem talimatlarını içeren tüm bağlamı hızla geri yüklemesi gerekiyor. Bir milyar kullanıcı ve milyarlarca sohbet, dünyanın en büyük sosyal platformlarınınkine benzer hacimde veriyle çalışmak demek.
Geleneksel veritabanı yaklaşımı - bir bulut sağlayıcısından hazır çözüm satın almak ve kapasiteyi tek bir makineyi büyüterek artırmak - belli bir ölçeğin ötesinde işe yaramıyor. Meta, Google ve Amazon gibi şirketler de on yıl önce aynı sorunla karşılaştı ve Cassandra, Bigtable ve DynamoDB gibi kendi ihtiyaçlarına göre özelleştirilmiş sistemler geliştirdi. Görece genç bir şirket olan OpenAI ise aynı sorunu, her gün yüz milyonlarca kişinin kullandığı ürünü çalışır durumda tutarken çok daha kısa sürede çözmek zorunda kaldı.
OpenAI’nin teknik yazı dizisi sektöre ne anlatıyor?
OpenAI’nin bu zorlukları kamuoyuyla, üstelik birden fazla bölümden oluşan bir yazı dizisiyle paylaşması başlı başına dikkat çekici. Bu tür paylaşımların birkaç amacı olabilir. Öncelikle işe alım: mühendisler, sıradan CRUD sistemleri yerine teknolojinin sınırlarını zorlayan sorunlar üzerinde çalışmak isteyebilir. İkinci olarak, teknik çevrelerde itibar sağlar. Şirketin kendi sorunlarını anladığını ve bunları net biçimde anlatabildiğini göstermesi, API’yi kullanan geliştiricilerin güvenini güçlendirebilir. Son olarak, üretim sistemlerini ölçeklendirme bilgisinin hızla büyüyen yapay zekâ sektörü için değerli olduğu düşünüldüğünde, bu tür yazılar tüm sektör için öğretici olabilir.
Google’ın MapReduce ve Bigtable yayınları, Facebook’un fotoğraf depolama sistemi Haystack’i anlatan yazısı ve Netflix’in öneri sistemleri mimarisini ele alan çalışmaları da benzer bir yol izledi. Bu belgelerin her biri yıllar boyunca sektör için başvuru kaynağı oldu.
Google · KaynaklarınızParıldak'ı Google'ınızda üst sıralara taşıyın - tek tıklaTercih ettiğiniz kaynaklara ekleyin →Yapay zekâ şirketleri için depolama altyapısı neden önemli?
OpenAI’nin teknik yazı dizisi, dil modellerine dayalı çözümler geliştiren şirketler için pratik bir değer taşıyor; hiçbirinin bir milyar kullanıcıya hizmet vermesi gerekmese bile. OpenAI’nin bugün karşılaştığı zorluklar, uzun süreli belleğe sahip kendi yapay zekâ asistanlarını geliştiren şirketlerin de birkaç yıl içinde gündemine gelebilir. Örneğin hukuk büroları dava geçmişlerini, e-ticaret platformları kişiselleştirilmiş deneyimlere ilişkin verileri, müşteri hizmetleri sistemleri ise yıllara yayılan ilişkilere ait bağlamı saklayabilir.
Avrupa Birliği’ndeki GDPR gibi düzenlemeler, verilerin saklanması ve silinmesiyle ilgili ek yükümlülükler getiriyor; bu gereklilikler ABD’de aynı biçimde uygulanmıyor. Bu nedenle Avrupa’da yapay zekâ sistemleri için depolama mimarisi tasarlanırken unutulma hakkı, verilerin Avrupa Ekonomik Alanı dışına aktarılmasına getirilen kısıtlamalar ve depolama konumuna ilişkin gereklilikler de hesaba katılmalı. OpenAI’nin bu sorunları altyapı düzeyinde nasıl ele aldığı, Avrupa mevzuatına tabi çalışan mühendisler için de değerli bir örnek olabilir.
OpenAI’nin teknik yazı dizisi, basit bir sohbet penceresinin arkasında küresel finans ağlarını yöneten sistemler kadar karmaşık bir altyapı bulunduğunu hatırlatıyor. Bu altyapıyı pazarın belirlediği hızda kurmak, günümüzün en zorlu mühendislik sorunlarından biri.
Parıldak'taki benzer konular
