AI için web scraping: Firecrawl, Crawl4AI ve arama araçları

👁 118 okunma

Bir dil modelinin güncel fiyatlar, dokümantasyon veya web sayfalarındaki değişiklikler hakkında yanıt verebilmesi için kaynaklara ihtiyacı vardır. Bu rehber; içerik alma, web sitelerinde gezinme, arama ve tarayıcı kullanma araçlarını birbirinden ayırıyor. Bilgiler Ekim 2026 itibarıyla geçerlidir.

Başlangıç noktası: serideki 10 yazı

• Firecrawl - API, MCP ve fiyatlandırma; 5.000 kredi için 19 USD.
• Crawl4AI - Yerel, açık kaynaklı scraper; kurulum ve üç sitede testim.
• Jina Reader - Tek bir bağlantıyla web sayfasını Markdown’a dönüştürme, hesap gerektirmeden.
• Firecrawl mı, Crawl4AI mı, Jina Reader mı? - Hangi scraper hangi iş için uygun?
• Scraping ne kadara mal olur? - 1.000 ve 10.000 sayfa veya sorgunun maliyeti, USD cinsinden.
• Tavily, Exa mı, Brave mi? - Ajanlar için API arama motorları.
• MCP ile scraping - Firecrawl’ı Claude, Cursor ve ChatGPT’ye adım adım bağlama.
• Apify ve Actors - Google Maps ve Instagram için hazır scraper’lar.
• Ajanlar için tarayıcılar - Browserbase, Browser Use ve Steel.
• Scraping yasal mı? - GDPR, metin ve veri madenciliği, veri tabanları ve robots.txt.

Dört kategori: Ajanınızın ihtiyacı tam olarak ne?

Scraping, belirli bir adresteki bilgileri alıp kullanılabilir bir biçime dönüştürmektir. Sonuç, bir makalenin Markdown metni, fiyat listesi veya şemada belirtilen alanları içeren bir JSON nesnesi olabilir. Kaynağın adresini zaten biliyorsanız doğru başlangıç noktası budur. Ancak scraper’ın en güncel bilgiyi nerede bulacağını bilmesi gerekmez. Ayrıca bütün bir web sitesini anlaması veya tüm formlarını kullanabilmesi de beklenmemelidir.

Crawling, alt sayfalar arasında gezinmeyi de ekler. Süreç belirli bir noktadan başlar, bağlantıları bulur ve kurallara göre seçilen adresleri ziyaret eder. Bir ürünün dokümantasyonunu tararken alan adını sınırlamak, izin verilen yolları belirlemek ve tekrarları atlamak işe yarar. Bu kurallar olmazsa küçük bir talimat kümesi; arşivleri, farklı dil sürümlerini ve filtre sayfalarını gereksiz yere indirmeye dönüşebilir. Kapsamı, bulunan bağlantı sayısı değil, görevin amacı belirlemelidir.

Arama daha önce devreye girer: Bir soruyu alır ve olası kaynakları bulur. Bazı API’ler öncelikle bağlantılar ve açıklamalar döndürür; bazıları içerik parçalarını veya senteze uygun sonuçları da sunar. Yine de kaynağın yanıtı gerçekten doğrulayıp doğrulamadığını kontrol etmeniz gerekir. Arama sonucundaki isabetli bir başlık, özellikle fiyat, bir düzenlemenin yürürlüğe giriş tarihi veya belirli bir yazılım sürümü söz konusu olduğunda, belgeyi okumakla aynı şey değildir.

Tarayıcı, bir programın veya ajanın kontrol edebildiği web tarayıcısıdır. Bir filtre seçmek, farklı ekranlarda ilerlemek ya da ancak etkileşimden sonra görünen bir sonucu okumak gerektiğinde kullanışlıdır. Ancak oturum durumu, işlem süresi ve istenmeyen bir eylemin gerçekleşmesi riski de getirir. Sıradan bir makale için tarayıcı başlatmak gereksiz olabilir. Bu kategoriler pratikte örtüşür: Aynı sağlayıcı arama, içerik çıkarma ve tarayıcı oturumu hizmetleri sunabilir.

En basit iş akışı şöyledir: soru, kaynakları arama, seçilen içerikleri alma, tarihleri kontrol etme ve yanıtı hazırlama. Kendi adres listeniz varsa arama aşamasını atlayabilirsiniz. Kaynak uygun bir resmî API sunuyorsa önce bu API’nin verilerini ve koşullarını inceleyin. Ajanın scraping yapabiliyor olması, scraping’in ilk seçenek olması gerektiği anlamına gelmez.

Araç haritası: tek bir adresten hazır kayıtlara

Araç seçimi, beklenen sonuç biçimiyle başlar. Markdown, dokümantasyon ve makaleleri okumaya uygundur ancak alan türleri garanti edilmiş bir veri tabanı değildir. JSON doğrulamayı kolaylaştırır; yine de sözdiziminin doğru olması içeriğin doğru olduğunu kanıtlamaz. Tekrarlanabilir bir şirket veya ürün listesine ihtiyacınız varsa belirli bir hizmet için hazırlanmış scraper, herhangi bir web sayfasını dönüştüren genel bir araçtan daha kullanışlı olabilir.

Aşağıdaki tablolar ürünlerin temel işlevini gösteriyor. Bunlar başarı sıralaması değildir; diğer özelliklerin bulunmadığı anlamına da gelmez. Kapalı bir hizmetin açık kaynaklı istemcisi veya MCP sunucusu olabilir. Açık bir depodaki yazılımın varlığı da üreticinin barındırma hizmetinin ücretsiz olduğu anlamına gelmez.

Daha ayrıntılı incelemeler: Firecrawl, Crawl4AI, Jina Reader ve Apify ve Actors. İlk çözümler arasındaki pratik farkları Firecrawl, Crawl4AI ve Jina Reader karşılaştırması anlatıyor.

Ayrı bir yazıda Tavily, Exa ve Brave karşılaştırılıyor. Ajanlar için tarayıcılar rehberi ise altyapıyla görevi yerine getiren model arasındaki farkı açıklıyor. Parallel ve Linkup, güncel dokümantasyonu ve fiyatlandırması bulunan ek alternatiflerdir; karşılaştırılabilir veri olmadan popülerlik sıralamasına yerleştirilmemişlerdir.

Fiyatlar: Önce ölçüm birimi, sonra hesap

Sağlayıcılar abonelik, kredi kullanımı veya birbirinden bağımsız birkaç kalem üzerinden ücret alabilir. Özellikle aylık kullanım limitini, deneme amacıyla verilen tek seferlik kredilerle karıştırmak kolaydır.

Örneğin, çok sayıda sayfa içeren ücretli bir planın birim maliyeti ancak paketin tamamını kullandığınızda düşük olabilir. Paketin yalnızca küçük bir kısmını indirirseniz, işe yarar her sayfanın gerçek maliyeti artar. Arama hizmetlerinde de benzer bir durum vardır: Bir sorgu çok sayıda adres döndürebilir, ancak bunların her birinin tam içeriğini almak ayrı bir işlem olabilir. İş akışını tanımlamadan tablodaki maliyetleri toplamayın.

Bilgiler, adı geçen sağlayıcıların resmî fiyatlandırma sayfalarından alınmıştır. Scraping maliyetinin tamamını ele alan rehber, daha yüksek kullanım senaryolarını ve ek varsayımlar olmadan sayfa başına fiyatı hesaplanamayan ürünleri de inceliyor.

Bütçenizde modelin çalışmasını da hesaba katın. Menünün, altbilginin ve tekrarlanan açıklamaların tamamını modele göndermek, ajanın okuması gereken metin miktarını artırır. Bu yüzden daha temiz bir sonuç, indirme başına fiyatı yüksek olsa bile daha ekonomik olabilir. Öte yandan içeriği aşırı kısaltmak bir dipnotu veya fiyat koşulunu silebilir. Tasarruf, ancak doğru yanıt için gereken bilgiler korunuyorsa anlamlıdır.

Testim: Başlıklar, tablolar ve videolardan ne kaldı?

Kling hakkında Lehçe yayımlanmış bir makaleyi Jina Reader ile, API anahtarı kullanmadan indirdim. Testte Lehçe içerik kullandım; örneğin Türkçe bir test yapmadım. Tam yanıt 9.947 karakter, Markdown bölümü ise 9.763 karakter uzunluğundaydı. Markdown’da 17 başlık, 2 tablo ve 5 farklı MP4 adresi saydım. Böylece metin yapısı ve video bağlantıları korundu. Bu, aracın videoları izlediği veya videoların dökümünü hazırladığı anlamına gelmiyor. Bir dosyanın bağlantısı, dosyanın içeriğiyle aynı türde veri değildir.

Crawl4AI’ı ayrı bir ortamda kurup blogdaki belirtilen üç sayfayı indirdim. Üçü de HTTP 200 yanıtı verdi. Sonuçlar sırasıyla 23.478, 38.860 ve 44.607 karakter uzunluğundaydı; tek tek çalıştırma süreleri 0,938 saniye, 1,259 saniye ve 1,618 saniyeydi. Bu değerler, ana içerik filtresi uygulanmamış ham Markdown’ı gösteriyor. Menü ve makalelerin çevresindeki içerik de sonuçlara dahil olduğundan, metnin daha uzun olması daha başarılı içerik çıkarımının kanıtı değildir.

Crawl4AI tabloları korudu, ancak HTML’de bulunan MP4 adreslerini ham Markdown’a aktarmadı. Aynı sayfa için Jina, okumaya daha hazır bir içerik sundu. Bu sonuç yalnızca kullanılan ayar ve küçük test örneği için geçerlidir. Crawl4AI’da içerik filtresi kullanılmadı; filtre sonucu değiştirebilir. Tek bir çalıştırma, sitenin tasarımı değiştiğinde aracın ne kadar güvenilir olacağını da göstermez.

Aynı makale için Firecrawl’ın anonim deneme ortamını çalıştırdım. İşlemin başarılı olduğunu ve sonucun bir bölümünü gösterdi, ancak tam Markdown’a erişmek için hesap gerekiyordu. Tavily ve Exa testleri ise giriş ekranında durdu. Dolayısıyla bu ürünlerin tümüne karşılaştırılabilir kalite veya hız puanları vermek için yeterli veri yok. İşlevleri ve fiyatları hakkındaki bilgiler dokümantasyona dayanıyor; bunlar yapılmamış bir testin sonucu değil.

Araç nasıl seçilir ve ajana nasıl bağlanır?

Kaynakları temsil eden küçük bir örneklemle başlayın. Dokümantasyon için açıklama sayfası, parametre tablosu ve kod içeren bir talimat seçebilirsiniz. Bir katalog içinse ürün sayfası, arama sonuçları listesi ve ürünün bulunmadığı bir sayfa kullanabilirsiniz. Hangi bilgilerin korunması gerektiğine önceden karar verin. Araçları ancak bundan sonra karşılaştırın. Yalnızca API’nin başarılı yanıt verip vermediğine bakmak, içeriğin önemli bir bölümünün eksik olduğunu gözden kaçırmanıza yol açabilir.

Herkese açık bir makaleyi ara sıra okumak istiyorsanız basit bir Reader iyi bir başlangıçtır. Hesap veya anahtar gerektirmeyen en kısa deneme için terminalde şu komutu çalıştırın:

curl https://r.jina.ai/https://example.com

Tekrarlanabilir bir uygulama geliştiriyor ve altyapı bakımını azaltmak istiyorsanız yönetilen API’leri inceleyin. Tarayıcı ayarları, filtreler ve yerel çalıştırma üzerinde kontrol istiyorsanız bir kütüphaneyi değerlendirin. Hedef hizmetin yapısı karmaşıksa hazır bir Actor’a bakın; ancak güncel çalışmasını kendi örnek verinizle test edin.

MCP, modelin işlevlere araç olarak erişmesini kolaylaştırır. Kaynak kalitesini kendiliğinden artırmaz, sağlayıcının sınırlarını kaldırmaz ve yerel bir programı her istemciden erişilebilir bir hizmete dönüştürmez. İstemcinin, ilgili sunucunun kullandığı aktarım biçimini ve yetkilendirme yöntemini desteklemesi gerekir. Ajanınıza daha kapsamlı bir görev vermeden önce herkese açık bir adresi okutan basit bir komutla bağlantıyı test edin.

İstemcilere yönelik talimatlar için MCP ile scraping rehberine göz atın. Yazılım geliştirme sırasında kodlama ajanları hakkındaki bilgiler; Crawl4AI’ı yerel çalıştırırken ise yerel AI rehberi işinize yarayabilir.

Kaynak adresini, indirme tarihini ve kullanılan modu kaydedin. Böylece daha sonra yaptığınız güncellemede sayfanın değişmesiyle içerik çıkarma aracının değişmesini birbirinden ayırabilirsiniz. Ajanın indirilen belgeyi mi, yoksa yalnızca arama sonucunun açıklamasını mı kaynak gösterdiğini de kontrol edin. En kullanışlı sistemin en fazla metni toplayan sistem olması gerekmez. Önemli olan, bir iddianın nereden geldiğini ve en son ne zaman kontrol edildiğini gösterebilmesidir.

Uygulamanın veri bulunamadığında ne yapacağını da belirleyin. Kaynağın erişilemez olduğunu veya yanıtı doğrulamadığını söyleyebilmelidir. Böyle bir durum tanımlanmazsa scraper, modeli boşlukları tahminle doldurmaya teşvik eden sürecin parçası olur. Pratikte bilginin bulunmadığını açıkça söylemek, akıcı yazılmış ama kaynağı olmayan bir yanıttan daha yararlı olabilir.

Yasal konular ve kişisel veriler: Ölçeği büyütmeden önce neyi kontrol etmeli?

Bir adresin herkese açık olması, içeriği istediğiniz gibi kopyalayabileceğiniz anlamına gelmez. İçerik üzerindeki hakları, veri tabanı korumasını, erişim koşullarını ve kişisel verilerin işlenmesini ayrı ayrı değerlendirmek gerekir. Aynı teknik süreç, kendi dokümantasyonunuzu incelemek için de başkasının veri tabanını topluca yeniden oluşturmak için de kullanılabilir. Aracın adı, kullanım amacının ve kapsamının önemini ortadan kaldırmaz.

Avrupa Birliği’ndeki metin ve veri madenciliği istisnasının koşulları ve hakların saklı tutulmasına ilişkin bir mekanizması vardır. Bu istisna, indirilen makaleleri bütünüyle yayımlama hakkıyla karıştırılmamalıdır. İsimler, iletişim bilgileri ve profiller söz konusu olduğunda GDPR da dikkate alınmalıdır. Verilerin giriş yapmadan görülebilmesi, GDPR ilkelerini geçersiz kılmaz.

robots.txt dosyası robotlara yönelik bir işarettir; kapsamlı bir hukuk görüşü veya lisans verme sistemi değildir. Kullanım koşulları ve açık hak saklı tutma bildirimleri ayrıca değerlendirilmelidir. Ticari bir projede kaynakları, amacı, saklanan verilerin kapsamını ve içeriğin kaldırılması taleplerine nasıl yanıt verileceğini belgeleyin. Bu, çok sayıda işi başlatmadan önce somut süreci değerlendirmenize yardımcı olur.

Temel ilkeler ve sınırlar hakkında ayrı bir yazı: Scraping AB’de yasal mı? Her web sitesi ve her içerik kullanımı için geçerli tek bir yanıt yoktur.

Sıkça sorulan sorular

AI ajanı her zaman scraper kullanmak zorunda mı?

Hayır. Resmî bir API veya doğrudan sağlanan bir belge yeterliyse ek olarak web sayfası indirmek gereksiz olabilir. Scraper, ihtiyaç duyduğunuz bilgi web sitesinin içeriğindeyse ve uygun kapsamda alınabiliyorsa işe yarar.

Ücretsiz bir araç, projenin de ücretsiz olduğu anlamına mı gelir?

Hayır. Yerel bir kütüphanenin lisans ücreti olmayabilir; ancak altyapı, bakım ve model çalıştırma maliyetleri devam eder. Buluttaki ücretsiz kredi bakiyesi süre, istek hızı veya özellik kapsamıyla sınırlı olabilir.

Bir tablonun korunmuş olması kaliteyi değerlendirmeye yeter mi?

Hayır. Sütun başlıklarını, birimleri, dipnotları ve hücreler arasındaki ilişkileri kontrol edin. Markdown ayraçlarının bulunması yapının korunduğunu gösterir, ancak tüm değerlerin doğru olduğunu kanıtlamaz.

GitHub yıldızları en iyi ürünü gösterir mi?

Bir depoya gösterilen ilgiyi gösterir; arama sonuçlarının isabetini veya belirli bir sayfanın başarıyla indirilmesini değil. Bir kütüphanenin yıldız sayısını kapalı bir hizmetin küçük istemcisinin yıldız sayısıyla karşılaştırmayın.

// okumaya devamWeb scraping yasal mı? RODO, TDM ve veri tabanı haklarıGenelTavily, Exa ve Brave Search API: AI ajanları için aramaYapay zekâ araçlarıGPT-6 Cyber Erişimi Nasıl Alınır: Daybreak Red ve BlueGenel