Yeni açılmış bir web sitesini Google gibi arama motorları üzerinden sıfırdan büyütmek zorlu bir süreç olabilir. Fakat son zamanlarda AI tabanlı arama motorları (örneğin ChatGPT, OpenAI Search vb.) sayesinde web sitelerinin bilinirliğini artırmak için farklı ve ilgi çekici yöntemler ortaya çıkıyor. Ben de kendi web sitem için bunu bir vaka çalışması olarak ele almaya karar verdim. GPT Search Index Talebi oluşturdum.
Başlangıç Noktası: Log Dosyalarını İncelemek
Web sitem henüz çok yeniydi ve Google üzerinden henüz anlamlı bir trafik elde etmiyordum. Web sitemin hangi arama motorları tarafından ziyaret edildiğini ve botların davranışlarını takip etmek için log dosyalarımı düzenli olarak analiz ediyordum.
İlk yaptığım incelemelerde fark ettiğim şey, özellikle OpenAI kaynaklı AI Tarayıcı (AI Crawler) botların (GPTBot, OAI-SearchBot ve ChatGPT-User) web siteme hiç uğramadığıydı. Birinci görselimde de net şekilde göründüğü üzere, OpenAI tarafında herhangi bir hareketlilik mevcut değildi.
Deneysel Çalışmalar ve İlk Adımlarım
OpenAI’ın dökümantasyonunu (https://platform.openai.com/docs/gptbot) detaylı inceledikten sonra harekete geçmeye karar verdim. Henüz engellenmiş olmasa bile, özellikle bu üç bot için sitemde açıkça izin vermenin botların siteyi taramasını kolaylaştıracağını düşündüm.
Bu nedenle ilk olarak robots.txt dosyamda aşağıdaki user-agent’ları açıkça tanımlayıp izin verdim:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
Ek olarak, OpenAI tarafından belirtilmiş IP adreslerini doğrudan .htaccess üzerinden whitelist’e aldım. Bu IP listesine buradan ulaşabilirsiniz: https://platform.openai.com/docs/gptbot.
Sonrasında, ChatGPT’yi kullanarak OpenAI’a web sitemi verdim ve site haritam üzerinden kapsamlı bir araştırma yapmasını talep ettim. Ayrıca siteyi incelerken içeriğin kalitesi, konsepti ve sitemin önemini detaylandıran kısa bir brief de ekledim.
Sonuçlar: OpenAI Botlarının Sitemi Keşfetmesi
Bu denemelerin ardından sonuç oldukça hızlı gerçekleşti. Log dosyalarımdaki trafiği tekrar kontrol ettiğimde (ikinci görselimde görebileceğiniz gibi), web sitem neredeyse tamamen ChatGPT-User ve OAI-SearchBot tarafından derinlemesine taranmıştı.
Bu bot trafiği artışı oldukça umut verici bir sonuç oldu.
Deneyin etkisini daha net ölçebilmek adına, farklı hesaplardan ve IP adreslerinden testler gerçekleştirdim. Bu testlerde, özellikle sitemin odaklandığı konularda sorgular yaparak, örneğin “Tolunay Togul kimdir?” gibi aramalarda web sitemin içeriklerinin ChatGPT tarafından referans olarak kullanıldığını ve oldukça detaylı cevaplar verdiğini net bir şekilde gördüm.
AI Search ile Erken Aşamada Branding Yaratmak Mümkün
Bu çalışma sayesinde şunu çok net bir şekilde gördüm ki, henüz Google’dan dahi anlamlı bir trafik almayan, yeni kurulmuş bir web sitesi için bile AI tabanlı arama motorlarında branding yaratmak mümkün. Henüz AI arama motorlarında öne çıkmak için net ve sabit kriterler belirlenmemiş olsa da, bilinçli olarak yapılan bu tür optimizasyonların web sitesinin bilinirliğini önemli ölçüde artırdığını söyleyebilirim.
Gelecekte özellikle GEO ile beraber arama alışkanlıklarının ve trafiğin önemli bir bölümünün AI tabanlı araçlara kayacağını düşündüğüm için, özellikle yeni web sitelerinin bu yönde çalışmalar yapmasını ve log analizleriyle bot trafiğini aktif olarak takip etmesini kesinlikle tavsiye ederim.
