GEO ve llms.txt: AI Cevap Motorlarında Görünür Olmak İçin Neyin Kanıtı Var?
ChatGPT search, Perplexity, Google AI Overviews/AI Mode, Claude ve Copilot sayfaları nasıl bulup alıntılar; GEO ile klasik SEO farkı; GEO makalesi ve yeni çalışmalar ne diyor; llms.txt spesifikasyonu ve tam örnek; AI tarayıcıları ve robots.txt; yapılandırılmış veri; alıntılanan içerik kalıpları; AI trafiğini ölçmek ve kontrol listesi.
Güncellendi:
Kısa özet
İnsanlar artık bir sorunun cevabını on mavi bağlantıda değil, ChatGPT, Perplexity, Google'ın AI Overviews ve AI Mode'u, Claude ya da Copilot'un yazdığı tek bir cevapta okuyor. Bu cevapların altında birkaç kaynak bağlantısı var. Generative Engine Optimization (GEO), sayfanın o bağlantılardan biri olmasını hedefleyen çalışmanın adı; llms.txt ise bu konuşmada en çok adı geçen dosya.
Bu rehberin iddiası basit: kanıtı olanla olmayanı ayırmak. Cevap motorlarının nasıl çalıştığını, GEO makalesinin gerçekte ne ölçtüğünü, llms.txt'in spesifikasyonunu ve kimlerin onu kullanmadığını açıkça söylediğini, hangi botun ne işe yaradığını ve trafiği nasıl ölçeceğini anlatıyor.
Not: Bilgiler 24 Ekim 2026'da üreticilerin resmî dokümanlarından (OpenAI, Anthropic, Perplexity, Google, Bing, Apple), llmstxt.org'dan ve arXiv'deki makalelerden kontrol edildi. Bot adları ve politikalar sık değişir; robots.txt'ini güncellemeden önce kaynaklar bölümündeki sayfalara bir kez daha bak. Kaynağı üçüncü taraf olan bilgileri metinde ayrıca belirttik.
AI cevap motorları sayfaları nasıl bulur ve alıntılar?
Ürün farklı, iskelet aynı: hepsi web ölçeğinde bir RAG hattı çalıştırıyor. Kullanıcının sorusu bir ya da birkaç arama sorgusuna dönüşüyor, bir arama indeksinden aday sayfalar getiriliyor, bir LLM bu sayfaları okuyup cevabı yazıyor ve bazılarını kaynak olarak gösteriyor. Buradan çıkan ilk ders: indekste olmayan sayfa alıntılanamaz. Hangi indeksin hangi botla dolduğunu bilmek bu yüzden önemli.
- ChatGPT search: OpenAI'ın dokümanına göre ChatGPT'nin arama özelliklerinde sitelerin görünmesini OAI-SearchBot sağlıyor; bu botu engelleyen siteler ChatGPT search cevaplarında gösterilmiyor (yalnızca gezinme bağlantısı olarak çıkabiliyor). OpenAI'ın yayıncı SSS'sine göre engellenmiş bir sayfanın adresini üçüncü taraf bir arama sağlayıcısından ya da başka sayfaları tarayarak öğrenirse, yalnızca bağlantı ve başlığı gösterebiliyor; bunu da istemiyorsan
noindexkullanman gerekiyor (ve etiketi okuyabilmesi için tarayıcının sayfaya erişebilmesi). Kullanıcı bir sayfayı açtırdığında ise istek ChatGPT-User ile geliyor. - Perplexity: PerplexityBot Perplexity'nin arama sonuçlarında siteleri göstermek için tarıyor; Perplexity bunun model eğitimi için kullanılmadığını belirtiyor. Kullanıcı sorusu sırasında yapılan anlık ziyaretler Perplexity-User ile geliyor.
- Google AI Overviews ve AI Mode: Google'a göre bu özellikler doğrudan Google Search'ün sıralama sistemlerine ve indeksine dayanıyor. Model, bir soruyu birden çok ilişkili sorguya bölüyor (query fan-out) ve Search indeksinden sayfa getiriyor (Google bunu açıkça RAG / grounding diye tanımlıyor). Alıntılanabilmek için sayfanın indekste olması ve snippet ile gösterilmeye uygun olması gerekiyor; ek bir teknik gereksinim yok.
- Claude: Anthropic'in üç botu var: Claude-SearchBot arama sonuçlarının kalitesi için içeriği indeksliyor, Claude-User kullanıcı bir soru sorduğunda sayfayı getiriyor, ClaudeBot ise eğitim verisi topluyor.
- Microsoft Copilot: Bing'in AI Performance raporu, sitenin Microsoft Copilot'ta ve Bing'in AI özetlerinde ne sıklıkla alıntılandığını gösteriyor; yani Copilot alıntıları Bing'in taradığı ve indekslediği içerikten besleniyor. Bing, robots.txt ve diğer içerik sahibi tercihlerine uyduğunu yazıyor. Copilot'a özel ayrı bir tarayıcı adını resmî bir kaynakta bulamadım; pratikte yönetilecek bot bingbot.
Bir sayfanın getirilmesi ile alıntılanması aynı şey değil. Motor beş-on sayfa okuyup yalnızca birkaçını kaynak olarak gösterebilir; hangisini seçtiğinin mantığını hiçbir üretici açıklamıyor.
GEO ile klasik SEO arasındaki fark
| Klasik SEO | GEO | |
|---|---|---|
| Hedef | Sonuç listesinde üst sıra | Cevabın içinde kaynak olarak alıntı |
| Kullanıcının gördüğü | 10 bağlantı + snippet | Sentezlenmiş cevap + birkaç kaynak |
| Ana ölçü | Sıralama, gösterim, tıklama | Alıntı sayısı, cevaptaki pay, AI yönlendirmesi |
| Eşleşme | Sorgu ↔ sayfa | Birden çok alt sorgu (fan-out) ↔ sayfa parçaları |
| Rekabet | Diğer sayfalar | Diğer kaynaklar ve modelin kendi bilgisi |
| Ön koşul | Taranabilir, indeksli | Aynısı; ayrıca ilgili AI arama botlarına izin |
Fark, sanıldığı kadar büyük değil. Google'ın Mayıs 2026'da yayımladığı yapay zekâ optimizasyon rehberi açıkça şöyle diyor: Google Search açısından üretken AI araması için optimizasyon hâlâ SEO'dur; "AEO" ya da "GEO" hizmeti satın almayı düşünenlere üçüncü taraf SEO tavsiyesini değerlendirme rehberini gösteriyor. Aynı rehber "yapmanıza gerek olmayanlar" listesinde llms.txt'i, içeriği AI için küçük parçalara bölmeyi (chunking), yalnızca AI için yeniden yazmayı ve yapay "bahsetme" (mention) toplamayı sayıyor.
Öte yandan ChatGPT, Perplexity ve Claude Google'ın indeksini değil kendi ya da ortaklarının indekslerini kullanıyor; bu motorlar için ayrı botlara izin vermek ve onların loglarını izlemek SEO'nun klasik kontrol listesinde yoktu. GEO'nun gerçekten yeni olan kısmı büyük ölçüde bu: farklı indeksler, farklı botlar, farklı ölçüm.
Kanıt ne diyor?
GEO makalesi (Aggarwal ve ark., KDD 2024)
Terimi literatüre sokan çalışma, Pranjal Aggarwal ve arkadaşlarının (Princeton Üniversitesi, IIT Delhi ve bağımsız araştırmacılar) "GEO: Generative Engine Optimization" makalesi (arXiv 2311.09735, ilk sürüm Kasım 2023; KDD 2024'te yayımlandı). Yazarlar:
- 10.000 sorguluk GEO-bench'i kurdu.
- Kendi üretken motorlarını kurdu: her sorgu için Google'dan ilk 5 sonuç getiriliyor, cevabı GPT-3.5-turbo yazıyor.
- Kaynak metni dokuz yöntemle değiştirip cevaptaki görünürlüğü ölçtü: otoriter üslup, istatistik ekleme, anahtar kelime doldurma, kaynak gösterme (cite sources), alıntı ekleme (quotation addition), anlaşılır dil, akıcılık, özgün kelimeler, teknik terimler.
Sonuçlar:
- En iyi yöntemler (istatistik ekleme, alıntı ekleme, kaynak gösterme) görünürlüğü %40'a kadar artırdı. Ana metrikte (konuma göre ağırlıklı kelime sayısı) en iyi yöntem tabana göre %41, öznel izlenim metriğinde %28 iyileşme sağladı.
- Anahtar kelime doldurma işe yaramadı.
- Gerçek bir motorda, Perplexity.ai üzerinde, görünürlük artışı %37'ye kadar çıktı.
- Etki sıralamaya göre çok değişiyor: kaynak gösterme yöntemi arama sonuçlarında 5. sıradaki siteler için görünürlüğü %115,1 artırırken, 1. sıradaki sitelerin görünürlüğü ortalamada %30,3 düştü. Etki alana göre de değişiyor (örneğin istatistik ekleme hukuk ve tartışma sorularında öne çıkıyor).
Bu sonuçları okurken unutma: deney 2023 teknolojisiyle, araştırmacıların kendi kurduğu motorda ve benchmark sorgularında yapıldı. Bugünkü ChatGPT, Google ya da Perplexity'nin aynı tepkiyi vereceğinin garantisi yok. Makalenin sağlam mesajı yöntemlerin kendisinden çok yön: doğrulanabilir sayı, kaynak ve alıntı içeren metin, anahtar kelime yoğunluğundan daha çok işe yarıyor.
Daha yeni çalışmalar
-
Chen, Wang, Chen ve Koudas (Toronto Üniversitesi), "Generative Engine Optimization: How to Dominate AI Search" (arXiv 2509.08919, Eylül 2025): AI arama servislerinin kaynak seçimini Google ile karşılaştırıyor. Özetteki ana bulgu: AI arama, markanın kendi sitesi ve sosyal içerik yerine bağımsız üçüncü taraf, otoriter kaynaklara (earned media) sistematik ve güçlü biçimde yöneliyor; Google ise daha dengeli. Servislerin birbirinden de alan çeşitliliği, güncellik, diller arası tutarlılık ve sorgunun ifadesine duyarlılık açısından belirgin biçimde ayrıştığını raporluyorlar.
-
Aynı ekip, "Navigating the Shift" (arXiv 2601.16858, EDBT/ICDT 2026 çalıştayları): GPT-4o, Claude 4.5 Sonnet, Perplexity Sonar Pro ve Gemini 2.5 Flash'ı Google ile tüketici ürünü sorgularında karşılaştıran dört sayfalık bir çalışma. Öne çıkanlar:
- Örtüşme düşük: 1.000 sıralama sorgusunda AI'ın alıntıladığı alan adları ile Google'ın ilk 10 sonucu arasındaki ortalama örtüşme GPT-4o'da %4,0, Gemini 2.5 Flash'ta %11,1, Claude 4.5 Sonnet'te %12,6, Perplexity Sonar Pro'da %15,2. Google'da üst sırada olmak AI cevabında alıntılanmayı garanti etmiyor.
- Kaynak türü: Google dengeli (%41 bağımsız/earned, %34 sosyal, %26 marka); AI motorları bağımsız kaynakları öne çıkarıyor (Claude 4.5 Sonnet %65, GPT-4o %57) ve sosyal içeriği az temsil ediyor. Satın alma niyetli sorgularda ise hepsinde markanın kendi sitesinin payı %52–68'e çıkıyor.
- Güncellik: Alıntılanan sayfaların medyan yaşı tüketici elektroniğinde AI motorlarında 62–90 gün, Google'da 130 gün; otomotivde 148–217 güne karşı 493 gün. Yazarlar güncelliği AI aramasında "özellikle önemli bir sıralama faktörü" olarak yorumluyor.
- Ön eğitim etkisi: GPT-4o ile yapılan deneylerde popüler markalarda model sıralamayı büyük ölçüde kendi ön bilgisiyle yapıyor; üretilen sıralamalardaki markaların ortalama %16'sı getirilen hiçbir kaynakta geçmiyordu. Niş konularda ise sıralamayı doğrudan getirilen metinler belirliyor; yeni içeriğin cevabı değiştirme şansı en çok burada.
Kapsam dar (tüketici ürünleri, İngilizce sorgular, kaynak türleri GPT-4o ile etiketlendi); sayıları genel bir kural değil, yön olarak oku.
Üreticiler ne diyor?
- Google: AI Overviews ve AI Mode için "ek gereksinim ya da özel optimizasyon yok"; temel SEO geçerli. En çok etkiyi özgün, sıradan olmayan (non-commodity) içerik yapacak; içerik yazarken üçüncü kişilerin söylediklerini tekrar etmek yerine birinci elden deneyimi öne çıkarmak öneriliyor. Fan-out sorgularının her varyasyonu için ayrı sayfa üretmek ise ölçekli içerik istismarı spam politikasını ihlal ediyor.
- Bing: AI Performance raporunu GEO araçlarına doğru "erken bir adım" olarak tanıtıyor; az alıntılanan ama indekste olan sayfalarda netlik, yapı ve bütünlüğü iyileştirmeyi öneriyor.
Kısacası: akademik deneyler içerik kalitesinin (sayı, kaynak, alıntı) işe yaradığını gösteriyor; üreticiler de aynı yönü işaret ediyor. Kısayol olarak satılan teknik numaraların ise kanıtı yok.
llms.txt: spesifikasyon
llms.txt, Jeremy Howard'ın Eylül 2024'te llmstxt.org'da yayımladığı bir öneri; Ağustos 2026'da v2 sürümüne güncellendi. Amaç: HTML sayfalarını menülerden, reklamlardan ve JavaScript'ten temizleyip metne çevirmek zor ve bağlam pencereleri sınırlı (context window); ajanlara kısa, uzman elinden çıkmış bir giriş noktası vermek.
Konum ve kapsam
- Dosya
/llms.txtadresinde ya da bir alt yolda (/docs/llms.txt) durur. - v2: Bir dosya kendi yolunun altındaki sayfaları kapsar; birden fazla dosya geçerliyse ajan en spesifik olanı kullanmalı. Bu sayede yalnızca bir yolu kontrol eden siteler (örneğin bir GitHub Pages proje sitesi) de katılabilir.
Biçim (sırasıyla)
- İsteğe bağlı bir BOM.
- Proje ya da site adını içeren bir H1. Tek zorunlu bölüm budur.
- Dosyanın geri kalanını anlamak için gereken temel bilgiyi içeren kısa bir blockquote özeti.
- Başlık içermeyen sıfır ya da daha fazla Markdown bölümü (paragraf, liste…): proje hakkında ayrıntı ve dosyaların nasıl yorumlanacağı.
- H2 başlıklarıyla ayrılmış sıfır ya da daha fazla "dosya listesi". Her madde zorunlu bir
[ad](url)bağlantısı, ardından isteğe bağlı:ve not içerir.
## Optional başlığı geleneksel olarak "bağlam kısaysa atlanabilir" ikincil bağlantılar içindir. v1'deki llms_txt2ctx gibi bağlam genişletme araçları v2'de öneriden çıkarıldı; Optional bölümü hâlâ kullanılabilir ama artık mekanik bir anlam taşımıyor.
Sayfaların Markdown sürümleri ve keşif
Öneri, ajanların ihtiyaç duyabileceği sayfaların temiz bir Markdown sürümünü aynı adreste sunmayı da içeriyor: sayfa.html.md (sona .md ekleyerek) ya da sayfa.md (uzantıyı değiştirerek); dosya adı olmayan adreslerde index.html.md veya index.md. v2 bunları bulunabilir kılmak için standart bağlantı ilişkilerini öneriyor:
Link: </docs/page.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"Aynı bilgi HTML'de <link rel="alternate" type="text/markdown" href="..."> ve <link rel="describedby" href="/llms.txt"> olarak da verilebilir. HTTP başlığı biçimi Markdown dosyalarının kendisi gibi HTML olmayan kaynaklarda da çalışır.
llms-full.txt ne?
Sık gördüğün llms-full.txt (tüm içeriğin tek dosyada birleştirilmesi) llmstxt.org spesifikasyonunda yok; dokümantasyon platformlarının yaydığı bir gelenek. Ne kadar büyüyebileceğine örnek: Anthropic'in dokümantasyon sitesindeki llms-full.txt dosyası 24 Ekim 2026'daki ölçümümde yaklaşık 47 MB idi; hiçbir modelin bağlamına sığmaz. Sunacaksan, ajanların onu bağlama değil aramaya kullanacağını varsay.
Tam örnek
Aşağıdaki dosya, bu siteye benzer iki dilli bir AI sözlüğü için yazılmış örnek bir /llms.txt. (Bu site de gerçekten terimlerinden ve rehberlerinden dinamik olarak üretilen bir /llms.txt sunuyor; içerik birebir bu olmayabilir.)
# AI Atlas
> AI Atlas, yapay zekâ kavramlarını Türkçe ve İngilizce açıklayan bağımsız bir sözlük ve rehber sitesidir. Her terim kısa tanım, benzetme, örnek, kod, kullanım alanları ve tuzaklar içerir.
Bu dosya hakkında:
- Her içerik iki dilde vardır: Türkçe /tr/..., İngilizce /en/... altında.
- Terim sayfaları kısa referanstır; rehberler uzun, uygulamalı anlatımlardır.
- Rakam ve iddiaların kaynakları her rehberin sonundaki "Kaynaklar" bölümündedir.
## Terimler
- [RAG](https://example.com/en/terms/rag): Retrieval-augmented generation; LLM'e cevap öncesi belge getirmek
- [MCP](https://example.com/en/terms/mcp): AI uygulamalarını araçlara ve verilere bağlayan açık protokol
- [llms.txt](https://example.com/en/terms/llms-txt): LLM'ler ve ajanlar için site özeti dosyası
- [Generative Engine Optimization](https://example.com/en/terms/generative-engine-optimization): AI cevaplarında alıntılanmak
## Rehberler
- [GEO ve llms.txt](https://example.com/en/guides/geo-and-llms-txt): AI cevap motorlarında görünürlük için neyin kanıtı var
- [Hazır MCP Server Kataloğu](https://example.com/en/guides/mcp-server-catalog): Kategorize MCP sunucu listesi
## Optional
- [Tüm terimler](https://example.com/en/terms): Alfabetik terim diziniDosyayı test etmenin en iyi yolu llmstxt.org'un önerdiği yöntem: bir ajana yalnızca llms.txt'i başlangıç noktası olarak verip içeriğinle ilgili sorular sor ve doğru sayfaları bulup bulmadığına bak.
llms.txt gerçekten kullanılıyor mu?
Dürüst cevap: kimin kullandığına bağlı ve arama motorları tarafında kanıt zayıf.
Kullanmadığını söyleyenler:
- Google Search Haziran 2026'da yapay zekâ optimizasyon rehberine açık bir not ekledi: AI özelliklerinde görünmek için yeni makine okunur dosyalar, AI metin dosyaları, işaretleme ya da Markdown oluşturmana gerek yok, çünkü Google Search bunları kullanmıyor; llms.txt sitenin Google'daki görünürlüğüne ve sıralamasına ne zarar ne fayda sağlar, başka servisler için tutmak ise serbest.
- Google'dan John Mueller 17 Haziran 2025'te Bluesky'da "FWIW no AI system currently uses llms.txt" (şu an hiçbir AI sistemi llms.txt kullanmıyor) yazdı; aynı gün, sunucu loglarına bakınca tüketici chatbot'larının sayfaları eğitim ve grounding için getirdiğini ama hiçbirinin llms.txt'i istemediğini ekledi. Eylül 2026'da ise loglarda görülen llms.txt isteklerine dair bir uyarı yaptı: tüm alan adlarının llms.txt dosyalarına bağlantı veren "llms.txt dizini" siteleri var; tarayıcılar bu bağlantıları izleyip dosyayı isteyebiliyor. Yani bir isteğin logda görünmesi, dosyanın kullanıldığını göstermez.
- OpenAI, Anthropic, Perplexity ya da Microsoft'un llms.txt'i arama veya alıntı için bir sinyal olarak kullandığını söyleyen resmî bir açıklama bulamadım. Bazı SEO araçlarının loglarda bu botların dosyayı istediğini raporladığını gördüm; istemek kullanmak değildir ve bunları birincil kaynakta doğrulayamadım.
Kullananlar ve destekleyenler:
- llmstxt.org v2'ye göre binlerce site dosyayı yayımlıyor, Mintlify ve GitBook gibi dokümantasyon platformları, Yoast ve AIOSEO gibi WordPress eklentileri ve Wix dosyayı otomatik üretiyor ve "kodlama ajanları bunları güvenilir biçimde kullanıyor". Bu, önerinin yazarının kendi değerlendirmesi.
- AI şirketleri kendi geliştirici dokümanları için llms.txt yayımlıyor: OpenAI (
developers.openai.com/llms.txt), Anthropic (docs.anthropic.com/llms.txt), Gemini API (ai.google.dev/gemini-api/docs/llms.txt), Perplexity (docs.perplexity.ai/llms.txt). Hepsinin yanıt verdiğini kontrol ettim. - Chrome'un Lighthouse aracı Mayıs 2026'da deneysel "agentic browsing" denetimlerine llms.txt kontrolünü ekledi. Denetim, dosyayı alırken sunucu hatası olursa sayfayı işaretliyor; dosya yoksa (404) "Uygulanamaz" diyor, çünkü Google'ın ifadesiyle dosya sağlamak "şimdilik isteğe bağlı".
Yani llms.txt, arama görünürlüğü için değil, ajanların (özellikle dokümantasyon okuyan kodlama ajanlarının) siteni verimli okuması için bir kolaylık. Ucuz, geri alınabilir ve zararsız; ama "AI'da görünürlük" vaadiyle satılıyorsa abartılıyor.
AI tarayıcıları ve robots.txt
Aşağıdaki tablo üreticilerin kendi dokümanlarından derlendi. En önemli ayrım eğitim botu ile arama/alıntı botu ve kullanıcı tetiklemeli getirici arasında.
| User-agent token | Şirket | Ne için | robots.txt |
|---|---|---|---|
GPTBot |
OpenAI | Üretken modellerin eğitimi için tarama | Uyar; engellemek eğitimden çıkmak demek |
OAI-SearchBot |
OpenAI | ChatGPT search sonuçlarında görünme | Uyar; engellersen ChatGPT search cevaplarında çıkmazsın |
ChatGPT-User |
OpenAI | Kullanıcının ChatGPT/Custom GPT içindeki eylemleri | Kullanıcı tetiklediği için uygulanmayabilir; search'e dahil olmayı belirlemez |
OAI-AdsBot |
OpenAI | ChatGPT'de reklam olarak gönderilen açılış sayfalarını denetleme | Yalnızca reklam sayfaları; eğitimde kullanılmaz |
ClaudeBot |
Anthropic | Model eğitimine katkı sağlayabilecek içerik toplama | Uyar; engellemek gelecekteki eğitimden çıkmak demek |
Claude-SearchBot |
Anthropic | Arama sonuçlarının kalitesi için indeksleme | Uyar; engellemek arama görünürlüğünü azaltabilir |
Claude-User |
Anthropic | Kullanıcı Claude'a soru sorduğunda sayfa getirme | Uyar (Anthropic tüm botlarının robots.txt'e uyduğunu yazıyor) |
PerplexityBot |
Perplexity | Perplexity arama sonuçlarında siteleri gösterme; eğitim için değil | Uyar |
Perplexity-User |
Perplexity | Kullanıcı sorusu sırasında sayfa ziyareti | Kullanıcı istediği için genellikle robots.txt'i yok sayar |
Googlebot |
Google Search, AI Overviews ve AI Mode dahil | Uyar; AI özelliklerinin kontrolü budur | |
Google-Extended |
Ayrı bir HTTP user-agent'ı yok; Gemini modellerinin eğitimi ve Gemini Apps / Vertex AI'da grounding için kullanım kontrolü | Yalnızca robots.txt token'ı; Google Search'e dahil olmayı ve sıralamayı etkilemez | |
Google-CloudVertexBot |
Site sahibinin istediği Vertex AI Agents taramaları | Google Search'ü etkilemez | |
Google-Agent |
Google altyapısındaki ajanların kullanıcı isteğiyle web'de gezinmesi | Kullanıcı tetiklemeli getiriciler genellikle robots.txt'i yok sayar | |
Applebot-Extended |
Apple | Apple'ın üretken modellerinin eğitiminde kullanımdan çıkmak için token | Taramayı (Applebot) durdurmaz |
bingbot |
Microsoft | Bing indeksi; Copilot ve Bing AI özetlerindeki alıntılar bu içerikten | Uyar |
İki pratik not:
- User-agent'a güvenme, doğrula. Herkes kendini
GPTBotdiye tanıtabilir. OpenAI (openai.com/searchbot.json,gptbot.json,chatgpt-user.json), Perplexity (perplexitybot.json,perplexity-user.json), Google ve Apple IP aralıklarını yayımlıyor; WAF kuralı yazarken user-agent ile IP'yi birlikte kontrol et. - Değişiklik zaman alır. OpenAI, robots.txt değişikliğinin arama sonuçlarına yansımasının yaklaşık 24 saat sürebileceğini yazıyor; Google'da yeniden tarama günlerden aylara kadar sürebilir.
Arama botlarına izin verip eğitim botlarını kapatan örnek bir robots.txt:
# AI arama ve alıntı: açık
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
# Kullanıcı tetiklemeli getiriciler: açık
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
# Model eğitimi: kapalı (bu bir tercih; görünürlüğe etkisi yok)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
# Googlebot ve bingbot için özel kural yok: varsayılan grup geçerli
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlEğitim botlarını kapatmak bir içerik politikası kararı, görünürlük kararı değil. Tersini de unutma: Google-Extended'ı kapatmak seni AI Overviews'tan çıkarmaz; AI Overviews'ta içeriğinin ne kadar gösterileceğini nosnippet, data-nosnippet, max-snippet ve noindex ile sınırlarsın. Bing tarafında 2023 tarihli bir duyuru, o zamanki Bing Chat için NOCACHE ve NOARCHIVE meta etiketlerini tanımlıyor; bunun bugünkü Copilot için aynen geçerli olduğunu ayrıca doğrulamadım.
Yapılandırılmış veri
Google bu konuda net: AI özellikleri için özel bir schema.org işaretlemesi gerekmiyor; yapılandırılmış veri yine de zengin sonuçlar için faydalı ve sayfadaki görünür metinle eşleşmeli. Diğer motorların yapılandırılmış veriyi alıntı seçiminde nasıl kullandığına dair resmî bir açıklama bulamadım.
Önerim mütevazı:
Article,BreadcrumbList, ürün sayfalarındaProduct/Offer, yerel işletmelerdeLocalBusinessgibi zaten anlamlı olan türleri doğru ve güncel tut.datePublished/dateModified'ı gerçek değişikliklerle güncelle; tarihleri sahte biçimde yenilemek güven kaybettirir.FAQPage'i rich result için ekliyorsan bil: Google, FAQ rich result'ı Mayıs 2026'da Search'ten kaldırdı ve Haziran 2026'da dokümanını sildi. Sayfadaki SSS bölümü okuyucu için hâlâ değerli olabilir; ama bir AI motorunu kandırmak için işaretleme eklemek işe yaramaz.
Alıntılanan içerik kalıpları
Aşağıdakiler GEO makalesinin bulgularıyla, Google'ın ve Bing'in önerileriyle uyumlu; ama hiçbiri garantili bir alıntı formülü değil.
- Soruya ilk paragrafta doğrudan cevap ver. "X nedir?" sayfası iki cümlelik net bir tanımla başlamalı. Cevap motoru fan-out sorgularıyla sayfanın belirli kısımlarını arıyor; cevabı üçüncü paragrafa gömme.
- Tanımları açık yaz. "X, Y'nin Z için kullanılan bir türüdür" kalıbı hem insan hem model için en kolay alıntılanan cümledir.
- Sayı ver ve kime ait olduğunu söyle. GEO makalesinde istatistik ekleme en etkili yöntemlerden biriydi. "%40'a kadar (Aggarwal ve ark., 2024, kendi benchmark'larında)" gibi, kaynağı ve koşulu ile.
- Kaynak göster ve alıntı yap. Resmî doküman, standart, makale. Kaynak gösterme yöntemi, makalede özellikle alt sıralardaki sayfalar için büyük fark yarattı.
- Karşılaştırmaları tabloya dök. Tablolar karşılaştırma sorularına cevap veren motorlar için doğrudan çıkarılabilir yapıdadır.
- Güncel tut ve tarih koy. "Son kontrol: 24 Ekim 2026" gibi bir not, hem okuyucuya hem modele bilginin yaşını söyler. Toronto ekibinin 2026 çalışmasında AI motorlarının alıntıladığı sayfalar Google sonuçlarından belirgin biçimde daha yeniydi.
- Özgün bilgi ekle. Google'ın en çok vurguladığı nokta: başkalarının söylediğini tekrar eden "sıradan" içerik yerine birinci elden deneyim, kendi ölçümün, kendi örneğin.
- Başlıklarla yapılandır, ama küçük parçalara bölme. Google, içeriği AI için "chunk"lara ayırmanın gerekmediğini söylüyor; net H2/H3 yapısı insanlar için zaten iyi.
- Kendi sitenin dışında var ol. Toronto çalışmasına göre AI arama bağımsız üçüncü taraf kaynakları tercih ediyor. Yapay "mention" toplamak yerine (Google bunun işe yaramadığını söylüyor) başkalarının kaynak gösterebileceği gerçek bir referans ol.
Kaçınılacaklar: anahtar kelime doldurma (makalede işe yaramadı), görünmez metinle AI'a talimat vermek (prompt injection; spam ve risk), fan-out sorgusu başına ince sayfa üretmek (Google'ın ölçekli içerik istismarı politikası).
AI trafiğini ölçmek
Analitikte yönlendirmeler
GA4'ün varsayılan kanal grubunda artık bir AI Assistant kanalı var: Google'ın tanımına göre ChatGPT, Gemini, Deepseek, Copilot veya Grok gibi kaynaklardan gelen ziyaretler. Google'ın AI Overviews ve AI Mode'u bu kanala dahil değil; onlar Organic Search içinde sayılıyor. Başka bir analitik aracı kullanıyorsan ya da hangi alan adlarının geldiğini görmek istiyorsan oturum kaynağına şu düzenli ifadeyi uygulayabilirsin:
chatgpt\.com|chat\.openai\.com|perplexity\.ai|copilot\.microsoft\.com|gemini\.google\.com|claude\.aiBu alan adları pratikte sık görülen yönlendiriciler; hiçbir üretici hangi referrer'la geldiğini resmî olarak belgelemiyor. Kendi verinde hangilerinin geldiğine bakıp listeyi güncelle. Bilinmesi gerekenler:
- OpenAI'ın yayıncı SSS'sine göre ChatGPT, yönlendirme bağlantılarına
utm_source=chatgpt.comekliyor ve OAI-SearchBot'a izin veren yayıncılar bu trafiği analitikte görebiliyor. (Canlı sayfa otomatik istekleri engellediği için metni Internet Archive'ın 4 Ekim 2026 tarihli kopyasından doğruladım.) Üçüncü taraf ölçümler bu parametrenin her bağlantıda olmadığını raporluyor. - Bazı uygulamalar ve tarayıcılar referrer göndermez; bu ziyaretler direct görünür. Rakamları alt sınır olarak oku.
Arama konsolları
- Google Search Console: Google'a göre AI Overviews ve AI Mode'dan gelen trafik Performans raporunda "Web" arama türü içinde sayılıyor; Google'ın 2026 rehberi ayrıca bir Generative AI performance raporuna işaret ediyor. Aynı rehber, sitenin üretken AI özelliklerinde gösterilmeye uygun olması için Search Console'da "Search generative AI features" kapsamına dahil olması gerektiğini de yazıyor; ayarlarını kontrol et.
- Bing Webmaster Tools → AI Performance (Şubat 2026'dan beri önizleme): Microsoft Copilot, Bing AI özetleri ve bazı ortak entegrasyonlardaki toplam alıntı sayısı, sayfa bazında alıntılar, alıntılanan içeriği getiren grounding sorguları ve zaman içindeki eğilim. Bing verinin bir örneklem olduğunu belirtiyor.
Sunucu logları
Analitik yalnızca tıklamayı görür; botları görmek için erişim logu gerekir. Nginx'te:
# AI botlarının istek sayısı
grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Google-Agent|bingbot|Googlebot" \
/var/log/nginx/access.log | sort | uniq -c | sort -rn
# Hangi botlar llms.txt'i ya da .md sayfalarını istiyor?
grep -E "GET /(llms(-full)?\.txt|[^ ]*\.md) " /var/log/nginx/access.log | awk -F'"' '{print $6}' | sort | uniq -c | sort -rnArama botlarının (OAI-SearchBot, Claude-SearchBot, PerplexityBot) ziyaret ettiği sayfalar, o motorun indeksine girme ihtimali olan sayfalardır. Kullanıcı tetiklemeli getiricilerin (ChatGPT-User, Claude-User, Perplexity-User) istekleri ise birinin o an sayfanla ilgili bir soru sorduğunun en doğrudan işaretidir.
Kontrol listesi
Bulunabilirlik
- Sayfa Google ve Bing'de indeksli ve snippet gösterimine izin veriyor mu?
- robots.txt, CDN ve WAF; OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot ve bingbot'u engellemiyor mu?
- Eğitim botları (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended) için kararın bilinçli mi?
- Önemli içerik JavaScript olmadan da metin olarak sunuluyor mu?
- sitemap.xml güncel mi?
İçerik
- İlk paragraf soruya doğrudan cevap veriyor mu?
- Tanımlar, sayılar ve iddialar kaynaklı mı; kaynak bağlantıları sayfada mı?
- Karşılaştırmalar tabloda mı?
- "Son güncelleme" tarihi gerçek mi?
- Sayfada başka yerde bulunmayan özgün bir bilgi, ölçüm ya da deneyim var mı?
llms.txt (isteğe bağlı)
- H1 + blockquote + H2 listeleri yapısında mı, kısa ve seçilmiş mi?
- Bağlantılar temiz Markdown sürümlere mi gidiyor?
- Otomatik üretiliyor ya da içerikle birlikte güncelleniyor mu?
- Ondan arama görünürlüğü beklemediğinin farkında mısın?
Ölçüm
- Analitikte AI yönlendirmeleri ayrı bir kanalda mı?
- Search Console ve Bing Webmaster Tools'ta site doğrulanmış mı; AI Performance raporu izleniyor mu?
- Sunucu loglarında AI botları ve kullanıcı tetiklemeli getiriciler düzenli sayılıyor mu?
- Bot trafiği user-agent'a ek olarak IP aralığıyla doğrulanıyor mu?
Devamı için
- Generative Engine Optimization (GEO) ve llms.txt: kısa tanımlar.
- RAG, Hybrid Search, BM25 ve Reranker: cevap motorlarının getirme tarafını anlamak için.
- Context Window ve Chunking: ajanların neden kısa, temiz metin istediği.
- Hallucination: kaynak göstermenin neden önemli olduğu.
- Hazır MCP Server Kataloğu: ajanların dış veriye bağlanmasının diğer yolu.
Kaynaklar
- Aggarwal, P., Murahari, V., Rajpurohit, T., Kalyan, A., Narasimhan, K., Deshpande, A. — "GEO: Generative Engine Optimization", KDD 2024. https://arxiv.org/abs/2311.09735
- Chen, M., Wang, X., Chen, K., Koudas, N. — "Generative Engine Optimization: How to Dominate AI Search", 2025. https://arxiv.org/abs/2509.08919
- Chen, M., Wang, X., Chen, K., Koudas, N. — "Navigating the Shift: A Comparative Analysis of Web Search and Generative AI Response Generation", EDBT/ICDT 2026 Workshops. https://arxiv.org/abs/2601.16858
- llms.txt önerisi (v2) ve değişiklikler: https://llmstxt.org/ · https://llmstxt.org/changes.html
- Google Search Central — Optimizing your website for generative AI features: https://developers.google.com/search/docs/fundamentals/ai-optimization-guide
- Google Search Central — AI features and your website: https://developers.google.com/search/docs/appearance/ai-features
- Google Search Central — Doküman güncellemeleri (llms.txt notu, FAQ rich result'ın kaldırılması): https://developers.google.com/search/updates
- Google — Common crawlers (Googlebot, Google-Extended, Google-CloudVertexBot): https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google — User-triggered fetchers (Google-Agent): https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers
- Chrome for Developers — Lighthouse llms.txt denetimi: https://developer.chrome.com/docs/lighthouse/agentic-browsing/llms-txt
- OpenAI — Overview of OpenAI Crawlers: https://platform.openai.com/docs/bots
- OpenAI — Publishers and developers FAQ: https://help.openai.com/en/articles/12627856-publishers-and-developers-faq
- Anthropic — Does Anthropic crawl data from the web…: https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Perplexity — Perplexity Crawlers: https://docs.perplexity.ai/guides/bots
- Apple — About Applebot: https://support.apple.com/en-us/119829
- Bing Webmaster Blog — Introducing AI Performance in Bing Webmaster Tools Public Preview (Şubat 2026): https://blogs.bing.com/webmaster/February-2026/Introducing-AI-Performance-in-Bing-Webmaster-Tools-Public-Preview
- Bing Webmaster Blog — Bing Chat içerik kontrolleri (Eylül 2023): https://blogs.bing.com/webmaster/september-2023/Announcing-new-options-for-webmasters-to-control-usage-of-their-content-in-Bing-Chat
- John Mueller, Bluesky (17 Haziran 2025): https://bsky.app/profile/johnmu.com/post/3lrshm4gggs2v · https://bsky.app/profile/johnmu.com/post/3lrsq7ao5fs2x
- John Mueller, Bluesky (Eylül 2026, llms.txt dizin siteleri): https://bsky.app/profile/johnmu.com/post/3mvqdmbyeuk2u
- OpenAI Publishers and developers FAQ, Internet Archive kopyası (4 Ekim 2026): https://web.archive.org/web/20261004224023/https://help.openai.com/en/articles/12627856-publishers-and-developers-faq
- Google Analytics Yardım — Varsayılan kanal grubu (AI Assistant kanalı): https://support.google.com/analytics/answer/9756891
- Search Engine Roundtable — "Google: No AI System Currently Uses LLMs.txt" (Haziran 2025): https://www.seroundtable.com/google-ai-llms-txt-39607.html
Sık sorulan sorular
llms.txt nedir?
llms.txt, bir sitenin kökünde (ya da bir alt yolunda) duran ve LLM'lere ve ajanlara sitenin ne olduğunu ve önemli sayfalarının nerede olduğunu Markdown ile anlatan önerilmiş bir dosyadır. Jeremy Howard'ın llmstxt.org'daki önerisidir; resmî bir web standardı değildir.
llms.txt SEO'ya ya da Google sıralamasına etki eder mi?
Google'a göre hayır. Google'ın yapay zekâ özellikleri rehberi, Google Search'ün llms.txt dosyalarını kullanmadığını ve bu dosyaların görünürlüğe ne zarar ne fayda sağladığını açıkça yazıyor. Dosyanın bugünkü asıl faydası dokümantasyon okuyan kodlama ajanları için.
GEO ile SEO arasındaki fark nedir?
SEO, arama sonuçlarındaki bağlantı listesinde üst sıraya çıkmayı hedefler; GEO ise sayfanın AI'ın yazdığı cevabın içinde kaynak olarak alıntılanmasını hedefler. Pratikte büyük ölçüde örtüşürler: AI cevap motorları da önce bir arama indeksinden sayfa getirir, Google da GEO'yu ayrı bir disiplin değil SEO'nun parçası olarak görüyor.
ChatGPT search'te görünmek için hangi botlara izin vermeliyim?
OpenAI'ın dokümanına göre ChatGPT search sonuçları için OAI-SearchBot'a izin vermelisin. GPTBot model eğitimi içindir ve onu engellemek ChatGPT search'te görünmeni engellemez.
Google-Extended'ı engellemek AI Overviews'tan çıkarır mı?
Hayır. Google'a göre Google-Extended, Google Search'e dahil olmayı etkilemez; AI Overviews ve AI Mode, Googlebot ve nosnippet, max-snippet, noindex gibi önizleme kontrolleriyle yönetilir.
AI asistanlarından gelen trafiği nasıl ölçerim?
GA4'ün varsayılan kanal grubunda ChatGPT, Gemini, Copilot gibi kaynakları toplayan bir AI Assistant kanalı var; başka bir araç kullanıyorsan chatgpt.com, perplexity.ai gibi yönlendiren alan adlarını ayrı bir kanalda topla. OpenAI, ChatGPT'nin bağlantılara utm_source=chatgpt.com eklediğini söylüyor. Google tarafında Search Console, Bing tarafında Bing Webmaster Tools'un AI Performance raporu var. Referrer taşımayan tıklamalar direct görüneceği için rakamları alt sınır olarak oku.
llms-full.txt nedir, gerekli mi?
llms-full.txt, sitenin tüm içeriğini tek bir Markdown dosyasında birleştiren yaygın bir gelenektir ama llmstxt.org spesifikasyonunun parçası değildir. Büyük dokümantasyonlarda çok büyüyebilir; zorunlu değildir.