AI平台沒有共享底層爬蟲及檢索架構

大型語言模型（LLM）環境沒有大小相當的共享底層架構，這些差異並非表面上的，也並非暫時的，而是根植於系統建構方式之中的。

第一部分：爬蟲機器人基礎設施的差異

1、OpenAI運行三個獨立的機器人：GPTBot 用於訓練，OAI-SearchBot 用於搜尋索引，ChatGPT-User 用於用戶發起的檢索。

2、Anthropic也運行三個機器人：ClaudeBot 用於訓練，Claude-SearchBot 用於搜索，Claude-User 用於用戶發起的檢索。

3、Perplexity則是運行PerplexityBot 和 Perplexity-User。

4、Google於2023年9月推出了Google-Extended，作為用戶代理，用於控制 Google 是否可以使用網站內容來訓練 Gemini，這與處理傳統搜尋索引的Googlebot完全獨立。

每個提供者都需要單獨的規則，而且由於機器人執行的任務和方式各不相同，這些規則無法在不同提供者之間直接轉換。

第二部分：檢索架構的結構上

1、ChatGPT一直以來都使用Bing的索引作為其主要網路搜尋來源，而且這種連接似乎仍然是主要的，儘管OpenAI仍在繼續建立與之配套的基礎設施。

2、Claude則使用Brave Search作為檢索合作夥伴。

3、Perplexity的檢索系統是基於Vespa管線，將文件和子文件區塊視為一級可檢索單元。

4、Google的Gemini使用Google自有的索引以及知識圖譜基礎。

同樣的查詢，卻對應著四種不同的檢索系統，對哪些資源存在以及哪些資源值得呈現有四種不同的看法。

第三部分：對齊層，這是搜尋引擎優化（SEO）完全沒有的環節。

模型在語料庫上訓練完成後，服務提供者會進行訓練後調整，以塑造模型的實際行為：語氣、拒絕模式、格式、安全姿態以及何為優質答案。

1、OpenAI的主要方法是RLHF，即基於人類回饋的強化學習，其中人類評分員對模型輸出進行評分，模型學習產生高評分的回應。

2、Anthropic開發了憲法人工智慧（Constitutional AI），它訓練模型根據一套書面原則來批判和修改自身的輸出。

這些方法在最終產品中產生了明顯不同的行為。相同的檢索內容，如果輸入到兩個分別採用不同方法對齊的模型中，可能會產生關於同一品牌的截然不同的兩種回應。

第四部分：引用的部分，Gemini模型為AI摘要和谷歌獨立的AI模式介面提供支援。

然而，這些介面的引用行為似乎與Google為其自身搜尋結果發布的指南並不一致。

1、AI摘要

2024年末，AI摘要中引用的頁面約有四分之三在 Google 針對相同搜尋字詞的搜尋結果中排名前 12。到 2026 年初，在 Google 於 1 月將 AI Overviews 升級到 Gemini 3 之後，Ahrefs 分析了 400 萬個 AI摘要URL，發現只有38% 的被引用頁面在同一搜尋字詞的搜尋結果中排名前10名。

2、AI模式

如果檢視Google的AI模式，差距會進一步擴大。 AI模式是一個獨立的對話式介面，運行在相同的Gemini平台上。Semrush的數據顯示，AI模式和AI摘要在86%的情況下得出語意相似的結論，但引用相同URL的比例僅為13.7%。 AI模式的引用中，只有14%進入了谷歌傳統的搜尋結果前10名。

谷歌發布的SEO指南仍然是提升Google搜尋排名的最直接途徑。但這種排名已不再能可靠地代表會被Google自身的AI平台引用。同樣的指南、同樣的內容、同樣的域名，在Google搜尋、AI概覽和AI模式這三個平台上卻可能產生截然不同的結果，即便它們都隸屬於同一家公司。過去那種遵循搜尋引擎指南並相信其其他平台會保持一致的做法，似乎已經不再奏效。

3、其它LLM平台

在所有主要LLM（學習型資料庫）都大量引用的高權威來源（例如維基百科、YouTube、Reddit和主要新聞媒體）上的存在，仍然能夠跨平台發揮倍增效應。在這些來源上獲得曝光，就能讓內容有機會出現在任何引用它們的LLM中。

但如今的通用層級遠小於SEO時代。只有11%的被引用域名出現在多個平台上，其餘89%都僅限於特定平台。一個在Perplexity上獲得大量引用的品牌，在Claude上可能幾乎無人問津；一個在ChatGPT上經常被引用的品牌，可能根本不會出現在AI概覽中。同樣的內容，在一個系統中可能是正確答案，而在另一個系統中卻可能是錯誤答案。

至於llms.txt，截至2026年中期，沒有一家主流LLM提供者確認會使用/llms.txt檔案。OpenAI、Anthropic和Google均未確認會使用該檔案。對數十萬個網域的伺服器日誌分析顯示，主流AI爬蟲根本不會例行請求/llms.txt。