llms.txt 有用嗎？我們實測後的結論
過去半年，幾乎每個客戶都問過同一個問題：要不要放 llms.txt？我們在 12 個網站上實測了 90 天。簡短的答案是：可以放，但不要期待它改變 AI 答案。
文／魏健安，創辦人・首席顧問閱讀約 2 分鐘
[1]llms.txt 是什麼，又不是什麼？
llms.txt 是 2024 年提出的一個提案：在網站根目錄放一份 Markdown 檔案，用簡短的文字說明網站內容，並列出希望大型語言模型優先閱讀的頁面連結。
它不是 robots.txt。robots.txt 是被主要爬蟲遵守的存取規則；llms.txt 目前只是社群提案，沒有任何主要的 AI 答案服務公開承諾會讀取並依此調整答案。它也不能用來阻擋 AI 使用你的內容。
[2]我們怎麼測？
我們選了 12 個網站放上 llms.txt，另外 12 個條件相近的網站作為對照組。兩組涵蓋品牌官網、內容網站與 B2B 軟體文件站。
- 連續 90 天記錄伺服器紀錄中所有請求 /llms.txt 的 User-Agent。
- 每月以同一組 150 個提問，追蹤兩組網站在 ChatGPT、Perplexity 與 Google AI Overview 的引用率。
- 測試期間兩組網站都不做其他內容與技術調整。
[3]結果：有人來讀嗎？
有，但很少，而且多半不是你期待的那些。90 天內 12 個網站的 /llms.txt 共被請求 1,306 次，其中約七成來自開發工具、程式助理與研究用爬蟲，主要 AI 答案服務的爬蟲請求不到一成。
引用率方面，實驗組與對照組在 90 天內的變化沒有可辨識的差異，差距落在每月自然波動的範圍內。
唯一明顯有效的情境是軟體文件站：開發者在程式助理裡引用文件時，llms.txt 讓工具更快找到正確的頁面。
[4]那還要不要放？
要放，因為成本很低，一個小時就能寫好，而且對開發者工具確實有幫助。但它應該排在以下幾件事之後：
- robots.txt 沒有誤擋 GPTBot、OAI-SearchBot、PerplexityBot、Google-Extended 等爬蟲（是否開放由你決定，但要是刻意的決定）。
- 關鍵內容在初始 HTML 中，不依賴 JavaScript 載入。
- 產品、文章、組織資訊都有正確的結構化資料。
- 最常被問到的問題，網站上有一段可以直接引用的答案。
如果上面四件事都做好了，再放 llms.txt。順序反過來，是把力氣花在最不確定的地方。本文數據為示意。