SEO on HanGR的碎碎念

llms.txt：让 AI 读懂你的文档站

Thu, 21 Aug 2025 00:00:00 +0000

llms.txt 是给 AI 看的 sitemap。一行代码，让 LLM 能结构化地理解你的整个文档站。

什么是 llms.txt

llms.txt 是一个新兴的 Web 标准，类似于 robots.txt 但面向 AI/LLM。

它的作用：让 AI 模型（如 ChatGPT、Claude）能高效地爬取和理解你的文档站结构。

当用户问 AI “这个产品怎么用"时，AI 可以先读 llms.txt 了解文档结构，再精准获取需要的页面。

为什么需要它

传统方式下，AI 需要爬取整个文档站来确定结构，效率低，token 消耗大。llms.txt 提供一个结构化的索引：

列出所有文档页面的标题和 URL
提供简要描述
按层级组织

实现方式

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


// src/app/(marketing)/docs/llms.txt/route.ts

import { buildDocsLlmsTxtContent } from "@/lib/cms/build-docs-llms-txt";
import { getCmsNavigationTree } from "@/lib/cms/cms-navigation-repository";
import { DOCS_SLUG } from "@/lib/cms/docs-config";
import { SITE_URL } from "@/constants";

export async function GET() {
 const tree = await getCmsNavigationTree({
 navigationKey: DOCS_SLUG,
 });

 if (tree.length === 0) {
 return Response.redirect(SITE_URL, 302);
 }

 const body = buildDocsLlmsTxtContent(tree);

 return new Response(body, {
 headers: {
 "content-type": "text/plain; charset=utf-8",
 "cache-control": "public, s-maxage=3600, stale-while-revalidate=86400",
 },
 });
}

核心逻辑：

从 CMS 导航树获取文档结构
构建 llms.txt 格式的内容
返回纯文本响应

内容格式

llms.txt 的内容基于导航树生成：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34


// src/lib/cms/build-docs-llms-txt.ts

export function buildDocsLlmsTxtContent(
 tree: CmsNavigationNode[]
): string {
 const lines: string[] = [];

 lines.push(`# ${SITE_NAME} Documentation`);
 lines.push("");

 for (const section of tree) {
 // 一级标题
 lines.push(`## ${section.title}`);
 if (section.description) {
 lines.push(`> ${section.description}`);
 }
 lines.push("");

 // 子页面
 if (section.children) {
 for (const child of section.children) {
 const url = buildDocUrl(child.slug);
 lines.push(`- [${child.title}](${url}): ${child.description || ""}`);
 }
 lines.push("");
 }
 }

 lines.push("---");
 lines.push(`Generated at: ${new Date().toISOString()}`);
 lines.push(`Base URL: ${SITE_URL}`);

 return lines.join("\n");
}

生成的 llms.txt 类似：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


# RuiTool AI Documentation

## Getting Started
> Quick start guide for new users

- [Installation](https://ruitool.ai/docs/installation): How to install and set up
- [Quick Start](https://ruitool.ai/docs/quick-start): Build your first app in 5 minutes

## API Reference
> Complete API documentation

- [Authentication](https://ruitool.ai/docs/api/auth): API authentication methods
- [Endpoints](https://ruitool.ai/docs/api/endpoints): Available API endpoints

缓存策略

1
2
3


headers: {
 "cache-control": "public, s-maxage=3600, stale-while-revalidate=86400",
}

s-maxage=3600：CDN 缓存 1 小时
stale-while-revalidate=86400：缓存过期后仍可使用旧内容，后台异步更新

不需要实时更新，1 小时刷新一次足够。

总结

llms.txt 是 AI 的文档索引，类似 robots.txt 对搜索引擎的作用
从 CMS 导航树自动生成，文档结构变了自动更新
纯文本格式，一个请求就能让 AI 理解整个文档站
CDN 缓存 1 小时，几乎零成本

动态 Sitemap 与 SEO 自动化

Sun, 03 Aug 2025 00:00:00 +0000

一个新博客发布后，自动进入 sitemap，自动配置 SEO 元数据。这些都是代码生成的，不是手写的。

Sitemap 自动生成

RuiTool AI 的 sitemap 是全自动的，每次 CMS 内容变更后重新生成：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39


// src/app/sitemap.ts

import { getCmsEntriesForSitemap } from "@/lib/cms/cms-repository";
import { SITE_URL } from "@/constants";
import { withKVCache, CACHE_KEYS } from "@/utils/with-kv-cache";

export async function GET() {
 const sitemap = await withKVCache(
 async () => {
 const entries = await getCmsEntriesForSitemap();

 const urls = entries.map((entry) => ({
 url: `${SITE_URL}/${entry.collection}/${entry.slug}`,
 lastModified: entry.updatedAt || entry.createdAt,
 changeFrequency: entry.collection === "blog" ? "weekly" : "monthly",
 priority: entry.collection === "docs" ? 0.9 : 0.7,
 }));

 // 静态页面
 urls.push(
 { url: SITE_URL, lastModified: new Date(), changeFrequency: "daily", priority: 1.0 },
 { url: `${SITE_URL}/blog`, lastModified: new Date(), changeFrequency: "daily", priority: 0.8 },
 { url: `${SITE_URL}/docs`, lastModified: new Date(), changeFrequency: "weekly", priority: 0.9 },
 );

 return urls;
 },
 { key: CACHE_KEYS.SITEMAP, ttl: "1h" }
 );

 // 生成 XML
 const xml = generateSitemapXml(sitemap);
 return new Response(xml, {
 headers: {
 "Content-Type": "application/xml",
 "Cache-Control": "public, max-age=3600, s-maxage=3600",
 },
 });
}

关键设计：

动态生成：从数据库读取所有发布的 CMS 内容
KV 缓存：1 小时缓存，避免每次请求都查数据库
优先级区分：文档 > 博客 > 其他
自动更新频率：博客 weekly，文档 monthly

Robots.txt 配置

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


// src/app/robots.ts

import { SITE_URL } from "@/constants";

export default function robots() {
 return {
 rules: {
 userAgent: "*",
 allow: "/",
 disallow: ["/admin/", "/api/", "/dashboard/"],
 },
 sitemap: `${SITE_URL}/sitemap.xml`,
 };
}

搜索引擎可以爬取公开页面，但不允许爬取管理后台、API 和用户面板。

SEO 元数据自动化

每个 CMS 内容页面的 SEO 元数据都是自动生成的：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31


// src/app/(marketing)/blog/[slug]/page.tsx

export async function generateMetadata({
 params,
}: {
 params: { slug: string };
}): Promise<Metadata> {
 const entry = await getCmsEntryBySlug("blog", params.slug);

 if (!entry) {
 return { title: "Not Found" };
 }

 return {
 title: entry.seoTitle || entry.title,
 description: entry.seoDescription || entry.excerpt,
 openGraph: {
 title: entry.seoTitle || entry.title,
 description: entry.seoDescription || entry.excerpt,
 type: "article",
 publishedTime: entry.createdAt?.toISOString(),
 modifiedTime: entry.updatedAt?.toISOString(),
 images: entry.featuredImage
 ? [{ url: entry.featuredImage }]
 : undefined,
 },
 alternates: {
 canonical: `${SITE_URL}/blog/${entry.slug}`,
 },
 };
}

字段优先级：seoTitle > title > 默认值。作者可以在 CMS 中手动覆盖 SEO 字段。

CMS 内容自动收录

CMS 配置中定义了哪些集合需要被收录到 sitemap：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


// cms.config.ts

const blogCollection = {
 slug: "blog",
 includeInSitemap: true, // 自动收录
 previewUrl: (slug: string) => `/blog/${slug}`,
} satisfies DefineCmsCollection;

const docsCollection = {
 slug: "docs",
 includeInSitemap: true,
 enableSearch: true, // 启用文档搜索
} satisfies DefineCmsCollection;

只有 includeInSitemap: true 的集合才会出现在 sitemap 中。

总结

Sitemap 从数据库动态生成，1 小时缓存
Robots.txt 屏蔽管理后台、API 等非公开页面
SEO 元数据从 CMS 字段自动生成，支持手动覆盖
CMS 配置中控制哪些内容被收录