简而言之：要在线创建 robots.txt 文件，请打开PromoPilot robots.txt 生成器，选择一个预设选项（自定义、允许所有、拒绝所有、 WordPress 、Laravel 或Next.js ），输入“禁止”和“允许”的路径，在“站点地图”行输入网站地址，还可以选择勾选“延迟抓取”或“阻止 AI 爬虫”。生成的 robots.txt 文件将显示在右侧——您可以复制或下载它。它是免费的，无需注册。
我为每个新网站编写 robots.txt 文件，深知手动编写很容易出错：多加一个空格、漏掉一个斜杠、规则写在代码块之外等等。robots.txt 生成器可以避免这些问题——您只需考虑如何关闭某些内容，而无需担心语法。下面，我们将解释如何使用它、需要关闭哪些内容以及最终文件应该放在哪里。
robots.txt 生成器的作用是什么？
该生成器是一个表单，而不是文本编辑器。您选择设置后，该工具会将它们组合成一个有效的文件，并在实时预览中显示。
| 设置 | 什么决定了 | 网站为什么需要这个？ |
|---|---|---|
| 预设 | 自定义、全部允许、全部拒绝、 WordPress 、Laravel、 Next.js | 引擎的现成起点 |
| 网站网址 | Sitemap地图行的地址 | 机器人会自行找到网站地图。 |
| 禁止路径 | 无需扫描的部分，每行一个。 | 机器人不会在管理面板和服务页面上浪费时间。 |
| 允许路径 | 封闭部分内的例外情况 | 在已关闭的文件夹中打开所需文件 |
| 爬行延迟（10 秒） | 机器人请求之间的暂停 | 减轻性能较弱的服务器对机器人的负载，并考虑到这一点。 |
| 阻止人工智能爬虫 | 封禁 GPTBot、 Claude和其他人工智能机器人 | 控制谁可以使用您的内容 |
| 预览、复制、下载 | 已完成的robots.txt文件 | 您可以立即将其上传到服务器。 |
了解其局限性至关重要：生成器会创建一个文件，但不会检查是否存在现有文件。如果您已有 robots.txt 文件并希望查找其中的错误，则需要分析该 robots.txt 文件——下一节的文章将对此进行详细介绍。
如何在线创建 robots.txt 文件？
- 打开robots.txt 生成器。
- 为您的发动机选择一个预设值。如果您的发动机未列出，请选择“自定义”。
- 输入网站地址——https:
https://example.com。这将创建一个Sitemap地图行。 - 添加禁止路径，每行一个：
/admin/、/tmp/、/search/。 - 如有必要，请在受限文件夹（例如
/uploads/images/）中添加允许例外。 - 勾选以下复选框：网站地图、抓取延迟、阻止 AI 爬虫。
- 复制或下载该文件，并将其上传到网站根目录。
页面左侧是设置，右侧是文件的实时预览，带有“复制”和“下载 robots.txt”按钮。
该文件必须严格位于域名的根目录： https://example.com/robots.txt 。机器人程序无法在/blog/robots.txt文件夹或其他子域名中找到它——每个子域名都有自己的 robots.txt 文件。
下载的文件具体上传到哪里取决于平台：
- 常规托管- 通过面板的文件管理器或 FTP 到主页所在的文件夹（通常是
public_html或www）。 - WordPress如果没有实际的 robots.txt 文件，引擎会提供一个虚拟的 robots.txt 文件。将该文件上传到根目录即可替换它；另一种方法是使用 SEO 插件中的文件编辑器。
- Next.js和其他框架——该文件放置在
public文件夹中或从项目代码生成，这样在下次部署期间就不会丢失。 - 网站建设者——该文件通常是在 SEO 设置中进行编辑，而不是手动上传。
该文件必须命名为robots.txt （小写），并以 UTF-8 编码保存为纯文本格式。下载后，在浏览器中打开它：如果看到文本内容，则一切正常。
robots.txt 文件中哪些内容应该封闭，哪些内容不应该封闭？
主要原则：关闭所有对搜索结果无益且浪费搜索引擎时间的内容。不要关闭任何对搜索引擎理解页面至关重要的内容。
通常关闭：
- 管理员面板和个人帐户：
/admin/、/wp-admin/、/account/； - 购物车和结账：
/cart/，/checkout/； - 内部搜索：
/search/，/?s=； - 服务和临时文件夹：
/tmp/、/cgi-bin/； - 筛选条件和排序选项的组合无穷无尽——这很棒，前提是每个筛选条件都有单独的页面。
永不关闭：
- CSS、JavaScript 和图像——如果没有它们， Google就无法像人一样看待网页；
- 产品目录、博客、产品卡片和落地页；
- 要从索引中删除页面，您需要使用
noindex，并且机器人必须能够读取该命令。
以下是典型的WordPress商店（包含WooCommerce的文件：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
关于设置选项Google不会考虑抓取延迟——只有当您的服务器受到其他机器人攻击时才需要启用它。屏蔽 AI 爬虫属于商业决策：如果您希望ChatGPT 、 Gemini和 Perplexity 了解您并向您推荐网站，请不要屏蔽它们的访问权限。
另一个实用技巧是网站的测试版本。对于测试版本，请使用“全部拒绝”预设，但务必在上线后替换该文件：忘记Disallow: /通常是导致新网站流量下降的主要原因。
比较：PromoPilot 生成器和其他创建 Robots.txt 的方法
| 方式 | 什么免费？ | 限制 | 它适合哪些人群？ |
|---|---|---|---|
| PromoPilot — Robots.txt 生成器 | 预设、禁止和允许、站点地图、爬取延迟、AI机器人拦截、下载 | 您需要自行将文件上传到服务器。 | 适合初学者以及任何不想记住语法的人 |
| WordPress SEO 插件（例如 Yoast SEO）中的编辑器 | 直接从管理面板编辑文件 | 仅限WordPress ，您需要自行编写语法。 | 面向WordPress网站所有者 |
| Next.js中的 robots 文件 | robots.txt 文件由项目代码生成。 | 需要开发人员 | Next.js项目 |
| 文本编辑器 | 完全自由 | 很容易犯错，没有线索 | 对于那些熟知标准的人来说 |
结论：该生成器无需了解语法即可快速获取有效文件。当文件需要随网站更新而变化时，插件和项目代码则非常方便。
该生成器是PromoPilot 提供的 87 个免费 SEO 工具之一。下载文件后，请使用 robots.txt 分析器进行检查；对于站点地图行，请使用 sitemap.xml 生成器——本节的后续文章中将介绍这两项内容。
发电机的局限性：它不能为您做什么
WordPress器不了解您网站的结构。WordPress 预设会关闭常见的服务路径，但它不会自动识别您商店的筛选器位于/filter/目录下，内部搜索功能位于/find/目录下。您需要自行输入这些路径。
它不会将文件上传到服务器，也不会检查/robots.txt文件是否可通过 200 状态码访问。上传后，请在浏览器中打开该地址或使用解析器运行它。
而且它并不能替代noindex ：如果目标是从搜索结果中移除页面，robots.txt 并不适用。最后，该文件并不能保护您的数据：它是公开的，任何人都可以查看您锁定了哪些部分。真正的秘密应该用密码保护。
免费工具何时会不够用？
生成一个文件只需五分钟。但决定在一个拥有数千页的网站上锁定哪些内容却是一项繁琐的工作。以下情况您需要专业人士的帮助：
- 该商店有数百种筛选组合，其中一些组合可以带来流量；
- 该网站是多语言的，使用子域名或为不同语言设置单独的文件夹；
- 修改 robots.txt 文件后，流量下降，但尚不清楚是哪条规则导致的；
- 您需要将 robots.txt、元标签、规范链接和站点地图整合到一个系统中。
我能为您的网站做些什么？
我叫瓦列里·丹尤克，是一名拥有12年经验的开发人员和SEO专家，服务过200多位客户。我开发的每个网站都包含正确的robots.txt文件。
搜索引擎优化和推广
- 一站式 SEO 审核：将 robots.txt、noindex、canonical 和 sitemap 作为一个统一的系统，而不是一组随机规则。
- 一个由人工智能驱动的SEO博客，可以带来自然流量。
- 一个没有翻译器的多语言网站——robots.txt 和站点地图必须考虑到所有语言。
网站和网上商店
- WooCommerce在线商店：40 多个模板，299 欧元— 带有 robots.txt，用于购物车、筛选器和结账。
- 一个基于1001site网站，其站点地图和索引都是自动配置的。这与需要订阅付费的建站工具有何不同？ Tilda 与 AI 驱动的网站分析工具相比如何？
客户关系管理、会计和自动化
更多内容请查看作品集。不确定要涵盖哪些内容？请在Telegram上给我发送您的网站地址——我会为您提供网站结构方面的建议。
结果
- 在线 robots.txt 生成器可在五分钟内创建一个正确的文件：预设、路径、站点地图、标志。
- 关闭管理面板、回收站、搜索和服务文件夹；不要关闭 CSS、JS、目录或博客。
- robots.txt 并不会从索引中删除页面——这正是
noindex作用。 - 复杂的结构、过滤器和语言是将设置工作委托给专家或在1001site上构建网站的原因，因为 1001site 的索引功能是开箱即用的。
现在就使用免费的 robots.txt 生成器创建您自己的 robots.txt 文件，如果您对规则有任何疑问，请在Telegram上给我写信。
来源
- PromoPilot 的 robots.txt 生成器工具页面 — 设置、预设和页面问题。
- Google搜索中心 - 如何创建和提交 robots.txt 文件。
- Next.js文档 - robots 元数据文件。
