簡単に言うと、オンラインでrobots.txtファイルを作成するには、 PromoPilotのrobots.txtジェネレーターを開き、プリセット（カスタム、すべて許可、すべて拒否、 WordPress 、Laravel、またはNext.js ）を選択し、拒否と許可のパスを入力し、サイトマップ行にウェブサイトのアドレスを入力します。必要に応じて、クロール遅延またはAIクローラーのブロックにチェックを入れます。完成したファイルは右側に表示されますので、コピーまたはダウンロードできます。無料で登録も不要です。
私は新しいウェブサイトを作成するたびにrobots.txtを作成していますが、手動で作成すると、余分なスペース、スラッシュの忘れ、ブロック外のルールなど、間違いを犯しやすいことをよく知っています。robots.txtビルダーを使えば、こうした問題は解消されます。構文ではなく、閉じるべきルールだけを考えればよいのです。以下では、その使い方、閉じるべきルール、そして完成したファイルの保存場所について説明します。
robots.txtジェネレーターは何をするものですか？
このジェネレーターはテキストエディタではなく、フォームです。設定を選択すると、ツールがそれらを有効なファイルに組み立て、ライブプレビューで表示します。
| セットアップ | 何が決めるのか | このサイトはなぜこれを必要とするのですか？ |
|---|---|---|
| プリセット | カスタム、すべて許可、すべて拒否、 WordPress 、Laravel、 Next.js | エンジンの出発点としてすぐに使えるもの |
| ウェブサイトのURL | Sitemap行のアドレス | ロボットがサイトマップを自力で見つける |
| パスを許可しない | スキャン対象外のセクション（1行につき1つ） | ロボットは管理パネルやサービスページに時間を費やすことはありません。 |
| パスを許可する | 閉鎖セクション内の例外 | 閉じたフォルダ内で目的のファイルを開きます |
| クロール遅延（10秒） | ロボットからのリクエストの間に一時停止する | それを考慮に入れるロボットの弱いサーバーへの負荷を軽減する |
| AIクローラーをブロックする | GPTBot、 Claude 、その他のAIボットを禁止する | コンテンツの使用者を管理する |
| プレビュー、コピー、ダウンロード | 完成したrobots.txtファイル | すぐにサーバーにアップロードできます。 |
重要な制限事項を理解しておく必要があります。ジェネレーターはファイルを作成しますが、既存のファイルをチェックしません。既にrobots.txtファイルがあり、その中のエラーを見つけたい場合は、robots.txtファイルを分析する必要があります。次のセクションの記事では、この点について詳しく説明します。
robots.txtをオンラインで作成する方法は？
- robots.txt ジェネレーターを開きます。
- お使いのエンジンに合ったプリセットを選択してください。お使いのエンジンがリストにない場合は、「カスタム」を選択してください。
- ウェブサイトのアドレス（
https://example.com）を入力してください。これにより、Sitemapマップが作成されます。 - 許可しないパスを 1 行に 1 つずつ追加します:
/admin/、/tmp/、/search/。 - 必要に応じて、
/uploads/images/などの制限付きフォルダ内に例外を許可する設定を追加します。 - 以下のチェックボックスをオンにしてください：サイトマップ、クロール遅延、AIクローラーのブロック。
- ファイルをコピーまたはダウンロードして、サイトのルートディレクトリにアップロードしてください。
ページの左側には設定があり、右側にはファイルのライブプレビューと「コピー」ボタン、そして「robots.txtをダウンロード」ボタンが表示されます。
ファイルはドメインのルートディレクトリ（ https://example.com/robots.txt ）に厳密に配置する必要があります。/blog/robots.txt /blog/robots.txtや他のサブドメインにあるファイルはロボットに見つかりません。各サブドメインには独自のrobots.txtファイルがあります。
ダウンロードしたファイルをどこにアップロードするかは、プラットフォームによって異なります。
- 通常のホスティング- パネルのファイルマネージャーまたはFTPを使用して、メインページが配置されているフォルダ（多くの場合
public_htmlまたはwww）にアクセスします。 - WordPressでは、物理ファイルが存在しない場合、エンジンが仮想のrobots.txtファイルを提供します。ファイルをルートディレクトリにアップロードすると、仮想ファイルが置き換えられます。もう一つの方法は、SEOプラグインのファイルエディタを使用することです。
- Next.jsやその他のフレームワークの場合、ファイルは
publicフォルダに配置されるか、プロジェクトコードから生成されるため、次回のデプロイ時に失われることはありません。 - ウェブサイト構築ツールの場合、ファイルは通常、手動でアップロードするのではなく、SEO設定で編集されます。
ファイル名はrobots.txt （小文字）とし、UTF-8エンコーディングのプレーンテキスト形式で保存してください。ダウンロード後、ブラウザでファイルを開いてください。テキストが表示されれば、すべて正しく設定されています。
robots.txtで閉じるべきものと閉じるべきでないものは何ですか？
基本原則：検索に価値をもたらさず、ロボットの時間を浪費するものはすべて閉じる。ただし、ロボットがページを理解するために不可欠なものは閉じない。
通常休業中：
- 管理パネルと個人アカウント:
/admin/、/wp-admin/、/account/; - カートとチェックアウト:
/cart/、/checkout/; - 内部検索:
/search/、/?s=; - サービスおよび一時フォルダ:
/tmp/、/cgi-bin/; - フィルターと並べ替えオプションの組み合わせは無限大だが、必要なフィルターごとに個別のランディングページが用意されていれば、確かに便利だ。
絶対に閉じないでください:
- CSS、JavaScript、そして画像――これらがなければ、 Google人間と同じようにページを認識できません。
- カタログ、ブログ、商品カード、ランディングページ。
- インデックスから削除したいページ - そのためには
noindex必要で、ロボットがそれを読み取れる必要があります。
以下は、 WooCommerceを導入した一般的なWordPressストアで取得できるファイルです。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
フラグについて。Googlebot Googleクロール遅延を考慮しません。他のボットによるサーバーへChatGPT影響が大きい場合にのみ有効にしてください。AIクローラーのブロックはビジネス上の判断です。ChatGPT、 Gemini 、Perplexityに自社を知ってもらい、おすすめしてもらいたい場合は、アクセスをブロックしないでください。
もう一つ実用的なポイントは、サイトのテストバージョンです。ステージングコピーには「すべて拒否」プリセットを使用しますが、起動時に必ずファイルを置き換えるようにしてください。忘れられたDisallow: /が、新しいサイトへのトラフィックを減少させる最も一般的な原因です。
比較：PromoPilotジェネレーターとロボットを作成するその他の方法.txt
| 方法 | 無料なのは何ですか？ | 制限 | どのような人に適していますか？ |
|---|---|---|---|
| PromoPilot — Robots.txtジェネレーター | プリセット、許可/拒否、サイトマップ、クロール遅延、AIボットブロック、ダウンロード | ファイルをサーバーにアップロードするには、ご自身で作業していただく必要があります。 | 初心者の方、そして構文を覚えたくない方のために |
| WordPress SEOプラグイン（例：Yoast SEO）のエディター | 管理パネルから直接ファイルを編集する | WordPressの場合のみ、構文は自分で記述します。 | WordPressサイトのオーナー向け |
| Next.jsのrobotsファイル | robots.txtはプロジェクトコードから生成されます | 開発者募集中 | Next.jsプロジェクト |
| テキストエディタ | 完全な自由 | 間違いやすい、手がかりがない | 標準を暗記している人向け |
結論：構文を知らなくても有効なファイルを取得するには、ジェネレーターが最も速い方法です。プラグインとプロジェクトコードは、ウェブサイトの変更に合わせてファイルを変更する必要がある場合に便利です。
このジェネレーターは、 PromoPilotが提供する87種類の無料SEOツールの1つです。ファイルをダウンロードしたら、robots.txtアナライザーで内容を確認し、サイトマップ行についてはsitemap.xmlジェネレーターを使用してください。どちらのツールについても、このセクションの関連記事で解説しています。
発電機の制限事項：発電機ではできないこと
ジェネレーターはサイトの構造を認識しません。WordPress WordPressプリセットは一般的なサービスパスを閉じますが、ストアのフィルターが/filter/に、内部検索が/find/にあることは推測しません。これらのパスは手動で入力する必要があります。
ファイルをサーバーにアップロードしたり、 /robots.txtでファイルが200ステータスコードでアクセス可能であることを確認したりはしません。アップロード後、ブラウザでアドレスを開くか、パーサーで解析してください。
また、 noindex代わりにはなりません。検索結果からページを削除することが目的であれば、robots.txt は適していません。さらに、このファイルはデータを保護するものではありません。公開されているため、ロックしたセクションを誰でも閲覧できます。秘密の情報はパスワードで保護されます。
無料ツールでは不十分なのはどんな時か？
ファイル生成には5分かかります。数千ページもあるサイトでどのページをロックするかを決めるのは大変な作業です。次のような場合は専門家の助けが必要です。
- このストアには数百種類のフィルターの組み合わせがあり、その中にはトラフィックを生み出すものもあります。
- このサイトは多言語対応で、サブドメインを使用するか、言語ごとに個別のフォルダを用意しています。
- robots.txtを編集した後、トラフィックが減少したが、どのルールが原因かは不明である。
- robots.txt、メタタグ、canonicalタグ、サイトマップを一つのシステムに統合する必要があります。
あなたのウェブサイトのために、私にできることはありますか？
私の名前はヴァレリー・ダニュクです。12年の経験と200社以上のクライアントを持つ、開発者兼SEOスペシャリストです。私が構築するすべてのウェブサイトには、適切なrobots.txtファイルが含まれています。
SEOとプロモーション
- ターンキーSEO監査：robots.txt、noindex、canonical、およびサイトマップを、ランダムなルールの集合ではなく、統一されたシステムとして扱います。
- AIを活用したSEOブログで、オーガニックなリードを獲得します。
- 翻訳ツールを使用しない多言語ウェブサイト――robots.txtとサイトマップはすべての言語を考慮に入れる必要がある。
ウェブサイトとオンラインストア
- WooCommerceオンラインストア：40種類以上のテンプレート、299ユーロ— カート、フィルター、チェックアウト用のrobots.txt付き。
- サイトマップとインデックス登録が自動的に設定される1001siteのウェブサイト。これは、有料のウェブサイト構築サービスとどう違うのでしょうか？ TildaとAI搭載ウェブサイト分析の比較。
CRM、会計、自動化
- オンラインストア向けの月次会計システム― チェコ共和国の企業向けプロジェクト。
- QuestFlowは、AIを搭載したTelegram SaaS型開発ツールです。
ポートフォリオにもっと作品があります。何を取り上げるべきか迷っていますか？ Telegramでウェブサイトのアドレスを送ってください。構成のルールを提案します。
結果
- オンラインのrobots.txtジェネレーターは、プリセット、パス、サイトマップ、フラグを含む正しいファイルを5分で作成します。
- 管理パネル、ごみ箱、検索、およびサービスフォルダを閉じます。CSS、JS、カタログ、およびブログは閉じないでください。
- robots.txt はインデックスからページを削除するものではありません。削除するには
noindex使用してください。 - 複雑な構造、フィルター、言語などは、設定を専門家に任せるか、インデックス作成が最初から設定されている1001siteでサイトを構築する理由となります。
無料のrobots.txtジェネレーターを使って、今すぐ独自のrobots.txtファイルを作成してください。ルールについてご質問があれば、 Telegramで私にご連絡ください。
情報源
- PromoPilotのrobots.txtジェネレーターツールページ - 設定、プリセット、およびページに関する質問。
- Google検索セントラル - robots.txtファイルの作成と送信方法
- Next.jsドキュメント - robots メタデータ ファイル。
