ローカル処理エンジン

Robots.txt 作成・生成ツール

検索エンジンの巡回ロボット(クローラー)に適切な指示を与えるrobots.txtを簡単作成。

XMLサイトマップURL

クロール遅延 (秒・任意)

クロールを拒否するディレクトリ (1行に1つ)

生成された robots.txt

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /tmp/

Sitemap: https://www.dgntool.com/sitemap.xml

概要

管理者ページなど検索に載せたくないURLの除外設定やサイトマップのURL記述に対応。

100% プライベート: 全ての処理は端末のブラウザ内で完結し、外部送信されません。

Robots.txt Generator: Crawler Directives & Sitemap Mapping

The Robots.txt Generator builds standard crawler instructions (Allow/Disallow) and sitemap pointers for search engine bots.

How to Build a Robots.txt File

高速＆直感的

Specify User-Agents

Set rules for all bots (*) or individual crawlers.

Add Disallow Paths

Exclude private admin folders and internal search paths.

Export robots.txt

Upload file directly to your website root directory.

主な機能とメリット

100% ブラウザ内安全処理

サーバーへのアップロードなし。重要なデータは端末内で安全に保護されます。

待ち時間ゼロの即時実行

ネットワーク待機なしでリアルタイムに計算結果を表示。

無制限＆完全無料

会員登録や利用制限は一切ありません。

あらゆるデバイスに対応

スマホ、タブレット、PCでシームレスに利用可能。

先進のブラウザ内処理アーキテクチャ

W3C標準に準拠したハードウェアアクセラレーションによる高速処理。

専門家のアドバイスとベストプラクティス

Never use robots.txt to hide sensitive data; it is publicly readable by anyone.

よくある質問

1 よくある質問と回答

Where must the robots.txt file be hosted?

Strictly at the root level of your domain (e.g. `domain.com/robots.txt`).