SEOツール

robots.txt ファイルをオンラインで作成および編集

Googlebot、Bingbot、Web スパイダーのクロール ディレクティブとルールを定義して、SEO クロール予算を管理し、プライベート ディレクトリを保護します。

16px
1
0 言葉 0 文字数 0 空白なし 1 行数 0 段落数
60:00 無料 行 1, 列 1 ローカルに保存済み

これをプライベートメモに保存します

ノートは 5 つまで無料、Pro は無制限です。

公式ガイド&構文リファレンス

徹底解説ガイド: robots.txt ファイルをオンラインで作成および編集

フォーマットルール、技術仕様、ベストプラクティス、実際のワークフローに関するすべて。

1. 検索エンジンのスパイダーが robots.txt を解釈する方法 (ロボット排除基準)

robots.txt ファイルは、ドメインのルート ディレクトリ (例: https://example.com/robots.txt) にある標準のプレーンテキスト ドキュメントで、自動 Web クローラーや検索エンジン スパイダー (Googlebot や Bingbot など) に、Web サイトのどの部分のリクエストを許可または禁止するかを指示します。これはロボット排除プロトコル (RFC 9309) によって管理されており、検索エンジン最適化 (SEO) のための主要なクロール予算管理メカニズムとして機能します。

2. ディレクティブ構文の内訳: ユーザーエージェント、許可、禁止、サイトマップ

Robots.txt は、標準化されたディレクティブの簡潔なセットを通じて動作します。

  • ユーザー エージェント: 次のルールが適用される Web クローラーを指定します。 User-agent: * はすべての Web スパイダーをターゲットとします。特定のエージェントには、Googlebot、Bingbot、Slurp、および GPTBot が含まれます。
  • Disallow: 指定されたパスで始まる URL をリクエストしないようターゲット クローラーに指示します (例: Disallow: /admin/)。
  • Allow: 広範なパラメータをオーバーライドします。特定の子パスに対する禁止ルール (例: Disallow: /media/ の後に Allow: /media/public/)。
  • Sitemap: XML サイトマップの完全な絶対 URL を指定します (例: Sitemap: https://example.com/sitemap.xml)。複数のサイトマップ行を宣言できます。

3. robots.txt のパターン マッチングとワイルドカード (* と $)

最新の検索エンジンは、robots.txt ディレクティブでのワイルドカード マッチングをサポートしています。

  • アスタリスク ワイルドカード (*): 任意の文字シーケンスと一致します。たとえば、Disallow: /*.pdf$ は、.pdf で終わるすべての URL をブロックします。
  • End-of-URL Anchor ($): 一致を URL 文字列の末尾に固定します。たとえば、Disallow: /checkout$ は /checkout をブロックしますが、/checkout/confirmation は許可します。
  • クエリ パラメータのブロック: Disallow: /*?s=* を使用して内部検索の重複 URL をブロックします。

4. SEO の重大な落とし穴: クロール予算とインデックス作成の防止

robots.txt ファイルを作成するときは、次の重大な誤解を避けてください:

  • robots.txt は Secret Vault ではありません: セキュリティが隠蔽性に依存する場合は、robots.txt に機密の非表示管理 URL をリストしないでください。ファイルは誰でも読み取り可能です。代わりにサーバー認証を使用してプライベート エンドポイントを保護します。
  • URL を禁止してもインデックス解除は保証されません: 外部 Web サイトが許可されていない URL にリンクしている場合でも、Google はコンテンツをクロールせずに URL をインデックスに登録する場合があります。インデックス作成を厳密に防止するには、ページをクロール可能な状態にして、HTML ヘッダーに を含めるか、X-Robots-Tag: noindex HTTP ヘッダーを返します。
  • 偶発的なフルサイト ブロック: User-agent: * の下にある Disallow: / という行は、検索エンジンを完全にブロックします。ウェブサイト全体をクロールしないようにする

5. ステップバイステップ ガイド: robots.txt の生成と展開

  1. 上のエディタでクローラー ルールとサイトマップ URL をカスタマイズします。
  2. Ctrl + S を押すか、ファイル → ファイルを保存 をクリックして、クリーンな robots.txt ファイルをダウンロードします。
  3. Web サイト ドメインの正確なパブリック ルート ディレクトリにファイルをアップロードして、次の場所からアクセスできるようにします。 https://yourdomain.com/robots.txt.
  4. Google Search Console の Robots.txt テスターを使用してルールを検証します。
高性能プラットフォーム

SEOツール 向けに設計

スピード、プライバシー、生産性を追求して設計。仮想DOMのオーバーヘッドなし、ネイティブIndexedDB永続化、Web Workerバックグラウンド処理、ゼロ知識暗号化、強力なProツールを搭載。

1秒未満のコールドブート

重いフレームワークを使わず、軽量で高速なバニラJSで構築。1秒未満で瞬時に読み込まれ、60FPSの滑らかなレスポンスですぐに入力できます。

Notion風スラッシュコマンド (/)

新しい行で / を入力するとメニューが表示されます。見出し、チェックリスト、箇条書き、コードブロック、テーブルを瞬時に挿入できます。

音声入力&リアルタイム文字起こし

リアルタイム音声認識により、長文ノートやアイデアをハンズフリーで口述入力。ライブ音声波形表示と高速な文字起こしを搭載。

PDF、Word、各種ドキュメントインポーター

PDF(PDF.js経由)、Word(.docx)、Markdown、TXT、JSON、CSV、YAML、コードファイルからブラウザ内で安全にテキストを抽出。サーバー送信ゼロ。

インタラクティブなチェックリストとタスク

Markdownの - [ ] 構文で動的なTo-Doリストを作成。エディタとプレビューの両方でクリックしてタスクを完了でき、ステータスバーに進捗率を表示。

Zen集中モード&タイプライタースクロール

気が散らない執筆環境に没入(F10)。アクティブな入力行を画面の中央に固定するタイプライタースクロールに対応。

Spotlightクイックスイッチャー (Ctrl+K)

キーボードショートカットでノート間の切り替え、全文検索、コマンド実行、タグの絞り込みを瞬時に行えるコマンドパレット。

バージョン履歴とスナップショット

大切な作業を失うことはありません。IndexedDBに自動保存されるスナップショットにより、過去の履歴を閲覧し、差分を確認してワンクリックで復元可能(Ctrl+H)。

ハッシュタグ管理とフィルター

テキスト内の任意の場所に #タグ を入力して分類。タグをクリックするかフィルターを使用して、関連する研究やプロジェクトを瞬時にグループ化。

PRO

パスワード保護された保管庫

機密メモ、アカウント情報、日記をミリタリーグレードのクライアント側256ビットAES-GCM暗号化で保護。マスターキーでのみ安全に解除可能。

PRO

Wikiリンク&バックリンク

双方向Wikiリンク([[ノートのタイトル]])、オートコンプリート、自動バックリンク集計により、個人の知識ベースを構築・相互接続。

PRO

スマートノートリマインダー

メモにタスクの期限やアラートを設定。ブラウザのプッシュ通知、通知音、定期的なリマインダーを時間通りに受け取れます。

マルチデバイス・クラウド同期

シームレスなバックグラウンド同期により、スマートフォン、タブレット、PC間でアクティブなノートとタブをリアルタイムに同一保持。

IndexedDBネイティブストレージ

ワークスペースはブラウザの非同期IndexedDBに保存。メインスレッドをブロックせず、巨大なノートや複数タブでもデータ損失ゼロ。

ゼロ知識エンドツーエンド暗号化

256ビットAES-GCMで暗号化してノートを共有。復号キーはURLハッシュ(#key=...)内にのみ保持され、サーバーには一切送信されません。

ユニバーサル・マルチフォーマット書き出し

サーバー不要の即時エクスポート:.txt、.md、.json、.csv、ページ番号付き.pdf、Word(.docx)、.html、QRコードに対応。

バックグラウンドWeb Worker

リアルタイム文字数カウント、正規表現置換、大文字小文字変換、行の並べ替えを独立したWeb Workerで処理し、60FPSの滑らかさを維持。

100%オフライン対応PWA

デスクトップやスマホにPWAとしてインストール可能。インターネット接続がない飛行機内や移動中でも自由にノートを作成・整理できます。

SEOツール

よくあるご質問: robots.txt ファイルをオンラインで作成および編集

robots.txt ファイルをオンラインで作成および編集、構文、プライバシーに関するよくある質問と回答。

robots.txt ファイルは、Web サイト ドメインの正確なルートに配置する必要があります (例: https://example.com/robots.txt)。検索エンジンのクローラーは、サブディレクトリでは検索しません。

いいえ。「禁止」にすると、Googlebot がページをクロールできなくなりますが、他の Web サイトがそのページにリンクしている場合、Google は検索結果にスニペットなしで URL を表示する可能性があります。インデックス作成を厳密に防止するには、「」を使用します。

はい。 「User-agent: GPTBot」の後に「Disallow: /」を追加すると、OpenAI の Web スクレイパーがサイトをスキップするように要求できます。

Sitemap ディレクティブでは、常に https:// を含む完全な絶対 URL を使用する必要があります (例: `Sitemap: https://example.com/sitemap.xml`)。

はい。 Outsmart Notes はブラウザ上で 100% クライアント側で動作します。 Web サイトの URL や設定ルールが当社のサーバーに送信されることはありません。

Pro保管庫は、256ビットAES-GCMと10万回反復のPBKDF2を使用して、ブラウザ内でローカルに暗号化します。マスターパスワードはサーバーに送信されず、端末内にのみ留まります。パスワードなしで解読することは不可能です。

ノート内の任意の場所で [[ と入力するとWikiリンクを作成可能。候補リストが表示され、プレビュー画面でクリック移動できます。バックリンクパネルにはリンク元が一覧表示されます。

1回限りまたは定期的なリマインダー(毎日、毎週、毎月)を設定可能。ブラウザのWeb Notifications APIを使用し、デスクトップ通知とアラーム音で知らせます。

空白の行で / を押すとポップアップメニューが表示されます。見出し(H1〜H6)、チェックリスト、シンタックスハイライト付きコードブロック、区切り線を瞬時に挿入可能。

はい!ファイル → インポートをクリックするか、ファイルをエディタにドラッグ&ドロップしてください。PDF、Word、Markdown、TXT、JSON、CSV、コードファイルからブラウザ内で安全にテキストを抽出します。

ツールバーのマイクアイコンをクリックすると開始。ブラウザのWeb Speech APIを使用して音声を即座にテキストに変換し、波形インジケーターを表示します。

Zenモード(F10)はツールバーを非表示にし、全画面での執筆に没入できます。タイプライタースクロールを有効にすると、入力中の行が常に画面の中央に固定されます。

Ctrl+K(MacはCmd+K)でSpotlightを開きます。タイトルや本文の検索、#タグでの絞り込み、タブの切り替え、コマンド実行をキーボードだけで完結。

IndexedDBに自動的にスナップショットを保存します。Ctrl+Hを押すか、編集 → バージョン履歴を選択することで、過去のバージョンを比較してワンクリックで復元できます。

ブラウザがWeb Crypto API(AES-GCM 256ビット)を使用してノートをローカルで暗号化。解号キーはURLのハッシュ(#key=...)に含まれ、サーバーには一切送信されません。完全なリンクを持つ人のみが閲覧できます。

Outsmart Notesは主要なストレージエンジンとしてIndexedDBを採用。同期的なlocalStorageと異なり、非同期処理で数メガバイトの文書を扱い、入力時の画面停止を防ぎます。

- [ ] タスク名 と入力してチェックリストを作成、- [x] で完了。ステータスバーがリアルタイムに進捗状況(例:2/4タスク (50%))を追跡します。PDFやWordへエクスポートする際も美しいベクターチェックボックスとして出力されます。

ユニバーサルなクライアントサイドコンパイラを搭載。**太字**、*斜体*、インラインコード、リンク、チェックボックスなどのMarkdown記法が、PDFやWord(.docx)出力時に自動的に高品質なスタイルとハイパーリンクに変換されます。

はい!Outsmart NotesはPWAに対応。Chrome、Edge、Safariで「インストール」または「ホーム画面に追加」をクリックすると、オフライン対応のスタンドアロンアプリとして利用できます。