ابزار سئو

فایل های robots.txt را به صورت آنلاین ایجاد و ویرایش کنید

دستورالعمل‌ها و قوانین خزیدن را برای Googlebot، Bingbot و web spider تعریف کنید تا بودجه خزیدن SEO را مدیریت کنید و از دایرکتوری‌های خصوصی محافظت کنید.

16px
1
0 کلمات 0 نویسه 0 بدون فاصله 1 سطر 0 پاراگراف
60:00 رایگان سطر ۱، ستون ۱ به صورت محلی ذخیره شد

این را در یک یادداشت خصوصی ذخیره کنید

رایگان تا ۵ یادداشت، پرو نامحدود است.

راهنمای معتبر و مرجع نحو

راهنمای عمیق: فایل های robots.txt را به صورت آنلاین ایجاد و ویرایش کنید

هر آنچه که باید در مورد قوانین قالب‌بندی، مشخصات فنی و بهترین روش‌ها بدانید.

1. چگونه عنکبوت های موتورهای جستجو robots.txt را تفسیر می کنند (استاندارد حذف روبات ها)

فایل robots.txt یک سند متن ساده استاندارد است که در دایرکتوری ریشه یک دامنه (به عنوان مثال https://example.com/robots.txt) قرار دارد و به خزنده‌های وب خودکار و عنکبوت‌های موتور جستجو (مانند Googlebot) اجازه می‌دهد که بخش‌هایی از وب‌سایت و B هستند. ممنوع از درخواست تحت کنترل پروتکل حذف روبات ها (RFC 9309)، به عنوان مکانیزم مدیریت بودجه خزیدن اولیه برای بهینه سازی موتور جستجو (SEO) عمل می کند.

2. تفکیک نحو دستوری: عامل کاربر، مجاز، غیر مجاز و نقشه سایت

Robots.txt از طریق مجموعه مختصری از دستورالعمل‌های استاندارد عمل می‌کند:

  • User-agent: مشخص می‌کند که قوانین زیر برای کدام خزنده وب اعمال می‌شود. کاربر-عامل: * همه عنکبوت‌های وب را هدف قرار می‌دهد. عوامل خاص عبارتند از Googlebot، Bingbot، Slurp، و GPTBot.
  • Disallow: به خزنده مورد نظر دستور می‌دهد که هیچ نشانی اینترنتی که با مسیر مشخص شده شروع می‌شود درخواست نکند. /admin/).
  • مجاز: یک قانون غیرمجاز گسترده را برای یک مسیر فرزند خاص لغو می‌کند (مثلاً عدم اجازه: /media/ و به دنبال آن مجاز: /media/public/).
  • نقشه سایت: نشانی اینترنتی کامل سایت شما: مشخص می‌کند. نقشه سایت: https://example.com/sitemap.xml). می توانید چندین خط نقشه سایت را اعلام کنید.

3. تطبیق الگو و حروف عامیانه در robots.txt (* و $)

موتورهای جستجوی مدرن از تطبیق حروف عام در دستورالعمل‌های robots.txt پشتیبانی می‌کنند:

  • Asterisk Wildcard (*): با هر دنباله‌ای از نویسه‌ها مطابقت دارد. برای مثال، عدم اجازه: /*.pdf$ همه نشانی‌های اینترنتی که به .pdf ختم می‌شوند را مسدود می‌کند.
  • And-of-URL Anchor ($): مطابقت را به انتهای رشته URL متصل می‌کند. به عنوان مثال، عدم اجازه: /checkout$ /checkout را مسدود می‌کند اما /checkout/confirmation را مجاز می‌کند.
  • مسدود کردن پارامتر درخواست: مسدود کردن URL‌های تکراری جستجوی داخلی با عدم اجازه ندادن <::*>

4. مشکلات حیاتی سئو: خزیدن بودجه در مقابل پیشگیری از نمایه سازی

از این تصورات نادرست مهم هنگام ایجاد فایل robots.txt خودداری کنید:

  • robots.txt یک خزانه مخفی نیست: اگر امنیت به مبهم بودن بستگی دارد، هرگز آدرس‌های اینترنتی مخفی مدیریت حساس را در robots.txt فهرست نکنید—این فایل برای همه قابل خواندن است. درعوض از نقاط پایانی خصوصی با احراز هویت سرور محافظت کنید.
  • مجاز کردن نشانی وب، نمایه‌سازی را تضمین نمی‌کند: اگر وب‌سایت‌های خارجی به یک نشانی اینترنتی غیرمجاز پیوند دهند، ممکن است Google همچنان URL را بدون خزیدن در محتوای آن فهرست کند. برای جلوگیری از نمایه‌سازی، صفحه را قابل خزیدن بگذارید و را در سرصفحه HTML قرار دهید یا یک X-Robots-Tag: noindex هدر HTTP را برگردانید.
  • مسدود کردن کامل سایت تصادفی:خواندن خط زیر /code:A. عامل کاربر: * به طور کامل موتورهای جستجو را از خزیدن در کل وب سایت شما مسدود می کند.

5. راهنمای گام به گام: تولید و استقرار robots.txt

  1. قوانین خزنده و URL نقشه سایت را در ویرایشگر بالا سفارشی کنید.
  2. Ctrl + S را فشار دهید یا روی File → Save File کلیک کنید تا robots.txt پاک خود را دانلود کنید تا فایل ریشه عمومی وب‌سایت خود را در پوشه عمومی phttps://yourdomain.com/robots.txt قابل دسترسی است.
  3. قوانین خود را با استفاده از آزمایش‌کننده Robots.txt کنسول جستجوی Google تأیید کنید.
پلتفرم با کارایی بالا

طراحی شده برای ابزار سئو

طراحی‌شده برای سرعت، حریم خصوصی و بهره‌وری. بدون سربار DOM مجازی، پایداری بومی در IndexedDB، پردازش چندرشته‌ای وب ورکر، رمزگذاری دانش صفر و ابزارهای حرفه‌ای.

شروع سریع زیر یک ثانیه

با جاوااسکریپت خالص و سریع و بدون فریم‌ورک‌های سنگین ساخته شده است. فوراً بارگذاری می‌شود و در کمتر از ۱ ثانیه با نرخ ۶۰ فریم آماده تایپ است.

دستورات اسلش (/) به سبک نوشن

در هر خط جدید عبارت / را تایپ کنید تا منوی درج سریع باز شود. سرتیترها، چک‌لیست‌ها، بلوک‌های کد و جدول‌ها را به سادگی اضافه کنید.

تایپ صوتی و تبدیل گفتار به متن

یادداشت‌های طولانی و ایده‌های خود را بدون دخالت دست و با تشخیص گفتار همزمان دیکته کنید. همراه با نمایش امواج صوتی زنده.

واردکننده فایل‌های PDF، Word و اسناد

استخراج متن به صورت محلی در مرورگر از فایل‌های PDF، Word (.docx)، Markdown، TXT، JSON، CSV و کدهای برنامه‌نویسی بدون ارسال به سرور.

چک‌لیست‌ها و وظایف تعاملی

با ساختار مارک‌داون - [ ] لیست‌های انجام کار بسازید. در ویرایشگر و پیش‌نمایش تیک بزنید و درصد پیشرفت را در نوار وضعیت مشاهده کنید.

تمرکز ذن و پیمایش ماشین تحریر

غرق در نوشتن بدون حواس‌پرتی شوید (F10). پیمایش ماشین تحریر خط فعال تایپ شما را همیشه در مرکز صفحه قفل نگه می‌دارد.

تغییردهنده سریع اسپات‌لایت (Ctrl+K)

بین یادداشت‌ها جابجا شوید، در کل متن جستجو کنید، دستورات را اجرا کنید و برچسب‌ها را مستقیماً با صفحه‌کلید فیلتر کنید.

تاریخچه نسخه‌ها و اسنپ‌شات‌ها

دیگر هیچ متنی را از دست ندهید. چک‌پوینت‌های خودکار در IndexedDB به شما امکان می‌دهند نسخه‌های قبلی را ببینید و با یک کلیک بازیابی کنید (Ctrl+H).

سازماندهی و فیلتر با هشتگ

در هر کجای متن از #هشتگ استفاده کنید. با کلیک بر روی برچسب‌ها، یادداشت‌ها و پروژه‌های مرتبط را فوراً دسته‌بندی کنید.

PRO

گاوصندوق قفل‌شده با رمز عبور

افکار محرمانه و رمزهای عبور خود را با رمزگذاری نظامی ۲۵۶ بیتی AES-GCM در سمت کاربر ایمن کنید که فقط با کلید اصلی شما باز می‌شود.

PRO

پیوندهای دوطرفه ویکی و بک‌لینک‌ها

افکار خود را با پیوندهای دوطرفه ویکی ([[عنوان یادداشت]]) و پیشنهادهای خودکار متصل کنید تا یک پایگاه دانش منسجم بسازید.

PRO

یادآورهای هوشمند یادداشت

مهلت‌ها و هشدارهای کاری را برای هر یادداشت زمان‌بندی کنید. اعلان‌های مرورگر، زنگ‌های صوتی و یادآورهای تکراری را سر وقت دریافت کنید.

همگام‌سازی ابری چند دستگاه

همگام‌سازی ابری در پس‌زمینه، یادداشت‌های فعال و برگه‌های شما را در تلفن‌های همراه، تبلت‌ها و رایانه‌ها همزمان یکپارچه نگه می‌دارد.

ذخیره‌سازی بومی در IndexedDB

یادداشت‌های شما در دیتابیس ناهمگام IndexedDB ذخیره می‌شوند و اسناد فوق‌العاده حجیم را بدون کُند شدن مرورگر پشتیبانی می‌کنند.

رمزگذاری دانش صفر (Zero-Knowledge)

یادداشت‌ها را با رمزگذاری ۲۵۶ بیتی AES-GCM به اشتراک بگذارید. کلید رمزگشایی فقط در هش نشانی (#key=...) می‌ماند و به سرور ارسال نمی‌شود.

صادرات جامع به فرمت‌های متعدد

صادرات فوری بدون سرور به .txt، .md، .json، .csv، .pdf شماره‌گذاری‌شده، Word .docx، .html و کد QR.

وب ورکر مجزا در پس‌زمینه

شمارش زنده کلمات، جستجو و جایگزینی عبارات باقاعده، و مرتب‌سازی در یک وب ورکر مجزا با نرخ ۶۰ فریم روان اجرا می‌شوند.

برنامه PWA با کارکرد ۱۰۰٪ آفلاین

برنامه را به عنوان PWA در رایانه یا موبایل نصب کنید. در هر جا حتی بدون دسترسی به اینترنت یادداشت بنویسید و قالب‌بندی کنید.

ابزار سئو

پرسش‌های متداول: فایل های robots.txt را به صورت آنلاین ایجاد و ویرایش کنید

سوالات و پاسخ‌های متداول در مورد فایل های robots.txt را به صورت آنلاین ایجاد و ویرایش کنید، نحو و حریم خصوصی.

فایل robots.txt باید دقیقاً در ریشه دامنه وب سایت شما قرار گیرد (به عنوان مثال https://example.com/robots.txt). خزنده های موتورهای جستجو آن را در زیر شاخه ها جستجو نمی کنند.

خیر. Disallow از خزیدن Googlebot در صفحه جلوگیری می‌کند، اما اگر وب‌سایت‌های دیگر به آن پیوند دهند، ممکن است Google همچنان URL را در نتایج جستجو بدون قطعه نمایش دهد. برای جلوگیری از نمایه سازی، از «` استفاده کنید.

بله. می‌توانید «User-agent: GPTBot» را به‌دنبال آن «Disallow: /» اضافه کنید تا بخواهید از وب‌اسکراپر OpenAI از سایت شما عبور کند.

دستورالعمل نقشه سایت باید همیشه از یک URL کامل و مطلق از جمله https:// استفاده کند (به عنوان مثال `نقشه سایت: https://example.com/sitemap.xml`).

بله. Outsmart Notes 100% سمت مشتری در مرورگر شما کار می کند. هیچ URL وب سایت یا قوانین پیکربندی به سرورهای ما ارسال نمی شود.

گاوصندوق حرفه‌ای یادداشت‌های شما را با رمزگذاری ۲۵۶ بیتی AES-GCM و ۱۰۰٬۰۰۰ تکرار PBKDF2 در مرورگر رمز می‌کند. رمز اصلی هرگز به سرور فرستاده نمی‌شود.

با تایپ [[ یادداشت‌های خود را متصل کنید. منوی خودکار یادداشت‌ها را پیشنهاد می‌دهد و در پیش‌نمایش قابل کلیک هستند و پنل بک‌لینک پیوندها را لیست می‌کند.

می‌توانید یادآورهای یکباره یا دوره‌ای تنظیم کنید. برنامه با استفاده از اعلانات مرورگر، هشدارهای دسکتاپ و زنگ صوتی را پخش می‌کند.

در یک خط خالی کلید / را فشار دهید تا منوی تعاملی باز شود. سرتیترها (H1 تا H6)، چک‌لیست‌ها، بلوک‌های کد و خطوط جداکننده را سریع درج کنید.

بله! روی پرونده → وارد کردن سند کلیک کنید یا فایل را بکشید و رها کنید. متن بدون آپلود به سرور، در مرورگر استخراج می‌شود.

روی نماد میکروفون کلیک کنید. برنامه با استفاده از Web Speech API صدای شما را بی‌درنگ همراه با نمایش موج صوتی به متن تبدیل می‌کند.

حالت ذن (F10) نوار ابزار را مخفی می‌کند تا تمام صفحه بنویسید. پیمایش ماشین تحریر خط فعال را در مرکز عمودی صفحه قفل نگه می‌دارد.

کلیدهای Ctrl+K (یا Cmd+K) را فشار دهید. بدون برداشتن دست از صفحه‌کلید، عنوان، متن و #هشتگ‌ها را جستجو کرده و برگه‌ها را جابجا کنید.

برنامه نسخه‌های قبلی را در IndexedDB ذخیره می‌کند. با فشردن Ctrl+H نسخه‌های گذشته را مقایسه و با یک کلیک بازیابی کنید.

مرورگر با Web Crypto API یادداشت را در دستگاه شما رمزگذاری می‌کند. کلید رمزگشایی پس از علامت # (#key=...) قرار دارد و هرگز به سرور ارسال نمی‌شود.

برنامه از IndexedDB به عنوان موتور اصلی ذخیره‌سازی استفاده می‌کند که ناهمگام است، اسناد بزرگ را پشتیبانی کرده و مانع از توقف رابط کاربری می‌شود.

برای ساخت وظیفه عبارت - [ ] نام کار را بنویسید یا با - [x] تکمیل کنید. نوار وضعیت درصد پیشرفت را بلافاصله نمایش می‌دهد.

کامپایلر داخلی برنامه نمادهای مارک‌داون را هنگام خروجی گرفتن به PDF و Word (.docx) به قلم‌های حرفه‌ای و پیوندهای کلیک‌پذیر تبدیل می‌کند.

بله! این برنامه یک PWA است. در مرورگر روی دکمه نصب یا افزودن به صفحه اصلی کلیک کنید تا به صورت یک برنامه مستقل و آفلاین اجرا شود.