SEO 도구

온라인으로 robots.txt 파일 생성 및 편집

Googlebot, Bingbot 및 웹 스파이더에 대한 크롤링 지시어와 규칙을 정의하여 SEO 크롤링 예산을 관리하고 개인 디렉터리를 보호하세요.

16px
1
0 단어 0 글자 0 공백 제외 1 줄 0 문단
60:00 무료 줄 1, 열 1 로컬에 저장됨

비공개 메모에 저장하세요.

노트는 5개까지 무료이고, Pro는 무제한입니다.

권위 있는 가이드 및 구문 참조

심층 가이드: 온라인으로 robots.txt 파일 생성 및 편집

서식 규칙, 기술 사양, 모범 사례 및 실제 워크플로에 대해 알아야 할 모든 것.

1. 검색 엔진 스파이더가 robots.txt를 해석하는 방법(로봇 제외 표준)

robots.txt 파일은 도메인의 루트 디렉토리(예: https://example.com/robots.txt)에 있는 표준 일반 텍스트 문서로, 자동화된 웹 크롤러와 검색 엔진 스파이더(예: Googlebot 및 Bingbot)에게 요청이 허용되거나 금지되는 웹사이트 부분을 지시합니다. 로봇 배제 프로토콜(RFC 9309)의 적용을 받으며 검색 엔진 최적화(SEO)를 위한 기본 크롤링 예산 관리 메커니즘 역할을 합니다.

2. 지시문 구문 분석: 사용자 에이전트, 허용, 허용 안 함 및 사이트맵

Robots.txt는 표준화된 지시어의 간결한 집합을 통해 작동합니다.

  • User-agent: 다음 규칙이 적용되는 웹 크롤러를 지정합니다. User-agent: *는 모든 웹 스파이더를 대상으로 합니다. 특정 에이전트에는 Googlebot, Bingbot, Slurp 및 GPTBot이 포함됩니다.
  • 허용 안 함: 지정된 경로(예: Disallow: /admin/)로 시작하는 URL을 요청하지 않도록 대상 크롤러에 지시합니다.
  • 허용: 광범위한 허용 안 함 규칙을 재정의합니다. 특정 하위 경로(예: Disallow: /media/ 다음에 Allow: /media/public/).
  • Sitemap: XML 사이트맵의 전체 절대 URL을 지정합니다(예: Sitemap: https://example.com/sitemap.xml). 여러 사이트맵 줄을 선언할 수 있습니다.

3. robots.txt의 패턴 일치 및 와일드카드(* 및 $)

최신 검색 엔진은 robots.txt 지시문에서 와일드카드 일치를 지원합니다.

  • 별표 와일드카드(*): 모든 문자 순서와 일치합니다. 예를 들어, Disallow: /*.pdf$는 .pdf로 끝나는 모든 URL을 차단합니다.
  • URL 끝 앵커($): 일치 항목을 URL 문자열 끝에 고정합니다. 예를 들어, Disallow: /checkout$는 /checkout을 차단하지만 /checkout/confirmation은 허용합니다.
  • 쿼리 매개변수 차단: Disallow: /*?s=*를 사용하여 내부 검색 중복 URL을 차단합니다.

4. 중요한 SEO 함정: 크롤링 예산과 색인 생성 방지

robots.txt 파일을 생성할 때 다음과 같은 중요한 오해를 피하십시오.

  • robots.txt는 비밀 금고가 아닙니다. 보안이 모호해야 하는 경우 robots.txt에 민감한 숨겨진 관리자 URL을 나열하지 마십시오. 파일은 누구나 공개적으로 읽을 수 있습니다. 대신 서버 인증으로 개인 엔드포인트를 보호하세요.
  • URL을 허용하지 않으면 색인 해제가 보장되지 않습니다. 외부 웹사이트가 허용되지 않은 URL에 연결되는 경우 Google은 해당 콘텐츠를 크롤링하지 않고도 URL의 색인을 생성할 수 있습니다. 색인화를 엄격히 방지하려면 페이지를 크롤링 가능하게 두고 HTML 헤더에 를 포함하거나 X-Robots-Tag: noindex HTTP 헤더를 반환하세요.
  • 실수로 인한 전체 사이트 차단: User-agent: *에서 Disallow: /라는 줄은 검색 엔진이 귀하를 크롤링하는 것을 완전히 차단합니다. 전체 웹사이트.

5. 단계별 가이드: robots.txt 생성 및 배포

  1. 위 편집기에서 크롤러 규칙과 사이트맵 URL을 맞춤설정하세요.
  2. Ctrl + S를 누르거나 파일 → 파일 저장을 클릭하여 깨끗한 robots.txt 파일을 다운로드하세요.
  3. 다음에서 액세스할 수 있도록 웹사이트 도메인의 정확한 공개 루트 디렉토리에 파일을 업로드하세요. https://yourdomain.com/robots.txt.
  4. Google Search Console의 Robots.txt 테스터를 사용하여 규칙을 검증하세요.
고성능 플랫폼

SEO 도구 맞춤 설계

속도, 프라이버시 및 생산성을 위해 설계되었습니다. 가상 DOM 오버헤드 없음, 기본 IndexedDB 지속성, 웹 워커 오프로딩, 제로 지식 암호화 및 강력한 Pro 지식 관리 도구.

1초 미만 초고속 로딩

무거운 프레임워크 오버헤드 없이 고성능 바닐라 JS로 제작되었습니다. 즉시 로드되어 60FPS의 부드러움으로 1초 이내에 타이핑할 수 있습니다.

Notion 스타일 슬래시 명령어 (/)

새 줄에서 /를 입력하여 빠른 삽입 메뉴를 호출하세요. 제목, 체크리스트, 목록, 코드 블록, 표 및 콜아웃을 손쉽게 삽입할 수 있습니다.

음성 입력 및 실시간 음성-텍스트 변환

실시간 음성 인식을 통해 핸즈프리로 장문 메모와 아이디어를 받아쓰세요. 실시간 오디오 시각화 및 빠른 텍스트 변환을 제공합니다.

PDF, Word 및 문서 가져오기 도구

서버 업로드 없이 PDF(PDF.js), Word(.docx), Markdown, TXT, JSON, CSV, YAML 및 코드 파일에서 브라우저 내에서 안전하게 텍스트를 추출합니다.

대화형 체크리스트 및 작업 관리

마크다운 - [ ] 구문으로 동적 할 일 목록을 만드세요. 편집기와 미리보기에서 확인란을 클릭하여 작업을 전환하고 상태 표시줄에서 실시간 진행률을 확인하세요.

Zen 몰입 모드 및 타자기 스크롤

방해 없는 글쓰기 환경에 몰입하세요 (F10). 활성 입력 줄을 화면 중앙에 자동으로 고정하는 타자기 스크롤을 지원합니다.

Spotlight 빠른 전환기 (Ctrl+K)

키보드 중심의 명령 팔레트에서 메모 간 이동, 작업 공간 전체 텍스트 검색, 서식 명령 실행, 태그 필터링을 즉시 수행하세요.

버전 기록 및 자동 스냅샷

중요한 작업을 절대 잃어버리지 마세요. IndexedDB에 자동 저장된 스냅샷 체크포인트를 통해 과거 수정을 검토하고 한 번의 클릭으로 롤백할 수 있습니다 (Ctrl+H).

해시태그 정리 및 스마트 필터

본문 어디서나 #태그를 입력하여 메모를 정리하세요. 태그를 클릭하거나 서랍 필터를 사용하여 관련 프로젝트와 아이디어를 즉시 그룹화할 수 있습니다.

PRO

비밀번호 잠금 보안 금고

군사 등급의 클라이언트 측 256비트 AES-GCM 금고 암호화로 기밀 생각, 계정 자격 증명 및 일기를 보호하세요. 마스터 키로만 열립니다.

PRO

위키 링크 및 양방향 백링크

양방향 위키 링크([[메모 제목]]), 자동 완성 및 자동 백링크 참조를 통해 생각을 유기적으로 연결하여 나만의 개인 지식 베이스를 구축하세요.

PRO

스마트 메모 알림

모든 메모에 마감일과 알림을 예약하세요. 브라우저 푸시 알림, 부드러운 차임벨 및 정기 알림을 제시간에 받아보세요.

다중 장치 실시간 클라우드 동기화

원활한 백그라운드 클라우드 동기화로 스마트폰, 태블릿, 노트북 및 데스크톱 전반에서 활성 메모와 탭이 실시간으로 일치합니다.

IndexedDB 네이티브 로컬 저장소

작업 공간은 브라우저의 비동기 IndexedDB에 로컬로 저장됩니다. 메인 스레드 차단이나 데이터 손실 없이 대용량 메모와 다중 탭을 지원합니다.

영지식(Zero-Knowledge) 암호화 공유

256비트 AES-GCM 암호화로 메모를 공유하세요. 복호화 키는 URL 해시(#key=...)에만 존재하며 서버로 절대 전송되지 않습니다.

범용 멀티 포맷 내보내기

서버 없이 즉시 내보내기: 페이지 번호가 포함된 .pdf, Word .docx, .txt, .md, .json, .csv, .html 및 QR 코드를 지원합니다.

백그라운드 웹 워커(Web Worker)

실시간 단어 수 계산, 정규식 찾기/바꾸기, 대소문자 변환 및 줄 정렬이 전용 백그라운드 Web Worker에서 60fps로 매끄럽게 실행됩니다.

100% 오프라인 PWA 앱

Outsmart Notes를 데스크톱이나 모바일 PWA 앱으로 설치하세요. 인터넷 연결이 없는 곳에서도 언제 어디서나 메모를 작성하고 정리할 수 있습니다.

SEO 도구

자주 묻는 질문: 온라인으로 robots.txt 파일 생성 및 편집

온라인으로 robots.txt 파일 생성 및 편집, 구문 및 개인 정보 보호에 관한 자주 묻는 질문과 답변입니다.

robots.txt 파일은 웹사이트 도메인의 정확한 루트(예: https://example.com/robots.txt)에 있어야 합니다. 검색 엔진 크롤러는 하위 디렉터리에서 해당 항목을 찾지 않습니다.

아니요. 허용 안 함을 선택하면 Googlebot이 페이지를 크롤링하는 것을 방지할 수 있지만, 다른 웹사이트가 해당 페이지에 링크하는 경우 Google은 스니펫 없이 검색결과에 URL을 계속 표시할 수 있습니다. 인덱싱을 엄격히 방지하려면 ``를 사용하세요.

예. OpenAI의 웹 스크레이퍼가 사이트를 건너뛰도록 요청하려면 `User-agent: GPTBot` 뒤에 `Disallow: /`를 추가할 수 있습니다.

Sitemap 지시문은 항상 https://를 포함한 전체 절대 URL을 사용해야 합니다(예: `Sitemap: https://example.com/sitemap.xml`).

예. Outsmart Notes는 브라우저에서 100% 클라이언트측으로 작동합니다. 웹사이트 URL이나 구성 규칙은 당사 서버로 전송되지 않습니다.

Pro 금고는 256비트 AES-GCM 및 100,000회 반복의 PBKDF2를 사용하여 브라우저에서 로컬로 메모를 암호화합니다. 마스터 비밀번호는 서버로 절대 전송되지 않으며, 잠겨 있을 때는 비밀번호 없이는 내용을 읽을 수 없습니다.

메모 어디서나 [[를 입력하여 위키 스타일로 메모를 연결할 수 있습니다. 마크다운 미리보기에서 클릭하여 이동할 수 있으며, 백링크 패널에는 현재 메모를 가리키는 모든 메모가 자동으로 나열됩니다.

모든 메모에 일회성 또는 반복 알림을 예약할 수 있습니다. 브라우저의 Web Notifications API를 활용하여 제시간에 데스크톱 알림과 알림음을 울립니다.

빈 줄에서 /를 누르면 대화형 팝업 메뉴가 열립니다. 제목(H1~H6), 할 일 체크리스트, 구문 강조 코드 블록, 인용구, 구분선 및 위키 링크를 빠르게 삽입하세요.

네! 파일 → 문서 가져오기를 클릭하거나 파일을 편집기에 끌어다 놓으세요. 서버 업로드 없이 PDF, Word(.docx), Markdown, TXT, JSON, CSV 및 코드 파일에서 브라우저 내에서 직접 텍스트를 추출합니다.

툴바의 마이크 아이콘을 클릭하여 활성화하세요. 브라우저의 Web Speech API를 사용하여 실시간 오디오 파형 표시와 함께 음성을 즉시 텍스트로 변환합니다.

Zen 모드(F10)는 모든 도구 모음을 숨겨 몰입감 넘치는 전체 화면 글쓰기를 제공합니다. 타자기 스크롤을 켜면 작성 중인 줄이 화면 중앙에 고정됩니다.

Ctrl+K(macOS는 Cmd+K)를 눌러 Spotlight를 여세요. 키보드에서 손을 떼지 않고 제목 검색, 본문 검색, #태그 필터링, 탭 전환을 수행할 수 있습니다.

Outsmart Notes는 로컬 IndexedDB에 스냅샷을 자동 저장합니다. Ctrl+H를 누르거나 편집 → 버전 기록을 선택하여 과거 버전을 확인하고 클릭 한 번으로 복원하세요.

링크를 생성할 때 브라우저가 Web Crypto API(AES-GCM 256비트)를 사용하여 로컬에서 암호화합니다. 복호화 키는 URL 해시(#key=...) 뒤에 붙으며 브라우저는 해시를 서버로 전송하지 않으므로 링크를 받은 사람만 열람할 수 있습니다.

Outsmart Notes는 기본 스토리지 엔진으로 IndexedDB를 사용합니다. 동기식 localStorage와 달리 비동기식이며 대용량 문서를 완벽하게 지원하고 UI 멈춤 현상을 방지합니다.

- [ ] 할 일 이름 을 입력하여 작업을 만들거나 - [x] 로 완료 표시하세요. 상태 표시줄에서 실시간 완료 진행률(예: 2/4 작업 (50%))을 추적합니다. PDF나 Word로 내보낼 때 깔끔한 벡터 체크박스로 렌더링됩니다.

클라이언트 측 유니버설 문서 컴파일러를 탑재하여, **굵게**, *기울임꼴*, 코드, 링크 및 체크박스 등의 마크다운 기호가 PDF 및 Word(.docx)로 내보낼 때 전문적인 타이포그래피와 클릭 가능한 하이퍼링크로 자동 변환됩니다.

네! Outsmart Notes는 프로그레시브 웹 앱(PWA)입니다. Chrome, Edge, Safari 또는 모바일 브라우저에서 '설치' 또는 '홈 화면에 추가'를 클릭하여 오프라인 앱으로 설치하세요.