무료 · 가입 불필요 · 즉시 결과

무료 로봇.txt 생성기 및 검증기

시각적 작성 도구를 사용하여 몇 초 만에 완벽한 형식의 robots.txt 파일을 만들거나 기존 파일에 오류가 있는지 확인하여 사이트에서 Google을 자동으로 차단할 수 있습니다.

Build Your Robots.txt

Quick Start Template

Your Site URL

Used to auto-fill the Sitemap URL.

Sitemap URL (optional)

Include

Crawler Rules

Live Preview

robots.txt

# Loading preview…

0 lines

0 bytes

기본 사항

Robots.txt 파일이란 무엇입니까?

에이 robots.txt 파일 웹사이트 루트에 있는 일반 텍스트 파일입니다(예: https://yoursite.com/robots.txt). Googlebot과 같은 검색 엔진 크롤러에게 크롤링하고 색인을 생성해야 하거나 색인을 생성하지 말아야 하는 사이트의 페이지나 섹션을 알려줍니다.

robots.txt는 개인정보 보호를 보장하지 않지만(차단된 페이지는 다른 사이트에서 링크된 경우 검색 결과에 계속 표시될 수 있음) 관리를 위한 기본 도구입니다. 크롤링 예산 — Google이 하루에 탐색하는 사이트의 양. 올바르게 사용하면 Google이 실제로 순위에 중요한 페이지에 크롤링을 집중하는 데 도움이 됩니다.

특히 WordPress 사이트의 경우 잘 구성된 robots.txt는 Googlebot이 관리 페이지, 로그인 화면, 내부 검색 결과에서 시간을 낭비하는 것을 방지하여 크롤링 예산을 콘텐츠에 집중시킵니다.

예 robots.txt

# Allow all crawlers, block admin
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Block bad bots entirely
User-agent: AhrefsBot
Disallow: /

# Sitemap location
Sitemap: https://yoursite.com/sitemap.xml

워드프레스 가이드

WordPress용 Robots.txt를 만드는 방법

WordPress에서는 기본적으로 robots.txt를 생성하지 않습니다. 최적의 SEO를 위해 추가해야 할 사항은 다음과 같습니다.

위의 생성기를 사용하세요

위의 "WordPress" 템플릿을 선택하고 사이트 URL을 입력하면 올바른 규칙이 모두 미리 입력된 robots.txt가 즉시 생성됩니다.

FTP 또는 cPanel을 통해 업로드

생성된 robots.txt 파일을 다운로드하고 FTP, cPanel 파일 관리자 또는 호스트의 파일 관리자를 사용하여 사이트의 루트 디렉터리에 업로드합니다.

또는 Yoast/Rank Math를 사용하세요.

Yoast SEO와 Rank Math에는 SEO → 도구 → 파일 편집기 아래에 robots.txt 편집기가 내장되어 있습니다. 생성된 콘텐츠를 여기에 직접 붙여넣으세요.

💡

전문가 팁: 모든 변경 후 유효성 검사

robots.txt를 업로드하거나 편집한 후에는 항상 위의 유효성 검사기를 통해 실행하여 실수가 있는지 확인하세요. 단일 오타 - 예 Disallow: / — 밤새 Google에서 전체 사이트를 차단할 수 있습니다.

이러한 오류를 방지하세요

SEO에 해를 끼치는 일반적인 Robots.txt 실수

이는 우리 유효성 검사기가 포착하는 가장 일반적인 오류이며 귀하의 Google 순위를 조용히 죽일 가능성이 가장 높은 오류입니다.

🔴

허용하지 않음: /(모든 항목 차단)

에이 Disallow: / 아래에 User-agent: * 전체 사이트에서 Googlebot을 차단합니다. 이는 가장 치명적인 robots.txt 실수이며 사이트 구축 중에 생각하는 것보다 더 자주 발생합니다.

🟡

CSS 및 JavaScript 파일 차단

허용하지 않음 /wp-content/ Google이 스타일시트와 스크립트를 로드하는 것을 방지합니다. Google은 브라우저처럼 페이지를 렌더링합니다. CSS/JS를 로드할 수 없으면 콘텐츠 순위를 제대로 평가할 수 없습니다.

🟡

누락된 사이트맵 지침

포함하지 않음 Sitemap: 지시문은 Google이 Search Console 제출을 통해서만 사이트맵을 찾아야 함을 의미합니다. 이를 robots.txt에 추가하면 Googlebot이 모든 페이지를 더 빠르게 찾는 데 도움이 됩니다.

ℹ️

대소문자 구분 경로 오류

Robots.txt 경로는 Linux 서버에서 대소문자를 구분합니다. Disallow: /Admin/ 차단하지 않습니다 /admin/. 항상 실제 URL 경로와 정확한 대소문자를 사용하세요.

전체 사이트의 SEO 수정

robots.txt는 시작에 불과합니다.
SkySEOManager Pro로 모든 페이지의 SEO를 수정하세요.

robots.txt를 통해 Google이 사이트를 크롤링할 수 있게 되면 모든 페이지가 최적화되었는지 확인하세요. SkySEOManager Pro는 Gemini AI를 기반으로 전체 WordPress 사이트에서 제목, 메타 설명 및 이미지 대체 텍스트를 대량 생성합니다.

SkySEOManager Pro 살펴보기 → 전체 SEO 감사 실행 →

자주 묻는 질문

SEO에 robots.txt 파일이 필요한가요?

아니요, robots.txt 파일은 필요하지 않습니다. Google은 도메인 루트에서 robots.txt를 찾지 못하면 이를 '모든 항목 허용'으로 간주하고 전체 사이트를 자유롭게 크롤링합니다. 그러나 대부분의 사이트에서는 관리 페이지, 로그인 페이지 및 중복 콘텐츠가 크롤링되는 것을 명시적으로 차단할 수 있도록 사이트를 만드는 것이 좋습니다.

robots.txt로 인해 내 페이지가 Google에 표시되지 않나요?

robots.txt에서 URL을 차단하면 Googlebot이 크롤링 하지만 그렇지 않을 것이라는 보장은 없습니다. 나타나다 검색결과에서 다른 사이트가 차단된 URL로 연결되는 경우 Google은 해당 URL을 '사용 가능한 정보 없음' 설명과 함께 결과에 계속 표시할 수 있습니다. 페이지가 Google에 표시되는 것을 완전히 방지하려면 대신 NOINDEX 메타 태그를 사용하세요.

Google은 Crawl-delay 지침을 따르나요?

아니요 - Google은 Crawl-delay 명령을 명시적으로 무시합니다. 자체 내부 신호를 사용하여 서버의 크롤링 속도를 관리합니다. 크롤링 지연은 Bingbot 및 Yandex와 같은 일부 다른 봇에서 허용되지만 Googlebot에는 영향을 미치지 않습니다.

Google은 내 robots.txt를 얼마나 자주 다시 읽나요?

Google은 일반적으로 robots.txt 파일을 24시간마다 캐시하고 다시 읽습니다. Google에서 신속하게 적용해야 하는 변경 사항(예: NOINDEX 또는 허용 안함 규칙 제거)을 수행하는 경우 Google Search Console → 설정 → 크롤링 통계를 통해 더 빠른 재크롤링을 요청할 수 있습니다.

/wp-admin/ 디렉토리를 차단해야 합니까?

예. 첨가 Disallow: /wp-admin/ SEO 가치가 없는 관리 페이지에서 크롤링 예산을 낭비하는 것을 방지합니다. 그러나 반드시 추가하세요. Allow: /wp-admin/admin-ajax.php AJAX 종속 기능(예: WooCommerce 장바구니 업데이트)이 올바르게 작동하도록 하려면 다음 줄에 입력하세요.