Tạo tệp robots.txt được định dạng hoàn hảo chỉ trong vài giây bằng trình tạo hình ảnh của chúng tôi — hoặc xác thực tệp hiện có của bạn để phát hiện các lỗi có thể âm thầm chặn Google khỏi trang web của bạn.
Used to auto-fill the Sitemap URL.
# Loading preview…
Kiểm tra xem một URL cụ thể có được các quy tắc này cho phép hoặc chặn hay không.
MỘT tệp robots.txt là một tệp văn bản thuần túy được đặt ở thư mục gốc của trang web của bạn (ví dụ: https://yoursite.com/robots.txt). Nó hướng dẫn các trình thu thập thông tin của công cụ tìm kiếm — như Googlebot — những trang hoặc phần nào trên trang web của bạn nên hoặc không nên thu thập dữ liệu và lập chỉ mục.
Mặc dù robots.txt không đảm bảo quyền riêng tư (các trang bị chặn vẫn có thể xuất hiện trong kết quả tìm kiếm nếu được liên kết từ các trang khác), nhưng đây là công cụ chính để quản lý thu thập ngân sách — Google khám phá bao nhiêu trang web của bạn mỗi ngày. Được sử dụng đúng cách, nó giúp Google tập trung thu thập dữ liệu trên các trang thực sự quan trọng đối với thứ hạng của bạn.
Cụ thể đối với các trang web WordPress, robots.txt được định cấu hình tốt sẽ ngăn Googlebot lãng phí thời gian trên các trang quản trị, màn hình đăng nhập và kết quả tìm kiếm nội bộ — thay vào đó, hãy hướng ngân sách thu thập dữ liệu đó vào nội dung của bạn.
# Cho phép tất cả trình thu thập thông tin, chặn quản trị viên Tác nhân người dùng: * Không cho phép: /wp-admin/ Cho phép: /wp-admin/admin-ajax.php # Chặn hoàn toàn các bot xấu Tác nhân người dùng: AhrefsBot Không cho phép: / # Vị trí sơ đồ trang web Sơ đồ trang web: https://yoursite.com/sitemap.xml
WordPress không tạo robots.txt theo mặc định. Đây chính xác là những gì cần thêm để SEO tối ưu.
Chọn mẫu "WordPress" ở trên, nhập URL trang web của bạn và robots.txt của bạn sẽ được tạo ngay lập tức với tất cả các quy tắc phù hợp được điền sẵn.
Tải xuống tệp robots.txt đã tạo và tải tệp đó lên thư mục gốc của trang web bằng FTP, Trình quản lý tệp cPanel hoặc trình quản lý tệp trên máy chủ của bạn.
Cả Yoast SEO và Rank Math đều có trình chỉnh sửa robots.txt tích hợp trong SEO → Công cụ → Trình chỉnh sửa tệp. Dán trực tiếp nội dung được tạo của bạn vào đó.
Mẹo chuyên nghiệp: Xác thực sau mỗi thay đổi
Sau khi tải lên hoặc chỉnh sửa tệp robots.txt của bạn, hãy luôn chạy tệp đó thông qua trình xác thực ở trên của chúng tôi để kiểm tra lỗi. Một lỗi đánh máy duy nhất - như Không cho phép: / — có thể chặn toàn bộ trang web của bạn khỏi Google chỉ sau một đêm.
Đây là những lỗi phổ biến nhất mà trình xác thực của chúng tôi phát hiện được — và những lỗi có nhiều khả năng âm thầm giết chết thứ hạng Google của bạn nhất.
MỘT Không cho phép: / dưới Tác nhân người dùng: * chặn Googlebot khỏi toàn bộ trang web của bạn. Đây là lỗi robots.txt nghiêm trọng nhất — và nó xảy ra thường xuyên hơn bạn nghĩ trong quá trình xây dựng trang web.
Không cho phép /wp-nội dung/ ngăn Google tải bảng định kiểu và tập lệnh của bạn. Google hiển thị các trang giống như một trình duyệt — nếu nó không thể tải CSS/JS thì nó không thể đánh giá chính xác nội dung của bạn để xếp hạng.
Không bao gồm một Sơ đồ trang web: chỉ thị có nghĩa là Google chỉ phải khám phá sơ đồ trang web của bạn thông qua việc gửi Search Console. Thêm nó vào robots.txt là một chiến thắng dễ dàng giúp Googlebot tìm thấy tất cả các trang của bạn nhanh hơn.
Đường dẫn Robots.txt phân biệt chữ hoa chữ thường trên máy chủ Linux. Không cho phép: /Quản trị viên/ KHÔNG chặn /quản trị viên/. Luôn sử dụng trường hợp chính xác của đường dẫn URL thực tế của bạn.
Sửa lỗi SEO toàn bộ trang web của bạn
Sau khi robots.txt cho phép Google thu thập dữ liệu trang web của bạn, hãy đảm bảo mọi trang đều được tối ưu hóa. SkySEOManager Pro tạo hàng loạt tiêu đề, mô tả meta và văn bản thay thế hình ảnh trên toàn bộ trang web WordPress của bạn — được cung cấp bởi Gemini AI.
Không cho phép: /wp-admin/ ngăn trình thu thập thông tin lãng phí ngân sách thu thập dữ liệu của bạn trên các trang quản trị không có giá trị SEO. Tuy nhiên, hãy đảm bảo thêm Cho phép: /wp-admin/admin-ajax.php trên dòng tiếp theo để giữ cho các tính năng phụ thuộc vào AJAX (như cập nhật giỏ hàng WooC Commerce) hoạt động chính xác.Miễn phí mãi mãi. Không cần tài khoản. Robots.txt của bạn sẽ sẵn sàng sau 30 giây.