Chia sẻ cách tạo và sử dụng file robots.txt
Robots.txt là file văn bản có cấu trúc, khi các spider (bot, crawler) của các SE (Search engine) vào website để thu thập dữ liệu thì sẽ vào file robots.txt để xem các chỉ dẫn trong file này. File robots.txt có thể quy định từng loại bot khác nhau của các SE khác nhau có thể vào website hay từng khu vực của website hay không?
Vài loại bot của các SE: Googlebot (Google), Googlebot-Image (Google), Yandex (SE của Nga), Bingbot (Bing)/Yahoo Slurp (Yahoo)...
Những cú pháp thông dụng trong file robots.txt
User-agent: đối tượng bot được hài lòng
Disallow/Allow: URL muốn chặn/cho phép
: * Đại diện cho tất cả
thí dụ: User-agent: * (Có tức là chấp nhận tất cả các loại bot.)
Khóa tuốt site
Disallow: /
Chặn 1 thư mục và mọi thứ nằm trong nó
Disallow: /wp-admin/
Chặn 1 trang
Disallow: /private_file.html
Loại bỏ 1 hình từ Google Images
User-agent: Googlebot-Image
Disallow: /images/sexy.jpg
Bỏ tất thảy các hình từ Google Images:
User-agent: Googlebot-Image
Disallow: /
Chặn 1 file hình bất kỳ, Ví dụ .gif
User-agent: Googlebot
Disallow: /*.gif$
Những điều cần tránh trong file robots.txt
- Phân biệt chữ hoa chữ thường.
- Không được viết dư, thiếu khoảng trắng.
- Không nên chèn thêm bất kỳ ký tự nào khác ngoài các cú pháp lệnh.
- Mỗi một câu lệnh nên viết trên 1 dòng.
Cách tạo và vị trí đặt file robots.txt
- Dùng notepad hay bất cứ chương trình nào tạo file, sau đó đổi tên file là robots.txt.
- Nếu bạn có sử dụng Google Webmaster thì họ cũng cho phép bạn tạo robots.txt hoặc bạn có thể sử dụng Robots.txt Generator để tự động tạo file robots.txt cho mình.
Tạo
và dùng file robots.txt
Hầu hết trang web nào cũng có những thư mục và files không cần đến robot của phương tiện chừng ghé thăm. vì thế tạo ra file robots.txt có thể giúp bạn trong SEO.
bài viết dưới đây hướng dẫn các bạn mới hoc seo các thức tạo và dùng file robots.txt cho website, để các bộ máy dạo quản lý index nội dung của website bạn.
Xem thêm: Thiết kế Website thương mại điện tử
Hầu hết trang web nào cũng có những thư mục và files không cần đến robot của phương tiện chừng ghé thăm. vì thế tạo ra file robots.txt có thể giúp bạn trong SEO.
bài viết dưới đây hướng dẫn các bạn mới hoc seo các thức tạo và dùng file robots.txt cho website, để các bộ máy dạo quản lý index nội dung của website bạn.
Xem thêm: Thiết kế Website thương mại điện tử
Robots.txt là file văn bản có cấu trúc, khi các spider (bot, crawler) của các SE (Search engine) vào website để thu thập dữ liệu thì sẽ vào file robots.txt để xem các chỉ dẫn trong file này. File robots.txt có thể quy định từng loại bot khác nhau của các SE khác nhau có thể vào website hay từng khu vực của website hay không?
Vài loại bot của các SE: Googlebot (Google), Googlebot-Image (Google), Yandex (SE của Nga), Bingbot (Bing)/Yahoo Slurp (Yahoo)...
Những cú pháp thông dụng trong file robots.txt
User-agent: đối tượng bot được hài lòng
Disallow/Allow: URL muốn chặn/cho phép
: * Đại diện cho tất cả
thí dụ: User-agent: * (Có tức là chấp nhận tất cả các loại bot.)
Khóa tuốt site
Disallow: /
Chặn 1 thư mục và mọi thứ nằm trong nó
Disallow: /wp-admin/
Chặn 1 trang
Disallow: /private_file.html
Loại bỏ 1 hình từ Google Images
User-agent: Googlebot-Image
Disallow: /images/sexy.jpg
Bỏ tất thảy các hình từ Google Images:
User-agent: Googlebot-Image
Disallow: /
Chặn 1 file hình bất kỳ, Ví dụ .gif
User-agent: Googlebot
Disallow: /*.gif$
Những điều cần tránh trong file robots.txt
- Phân biệt chữ hoa chữ thường.
- Không được viết dư, thiếu khoảng trắng.
- Không nên chèn thêm bất kỳ ký tự nào khác ngoài các cú pháp lệnh.
- Mỗi một câu lệnh nên viết trên 1 dòng.
Cách tạo và vị trí đặt file robots.txt
- Dùng notepad hay bất cứ chương trình nào tạo file, sau đó đổi tên file là robots.txt.
- Nếu bạn có sử dụng Google Webmaster thì họ cũng cho phép bạn tạo robots.txt hoặc bạn có thể sử dụng Robots.txt Generator để tự động tạo file robots.txt cho mình.
0 comments:
Post a Comment