[Bài 10] Tìm hiểu File Robots.txt là gì trong SEO?

Thanh Trúc 08/12/2022 0

File Robots.txt có lẽ là một khái niệm xa lạ với nhiều người, đặc biệt là những SEOer mới tập tễnh bước vào ngành. Dù vậy, nhưng đây chỉ là một trong những khái niệm cơ bản và phổ biến mà người làm SEO trong quá trình làm việc đều phải va chạm khá thường xuyên. Bởi dựa vào đó, Google Bot có thể tiếp cận với website, những nội dung nào có thể tiến hành index, những nội dung nào sẽ bị chặn trong tiến trình thu thập dữ liệu.

Google thu thập dữ liệu của các website thông qua Google Bot và đối tượng đầu tiên Google Bot tiếp cận đó chính là file robots.txt. Vậy file robots.txt là gì? File robots.txt là một tập tin văn bản có dạng đuôi txt, gồm một nhóm các tiêu chuẩn Website quy định cách Bot của Google (hay Bot của các công cụ tìm kiếm) thu thập dữ liệu trên trang web, truy cập, index nội dung và cung cấp nội dung đó cho người dùng.

Tìm hiểu File Robots.txt là gì trong SEO?

Trên đây là một trong các video nằm trong chuỗi khóa học SEO để đời miễn phí của Đình Tỉnh. Kiến thức file robots.txt được đề cập trong bài mặc dù chỉ dừng lại ở mức độ cơ bản, nhưng Đình Tỉnh tin đây sẽ là bước đệm cho bạn mở rộng kiến thức sau này. Nếu có thắc mắc các bạn có thể để lại bình luận bên dưới video hoặc nhắn tin với Đình Tỉnh qua fanpage Đình Tỉnh – SEO.