ROBOTS.TXT LÀ GÌ ? CÁCH SỬ DỤNG ROBOTS.TXT
1.Robots.txt là gì ? Robots.txt là một dạng text đặc biệt không phải là HTML hay một loại nào khác. Nó giúp cho các webmaster linh hoạt hơn trong việc cho hay không cho bot của các công cụ tìm kiếm(SE) đánh chỉ mục(index) một khu vực nào đó trong website của bạn. Ví dụ:…