Kiểm tra website có chặn bot AI không (robots.txt, llms.txt)
Đọc robots.txt, cho biết từng bot AI (GPTBot, ClaudeBot, PerplexityBot, Google-Extended...) được phép hay bị chặn, có llms.txt không, trang có đọc được khi không chạy JavaScript không.
Kiểm tra bot AI truy cập hoạt động thế nào
Muốn được AI trích dẫn thì bot của họ phải đọc được site. Công cụ phân tích robots.txt theo đúng luật khớp dài nhất cho từng bot, gửi thử yêu cầu với user-agent của bot để xem tường lửa có chặn không, và kiểm tệp llms.txt.
Nguồn dữ liệu: Máy chủ ALODEV tải robots.txt, llms.txt, trang chủ với nhiều user-agent.
Cách dùng
- Nhập tên miền.
- Đọc bảng bot: Cho phép, Chặn, Bị tường lửa chặn.
- Sửa robots.txt hoặc luật Cloudflare nếu muốn mở cho bot nào.
Câu hỏi thường gặp
llms.txt là gì?
Là tệp văn bản đặt ở gốc site, tóm tắt nội dung và liệt kê trang quan trọng cho mô hình ngôn ngữ đọc. Đây là đề xuất, chưa phải chuẩn bắt buộc.
Chặn GPTBot có ảnh hưởng Google không?
Không. GPTBot là bot của OpenAI. Muốn hạn chế dùng nội dung cho Gemini thì dùng Google-Extended, không ảnh hưởng xếp hạng Google Search.