SiteBrainBot

SiteBrainBot là trình thu thập dữ liệu của SiteBrain. Nó chỉ truy cập một website khi chủ website (hoặc người được uỷ quyền) tạo chatbot cho website đó trên SiteBrain, để đọc nội dung công khai làm cơ sở trả lời câu hỏi.

Nhận diện

User-Agent: SiteBrainBot/1.0 (+https://sitebrain.io.vn/bot/)

Cách hoạt động

• Tuân thủ robots.txt (bao gồm Crawl-delay) và thẻ <meta name="robots" content="noindex">.
• Chỉ đọc trang HTML công khai; bỏ qua trang đăng nhập, giỏ hàng, quản trị, tệp tin.
• Giới hạn số trang theo gói dịch vụ và số yêu cầu đồng thời thấp để không gây tải cho máy chủ.
• Đọc lại tối đa mỗi tuần một lần (hoặc khi chủ chatbot yêu cầu).

Chặn SiteBrainBot

Thêm vào robots.txt của website:

User-agent: SiteBrainBot
Disallow: /

Hoặc chỉ chặn một thư mục, ví dụ Disallow: /noi-bo/. Thay đổi có hiệu lực ở lần đọc tiếp theo; nội dung bị chặn sẽ bị xoá khỏi chatbot.

Cho phép SiteBrainBot (website dùng Cloudflare hoặc tường lửa)

Nếu dashboard báo "Không đọc được trang nào" (thường là lỗi HTTP 403 hoặc 503), có thể website đang chặn bot. Hay gặp nhất là Cloudflare Bot Fight Mode hoặc tính năng chặn AI bot, vì SiteBrainBot chạy trên hạ tầng Cloudflare Workers.

• Cloudflare (gói Pro trở lên): Security → WAF → Custom rules → tạo rule với điều kiện User Agent contains "SiteBrainBot", hành động Skip, chọn bỏ qua các mục Bot Fight Mode / Super Bot Fight Mode và Managed rules.
• Cloudflare (gói Free): Bot Fight Mode không có ngoại lệ, nên cần tắt nó tại Security → Bots trong lúc SiteBrain đọc website rồi bật lại. Nếu đang bật chặn AI bot thì cũng cần cho phép tương tự.
• Tường lửa hoặc plugin bảo mật khác (Wordfence, iThemes...): thêm User-Agent SiteBrainBot vào danh sách cho phép.

Sau đó vào dashboard, bấm Cập nhật nội dung để SiteBrain đọc lại website.

Nếu bạn là chủ website và không muốn bên thứ ba tạo chatbot từ nội dung của mình, hãy liên hệ support@sitebrain.io.vn — chúng tôi sẽ xử lý trong 2 ngày làm việc.