Nội dung bài viết
Nếu thấy máy chủ website gần đây bận rộn hơn mà lượng khách thật không tăng, rất có thể nguyên nhân là bot AI. Theo báo cáo AI Traffic Report quý 3/2026 của DataDome, công ty chuyên chống bot, lưu lượng từ AI agent trên mạng lưới của họ đã tăng 41,5% so với quý trước, lên gần 25 tỷ request. Riêng quý 3 đã chiếm gần một nửa tổng lưu lượng AI agent ghi nhận từ đầu năm 2026 tới hết tháng 9.
Tốc độ tăng này khiến các kế hoạch dung lượng máy chủ và chính sách quản lý bot dựa trên số liệu quý trước nhanh chóng lỗi thời.
Meta dẫn đầu, ClaudeBot vượt GPTBot
Hai bot của Meta là Meta-ExternalAgent và Meta-WebIndexer tạo ra tổng cộng 12,4 tỷ request trong quý 3, chiếm 49,7% lưu lượng AI agent mà DataDome ghi nhận. Tới tháng 9, Meta-WebIndexer - bot lập chỉ mục trang web - đã vượt Meta-ExternalAgent, cho thấy Meta đang đầu tư mạnh vào việc dùng AI để trả lời câu hỏi người dùng.
Trong cùng quý, ClaudeBot của Anthropic đứng thứ tư, vượt GPTBot của OpenAI.
Mỗi hãng AI có nhiều bot với mục đích khác nhau
OpenAI, Anthropic và Amazon đều tách riêng các bot cho từng việc: thu thập dữ liệu huấn luyện, lập chỉ mục cho tìm kiếm AI, và truy cập trang khi người dùng hỏi. Mỗi bot có tên riêng, nên chủ website có thể cho phép hoặc chặn từng loại. Chẳng hạn, bạn có thể từ chối cho dùng nội dung để huấn luyện mô hình, nhưng vẫn cho phép xuất hiện trong kết quả tìm kiếm AI kèm đường dẫn về website.
Mặt trái là mỗi bot mới lại thêm một mục cần quản lý, và các hãng không phải lúc nào cũng nói rõ từ đầu bot của họ tuân thủ robots.txt ra sao.
Trình duyệt AI tự hành: tăng gần 5 lần trong một tháng
Đáng chú ý hơn là nhóm trình duyệt AI tự hành (agentic browser) - AI điều khiển một trình duyệt thật để thao tác trên website thay người dùng. Lưu lượng nhóm này tăng từ 12,5 triệu request trong tháng 8 lên 58,2 triệu trong tháng 9. Trình duyệt đám mây của ChatGPT tạo nhiều lưu lượng nhất trong tháng 9.
Muse - AI agent cá nhân của Meta, chạy trong một máy ảo trên đám mây có sẵn trình duyệt - tạo ra 29,1 triệu request chỉ trong 12 ngày đầu ra mắt chính thức (22/9 - 3/10), chiếm 33% lưu lượng nhóm này trong tháng 9. Vài điểm đáng lưu ý từ mẫu dữ liệu của Muse:
- 99,3% request đến từ hạ tầng đám mây và CDN, không phải thiết bị của người dùng.
- Lưu lượng theo nhịp hoạt động của người dùng thật, không theo lịch thu thập định kỳ như bot thông thường.
- 8,9% request đi vào các trang nhạy cảm: đăng nhập, thanh toán, tạo tài khoản, giỏ hàng, biểu mẫu. Trong đó biểu mẫu chiếm tới 81%, nhiều gấp khoảng 8 lần trang đăng nhập.
Theo Jerome Segura, Phó chủ tịch nghiên cứu mối đe dọa của DataDome, các chính sách chỉ tin lưu lượng từ mạng gia đình hay nhà mạng sẽ không nhận diện được những agent kiểu này. Doanh nghiệp cần xác minh danh tính của agent, hiểu mục đích của nó và chủ động quyết định cho phép agent nào, được làm gì.
Quản lý bot AI bằng robots.txt
robots.txt là file đặt ở thư mục gốc website (ví dụ https://example.com/robots.txt) để báo cho bot biết được và không được truy cập những gì. Dưới đây là ví dụ chặn bot thu thập dữ liệu huấn luyện, nhưng vẫn cho phép bot tìm kiếm AI:
# Chặn bot thu thập dữ liệu để huấn luyện AI
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# Cho phép bot tìm kiếm AI (website vẫn xuất hiện trong câu trả lời kèm link)
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /Một vài lưu ý:
- Tên bot ở trên lấy theo tài liệu công khai của các hãng; danh sách thay đổi khá thường xuyên, nên hãy kiểm tra lại trang hướng dẫn của từng hãng trước khi áp dụng. Với Meta, báo cáo của DataDome cho thấy Meta-WebIndexer hiện là bot hoạt động nhiều nhất - cân nhắc nó tùy theo việc bạn có muốn xuất hiện trong câu trả lời của Meta AI hay không.
Google-Extendedkhông phải bot riêng mà là "mã điều khiển": chặn nó để không cho Google dùng nội dung huấn luyện Gemini, không ảnh hưởng tới việc Googlebot lập chỉ mục cho Google Search.- Chặn bot tìm kiếm AI đồng nghĩa với việc mất một nguồn khách truy cập mới. Ngày càng nhiều người tìm thông tin qua ChatGPT, Claude, Perplexity thay vì Google. Hãy cân nhắc kỹ trước khi chặn toàn bộ.
Giới hạn của robots.txt
robots.txt chỉ là lời đề nghị, không phải hàng rào: bot tuân thủ hay không là tùy bot. Quan trọng hơn, nó không áp dụng được với trình duyệt AI tự hành như Muse hay trình duyệt của ChatGPT, vì chúng truy cập như một trình duyệt bình thường, không dùng tên bot riêng.
Để quản lý chặt hơn, chủ website có thể:
- Theo dõi log truy cập để biết bot nào đang truy cập nhiều nhất, vào trang nào, và lưu lượng đó có làm chậm website không.
- Dùng tính năng quản lý bot của CDN hoặc WAF (Cloudflare, DataDome...) để giới hạn tốc độ, chặn hoặc cho phép từng loại bot, kể cả những bot không tuân thủ
robots.txt. - Bảo vệ biểu mẫu, đăng nhập và thanh toán - nơi trình duyệt AI tự hành đang truy cập nhiều - bằng giới hạn tần suất gửi và kiểm tra phía máy chủ, thay vì chỉ dựa vào việc lọc IP.
- Tính lại dung lượng máy chủ và băng thông theo số liệu mới nhất, đặc biệt nếu đang dùng gói hosting tính phí theo lưu lượng.
Bot AI giờ đã là một phần lưu lượng của mọi website. Câu hỏi không còn là có nên chặn hay không, mà là cho bot nào vào, để làm gì - và quyết định đó nên được đưa ra một cách có chủ đích.
Nguồn tham khảo: Help Net Security (báo cáo AI Traffic Report Q3 2026 của DataDome).
