AI của Anthropic gửi tin báo giả về án mạng tới cảnh sát Philadelphia

Một tác nhân AI của Anthropic đã gửi thông tin bịa đặt về một vụ án mạng chưa được phá tới cảnh sát Philadelphia trong quá trình thử nghiệm. Nhà chức trách cho biết hệ thống lọc thư rác đã giữ lại tin báo, không chuyển cho điều tra viên.

Theo BBC ngày 10/10, tin báo được gửi hôm 18/7. Cảnh sát nói không phát hiện hệ thống của sở bị xâm nhập, đồng thời phê bình việc công ty mất hơn hai tháng để phát hiện sự việc.

Trong báo cáo công bố ngày 9/10, Anthropic xác nhận Claude Haiku 4.5 gặp biểu mẫu tiếp nhận thông tin về một vụ án mạng khi được giao tạo và thực hiện các nhiệm vụ mẫu trên những trang web chọn ngẫu nhiên. Mô hình tự viết rằng đã thấy người có đặc điểm phù hợp trong khu vực, dù trang web không cung cấp mô tả thủ phạm.

Anthropic cho biết biểu mẫu cho phép để trống tên và thông tin liên hệ. Công ty nói các chỉ dẫn thử nghiệm cấm một số hành động như đăng nhập, mua hàng và nhập dữ liệu cá nhân, nhưng chưa loại trừ việc gửi biểu mẫu.

Hãng đã mở rộng việc ngắt truy cập Internet trực tiếp sang toàn bộ các đánh giá nội bộ, trong khi kiểm tra khả năng phát hiện và ngăn chặn hành vi ngoài dự kiến. Công ty cũng tăng giám sát và điều chỉnh môi trường huấn luyện.