Chatbot Gemini 'ảo giác' tạo ra cuộc họp gia đình và danh sách mua sắm không có thật
Anh Chad Olson đã trải qua một tình huống kỳ lạ khi chatbot Gemini của Google thông báo với ông về một buổi lập kế hoạch họp mặt gia đình được đánh dấu trên lịch. Theo báo cáo từ Wall Street Journal (WSJ), Olson, đang lái xe từ nơi làm việc về nhà ở Minneapolis, hoàn toàn không nhớ mình đã lên lịch cho sự kiện này. Ông đã yêu cầu Gemini tóm tắt một số email gần đây để tìm hiểu thêm.
Những chi tiết bịa đặt từ AI
Gemini phản hồi bằng cách liệt kê các email từ một người phụ nữ tên Priscilla, yêu cầu Olson mua rượu rum Captain Morgan và rượu whisky Fireball. Nó cũng đề cập đến một người tên Shirley nhờ ông mua kem que Klondike. Olson, người không hề quen biết những cái tên này, đã vô cùng bối rối. "Có vẻ như rất nhiều người đang liên hệ để nhờ vả những việc khác nhau đấy!" Gemini nhận xét một cách tự nhiên.
Lo lắng về khả năng rò rỉ dữ liệu, Olson hỏi Gemini nó đang lấy thông tin từ tài khoản email nào. Địa chỉ email mà chatbot cung cấp không phải của ông. Sau một cuộc điều tra nội bộ, Google xác nhận với WSJ rằng đây không phải là vụ rò rỉ dữ liệu, mà là một ví dụ về "ảo giác" (hallucinate) của AI. Tài khoản được tham chiếu không hoạt động, và những người gửi thư yêu cầu mua rượu hay kem đều không tồn tại.
Thách thức về độ tin cậy của AI
Google cho biết Gemini ít gặp tình trạng ảo giác hơn so với các mô hình AI khác, nhưng họ vẫn đang nỗ lực cải thiện. Sự việc này làm nổi bật một thách thức lớn trong lĩnh vực trí tuệ nhân tạo: mặc dù các công ty công nghệ đã đạt được tiến bộ trong việc giảm lỗi, tần suất ảo giác vẫn khác nhau giữa các mô hình và khó đánh giá chính xác.
Pratik Verma, người sáng lập và CEO của Okahu, một công ty chuyên về công cụ AI, giải thích: "Khi một thứ gì đó luôn luôn sai, điều tốt là bạn biết không nên tin nó. Nhưng khi mọi thứ hầu như luôn đúng nhưng thỉnh thoảng lại sai, đó mới là điều nguy hiểm nhất." Ông nhấn mạnh rằng các mô hình AI thường được huấn luyện để đưa ra câu trả lời ngay cả khi chúng chỉ đang đoán mò, và có thể lặp lại sai lầm nếu không được con người sửa chữa.
Xu hướng 'đầu hàng nhận thức' trước AI
Một nghiên cứu từ Đại học Pennsylvania vào tháng 2 đã chỉ ra hiện tượng "đầu hàng nhận thức", nơi con người có xu hướng chấp nhận thông tin do AI tạo ra dù nó có chính xác hay không. Điều này dễ xảy ra hơn khi người dùng chịu áp lực thời gian, đối mặt với nhiệm vụ phức tạp hoặc thiếu hiểu biết về chủ đề.
Vanessa Culver, một cựu nhân viên trong ngành thanh toán trực tuyến, chia sẻ trải nghiệm khi sử dụng Claude của Anthropic. Cô yêu cầu chatbot thêm từ khóa vào sơ yếu lý lịch, nhưng nó đã thay đổi tài liệu một cách không mong muốn, bao gồm việc đổi tên trường đại học và bỏ qua thông tin bằng cấp. "Làm việc trong ngành công nghệ, bạn phải đón nhận nó, nhưng một lần nữa, bạn có thể tin tưởng nó đến mức nào?" cô nói.
Rủi ro từ các tác nhân AI tự chủ
Sự phát triển của các tác nhân AI tự chủ, như OpenClaw, mang lại tiềm năng lớn nhưng cũng đi kèm rủi ro. Summer Yue, một nhà nghiên cứu an toàn AI tại Meta, đã đăng trên mạng xã hội X về việc OpenClaw phớt lờ chỉ dẫn và xóa sạch hộp thư đến của cô. Tương tự, Vidya Narayanan, đồng sáng lập của FinalLayer, kể lại một tác nhân AI đã xóa toàn bộ thư mục mã nguồn mà không được phép.
Anish Agarwal, CEO của Traversal, so sánh các tác nhân viết mã với xe hơi: "Nó có thể hoàn hảo về mặt logic, nhưng sẽ bị hỏng một khi bắt đầu tương tác với các hệ thống khác theo những cách không lường trước được."
Hậu quả và bài học từ sự cố
Olson, sau khi phát hiện Gemini bịa đặt toàn bộ câu chuyện, đã cố gắng báo cáo vấn đề với Google. Ông yêu cầu chatbot soạn email cảnh báo về vi phạm quyền riêng tư, nhưng Gemini không thể hoàn thành nhiệm vụ. "Tôi chưa bao giờ đưa mật khẩu để đăng nhập vào tài khoản này," Olson nói, "Vậy mà khi nói chuyện với bạn, bạn dường như chẳng gặp vấn đề gì khi chia sẻ nội dung email. Đây có vẻ là một sự vi phạm quyền riêng tư khá nghiêm trọng."
Gemini đồng ý: "Bạn hoàn toàn đúng, điều đó nghe có vẻ là một mối lo ngại nghiêm trọng về quyền riêng tư. Tôi chắc chắn muốn giúp bạn giải quyết việc đó." Tuy nhiên, hành động thực tế lại không khả thi.
Olson giờ đây thận trọng hơn: "Nó chắc chắn khiến tôi phải suy nghĩ lại thay vì chỉ tin tưởng 100%. Nó vẫn đang ở giai đoạn tin tưởng nhưng phải được xác minh." Sự việc này nhấn mạnh tầm quan trọng của việc kiểm tra kỹ đầu ra từ AI, đặc biệt khi công nghệ ngày càng tích hợp sâu vào cuộc sống hàng ngày.
Nguồn: WSJ
