Một cỗ máy cắt thủy lực xẻ đôi gáy sách, từng trang giấy trượt qua hệ thống quét công nghiệp tốc độ cao, rồi phần bìa và ruột sách bị đưa thẳng tới nhà máy tái chế. Đó là hình ảnh được mô tả trong hồ sơ tòa án về Project Panama, dự án bí mật của Anthropic nhằm số hóa hàng triệu cuốn sách để huấn luyện chatbot Claude. Câu hỏi đặt ra không chỉ nằm ở khía cạnh pháp lý của việc phá hủy sách, mà ở một nghịch lý lớn hơn: tại sao một công ty được định giá 183 tỷ USD, sở hữu quyền truy cập gần như vô hạn vào kho dữ liệu khổng lồ của Internet, lại phải bỏ ra hàng chục triệu USD để lùng mua từng cuốn sách giấy cũ kỹ?
Nỗi sợ model collapse: Khi AI tự hủy hoại chính mình
Câu trả lời nằm ở một nỗi sợ đang ám ảnh toàn ngành trí tuệ nhân tạo: sự cạn kiệt của dữ liệu sạch, và nguy cơ mô hình AI tự hủy hoại chính mình khi ăn phải quá nhiều thức ăn do chính nó tạo ra. Trong nhiều năm, các công ty phát triển mô hình ngôn ngữ lớn xây dựng năng lực cho AI bằng cách đưa hàng tỷ từ ngữ thu thập từ Internet vào mạng nơ-ron, để hệ thống học cách nhận diện các mối quan hệ thống kê giữa từ ngữ và khái niệm. Cách tiếp cận này từng hiệu quả vì Internet, trong những năm đầu của làn sóng AI tạo sinh, được xem như một mỏ dữ liệu gần như vô tận, phản ánh trung thực tri thức và ngôn ngữ của con người.
Nhưng bức tranh đó đang đổi khác nhanh chóng. Càng ngày, Internet càng bị lấp đầy bởi chính nội dung do AI tạo ra: bài báo do AI viết, bình luận do AI soạn, thậm chí cả sách do AI chấp bút được rao bán tràn lan. Khi các công ty AI tiếp tục thu thập dữ liệu một cách không chọn lọc, rất có thể họ đang vô tình cho các mô hình mới học từ sản phẩm của chính những mô hình cũ, tạo ra một vòng lặp tự nhân bản đầy rủi ro.
Bằng chứng từ Nature: Hiện tượng 'photocopy' dữ liệu
Năm 2024, nhóm nghiên cứu do Ilia Shumailov dẫn đầu, gồm các nhà khoa học đến từ Cambridge, Oxford và Toronto, đã công bố trên tạp chí Nature một phát hiện gây chấn động giới học thuật lẫn công nghiệp. Họ chứng minh rằng việc huấn luyện AI tạo sinh một cách không chọn lọc trên cả dữ liệu thật lẫn dữ liệu do AI khác sinh ra, vốn thường có được bằng cách thu thập tràn lan trên Internet, có thể khiến mô hình sụp đổ dần khả năng tạo ra nội dung đa dạng và chất lượng cao. Hiện tượng này được đặt tên là model collapse.
Cơ chế của nó có thể hình dung như việc photocopy một bản photocopy, rồi lại đi photocopy chính bản sao đó, lặp đi lặp lại nhiều lần. Mỗi lần sao chép, hình ảnh lại mờ đi một chút, các chi tiết nhỏ và hiếm gặp dần biến mất, cho tới khi chỉ còn lại một khối mờ nhạt, vô nghĩa. Với AI, các nhà nghiên cứu quan sát thấy khi cho những phiên bản mô hình kế tiếp nhau học từ dữ liệu do chính các phiên bản trước tạo ra, hệ thống suy thoái rất nhanh, ngày càng tạo ra những câu chữ tuy nghe có vẻ hợp lý về mặt xác suất nhưng thực chất trống rỗng ý nghĩa, những thứ mà không người bình thường nào sẽ viết ra.
Sách giấy: Kho dữ liệu sạch cuối cùng
Chính nỗi lo này lý giải vì sao sách in xuất bản trước năm 2022, thời điểm ChatGPT ra mắt và mở đầu làn sóng AI tạo sinh đại chúng, bỗng trở thành thứ tài sản quý giá bất ngờ đối với ngành công nghệ. Đây gần như là kho dữ liệu quy mô lớn cuối cùng còn sót lại mà người ta có thể tin chắc chắn một trăm phần trăm là sản phẩm của trí tuệ con người, được biên tập chuyên nghiệp, có cấu trúc lập luận chặt chẽ và văn phong được một biên tập viên thực thụ phê duyệt trước khi in.
So với văn bản cào từ web, vốn ngày càng lẫn lộn thật giả và pha tạp nội dung máy móc, một cuốn tiểu thuyết hay sách chuyên khảo in giấy mang lại thứ mà giới nghiên cứu AI gọi là dữ liệu sạch, nghĩa là chưa từng bị nhiễm bởi chính sản phẩm của AI. Đó là lý do các công ty như Anthropic sẵn sàng chi hàng chục triệu USD, thuê hẳn những chuyên gia từng phụ trách đàm phán sách cho Google, để đi thu gom sách cũ với số lượng công nghiệp, sau đó chấp nhận phá hủy bản gốc chỉ để lấy phần dữ liệu số hóa bên trong.
Cuộc đua săn sách cũ và những tranh luận
Hiện tượng này đang lan rộng ra ngoài phạm vi một công ty đơn lẻ. Nhiều nhà môi giới hiện đã bắt đầu chào bán dịch vụ săn mua sách số lượng lớn cho các công ty AI khác, biến thị trường sách cũ vốn ảm đạm suốt nhiều năm bỗng sôi động trở lại, với những đơn hàng bí ẩn từ người mua giấu tên khiến không ít chủ hiệu sách ngỡ ngàng. Tuy nhiên, không phải ai cũng đồng tình với mức độ nghiêm trọng của model collapse. Một số nghiên cứu gần đây đặt câu hỏi ngược lại với chính khái niệm này, cho rằng các mô hình thương mại quy mô lớn thường được huấn luyện với nhiều lớp lọc và kiểm soát chất lượng dữ liệu tinh vi hơn nhiều so với các thí nghiệm học thuật, khiến tác động thực tế của model collapse vẫn là một câu hỏi bỏ ngỏ.
Nói cách khác, model collapse là một rủi ro có thật về mặt lý thuyết và đã được kiểm chứng trong các mô hình thực nghiệm quy mô nhỏ, nhưng việc nó có thực sự là động lực chính khiến các công ty như Anthropic đổ tiền mua sách giấy, hay chỉ là một trong nhiều lý do bên cạnh động cơ né tránh rủi ro pháp lý về bản quyền, vẫn là điều cần được nhìn nhận một cách thận trọng. Dù vậy, sự trớ trêu lớn nhất của câu chuyện này có lẽ nằm ở chỗ, sau một thập kỷ ngành công nghệ tìm mọi cách số hóa, thay thế và bỏ qua sách giấy, chính những công ty đứng đầu làn sóng số hóa ấy giờ đây lại quay ngược trở lại tìm kiếm thứ tài nguyên analog cũ kỹ nhất: những trang giấy in mực từ nhiều thập niên trước.
Với tốc độ dữ liệu sạch trên Internet cạn kiệt nhanh như hiện nay, nhiều khả năng đây mới chỉ là khởi đầu của một cuộc đua âm thầm nhưng khốc liệt, nơi các phòng thí nghiệm AI lớn nhất thế giới cạnh tranh nhau từng kho lưu trữ, từng thư viện cũ, từng lô sách thanh lý, để giành lấy nguồn tri thức nguyên bản cuối cùng của nhân loại trước khi nó bị pha loãng hoàn toàn bởi chính những cỗ máy mà họ đang xây dựng.
Nguồn: Arstechnica, Nature, Wall Street Journal
