AI "đốt sách" để huấn luyện mô hình đã được dự đoán
Theo nội dung tài liệu, Anthropic được cho là đã triển khai một dự án có tên Panama với mục tiêu mua sách in, cắt lấy dữ liệu để phục vụ quá trình huấn luyện mô hình Claude, sau đó tiêu hủy các bản sách vật lý.
Thông tin này nhanh chóng làm dấy lên nhiều tranh luận về cách các công ty AI thu thập dữ liệu, đặc biệt là những vấn đề liên quan đến bản quyền, đạo đức và giá trị của tri thức trong thời đại trí tuệ nhân tạo.
Điều đáng chú ý là kịch bản tưởng chừng rất khác thường này đã xuất hiện trong văn học từ khoảng 70 năm trước. Trong tiểu thuyết Fahrenheit 451, tác giả Ray Bradbury xây dựng một thế giới nơi sách bị tiêu hủy có hệ thống và con người dần rời xa việc đọc để đắm chìm trong các hình thức giải trí đại chúng.
Không chỉ mô tả hình ảnh những cuốn sách bị phá hủy, tác phẩm còn phác họa một xã hội mà các nền tảng giải trí phát triển mạnh mẽ, chiếm gần như toàn bộ sự chú ý của con người. Đây cũng là một trong những lý do khiến Fahrenheit 451thường được nhắc đến mỗi khi xuất hiện các cuộc tranh luận về AI, dữ liệu và tương lai của tri thức.
Vì sao một cuốn tiểu thuyết xuất bản từ giữa thế kỷ XX lại có thể phản ánh nhiều vấn đề đang diễn ra trong kỷ nguyên AI? Những điểm tương đồng giữa thế giới trong Fahrenheit 451 và thực tế hiện nay sẽ được phân tích trong các phần tiếp theo.
Dự án Panama: Kế hoạch số hóa hàng triệu cuốn sách để huấn luyện Claude
Hơn 4.000 trang tài liệu nội bộ của Anthropic được công khai trong quá trình xét xử các vụ kiện bản quyền đã hé lộ một dự án có tên Panama. Theo tài liệu, đây là nỗ lực xây dựng kho dữ liệu sách quy mô lớn nhằm phục vụ việc huấn luyện mô hình AI Claude.
Anthropic lựa chọn sách vì đây là nguồn dữ liệu có chất lượng cao, được biên tập kỹ lưỡng, giúp AI học cách sử dụng ngôn ngữ, lập luận và diễn đạt tốt hơn so với phần lớn nội dung trên Internet.
Ban đầu, khoảng năm 2021, công ty thu thập dữ liệu từ các thư viện trực tuyến không được cấp phép như LibGen và Pirate Library Mirror. Tuy nhiên, cách làm này nhanh chóng dẫn đến hàng loạt vụ kiện bản quyền từ các tác giả và nhà xuất bản. Dù vấp phải nhiều tranh chấp pháp lý, tòa án Mỹ vẫn nhận định việc sử dụng sách để huấn luyện AI có thể được xem là fair use (sử dụng hợp lý) trong một số trường hợp theo luật bản quyền Hoa Kỳ.
Sau các tranh chấp bản quyền, Anthropic chuyển sang một hướng đi khác: mua sách giấy để tự xây dựng bộ dữ liệu huấn luyện.
Công ty trước tiên tìm cách đàm phán với các nhà xuất bản nhằm mua quyền sử dụng nội dung nhưng không đạt được thỏa thuận. Tiếp đó, Anthropic cân nhắc hợp tác với nhiều thư viện, trong đó có Thư viện Công cộng New York, đồng thời tìm kiếm các thư viện gặp khó khăn về tài chính để mua lại sách hoặc phối hợp số hóa. Tuy nhiên, hầu hết các đề xuất này đều bị từ chối.
Cuối cùng, Anthropic chuyển sang thu mua sách cũ từ các hệ thống như Better World Books và World of Books. Theo các tài liệu được công khai, riêng hoạt động mua và số hóa sách đã tiêu tốn hàng chục triệu USD.
Quy trình số hóa diễn ra như thế nào?
Theo kế hoạch, Anthropic đặt mục tiêu số hóa từ 500.000 đến 2 triệu cuốn sách chỉ trong khoảng sáu tháng. Với khối lượng này, việc quét từng trang theo cách thủ công gần như không khả thi.
Thay vào đó, mỗi cuốn sách được đưa qua máy cắt thủy lực để tách rời phần gáy. Các trang giấy sau đó được quét bằng hệ thống quét công nghiệp tốc độ cao, chuyển thành dữ liệu số phục vụ việc huấn luyện Claude. Sau khi quá trình số hóa hoàn tất, phần sách giấy còn lại được đưa đi tái chế.
Vì sao các công ty AI sẵn sàng chi hàng chục triệu USD để mua sách?
Internet không còn là nguồn dữ liệu lý tưởng
Trong những năm đầu của kỷ nguyên AI tạo sinh, Internet được xem là kho dữ liệu gần như vô tận. Từ sách điện tử, báo chí, diễn đàn đến blog, phần lớn nội dung trên Internet đều do con người tạo ra. Với các công ty AI, đây là nguồn dữ liệu lý tưởng để huấn luyện mô hình.
Tuy nhiên, chỉ sau vài năm, chính AI đã làm thay đổi Internet.
Ngày càng nhiều bài viết, bài đăng mạng xã hội, mô tả sản phẩm hay thậm chí tin tức được tạo ra bằng ChatGPT, Claude, Gemini và nhiều công cụ AI khác. Một số nghiên cứu cho thấy AI đang tham gia tạo ra từ khoảng 30% đến gần 50% lượng nội dung mới trên Internet. Báo cáo của Ahrefs cũng cho thấy hơn 70% các trang web mới có dấu hiệu được AI hỗ trợ trong quá trình tạo nội dung.
Dù những con số này vẫn còn gây tranh luận, xu hướng chung là rất rõ ràng: lượng nội dung do AI tạo ra đang tăng với tốc độ chưa từng có.
Điều này khiến Internet không còn là nguồn dữ liệu "thuần con người" như trước. Khi các mô hình AI mới tiếp tục học từ những nội dung do AI cũ tạo ra, chất lượng dữ liệu đầu vào có nguy cơ suy giảm theo thời gian.
Model collapse: Khi AI học từ chính AI
Hãy tưởng tượng một ngôi trường đặc biệt, nơi học sinh không học từ giáo viên hay sách giáo khoa mà chỉ chép bài của khóa trước.
Ban đầu, mọi thứ có thể vẫn vận hành bình thường. Nhưng nếu một học sinh hiểu sai một khái niệm, giải sai một bài toán hoặc diễn đạt thiếu chính xác, những sai sót đó sẽ tiếp tục được các thế hệ sau sao chép. Sau nhiều năm, kiến thức của cả ngôi trường sẽ ngày càng méo mó và xa rời kiến thức gốc.
Đây cũng chính là điều mà giới nghiên cứu lo ngại đang xảy ra với AI.
Khi Internet ngày càng chứa nhiều nội dung do AI tạo ra, các mô hình thế hệ mới rất dễ học từ chính "bài làm" của những mô hình trước đó. Trong khi đó, các nội dung này không phải lúc nào cũng được kiểm chứng bằng nghiên cứu khoa học hay trải qua quá trình biên tập nghiêm ngặt. Chúng có thể chứa lỗi, thông tin thiếu chính xác hoặc những thiên lệch vốn đã tồn tại trong mô hình trước.
Nếu quá trình này tiếp diễn qua nhiều thế hệ, các sai sót sẽ không biến mất mà còn tiếp tục được lặp lại và khuếch đại.
Trong giới nghiên cứu AI, hiện tượng này được gọi là model collapse – tình trạng chất lượng mô hình dần suy giảm khi liên tục được huấn luyện bằng dữ liệu do AI tạo ra thay vì tri thức nguyên bản của con người.
Đối với các công ty AI, đây không chỉ là một vấn đề kỹ thuật mà còn là vấn đề kinh doanh. Một mô hình kém chính xác sẽ tạo ra nhiều câu trả lời sai hơn, làm giảm trải nghiệm người dùng và ảnh hưởng trực tiếp đến khả năng cạnh tranh trong thị trường AI trị giá hàng trăm tỷ USD. Chính vì vậy, việc tìm kiếm nguồn dữ liệu gốc, đáng tin cậy trở thành ưu tiên hàng đầu.
Đó cũng là lý do những cuốn sách giấy bất ngờ trở thành một "mỏ vàng" của ngành AI.
Không chỉ Anthropic, cả ngành AI đều theo đuổi kho dữ liệu từ sách
Anthropic không phải là công ty duy nhất theo đuổi chiến lược này.
Các tài liệu được công bố trong vụ kiện Meta năm 2024 cho thấy công ty cũng xem việc tiếp cận kho sách số là yếu tố thiết yếu để cạnh tranh trong cuộc đua AI. Một email nội bộ thậm chí mô tả việc tiếp cận dữ liệu sách là "điều thiết yếu" nếu muốn bắt kịp các đối thủ.
Ban đầu, Meta cũng cân nhắc mua bản quyền từ các nhà xuất bản. Tuy nhiên, theo các tài liệu được công bố trước tòa, công ty cuối cùng lại lựa chọn tải hàng triệu cuốn sách từ các thư viện trực tuyến không được cấp phép, tương tự cách Anthropic từng thực hiện.
Đáng chú ý, nhiều email nội bộ cho thấy chính các nhân viên Meta cũng nhận thức được những rủi ro pháp lý của quyết định này. Một kỹ sư từng viết rằng việc làm trên "không đem lại cảm giác đúng đắn". Một cuộc trao đổi khác cho thấy nhóm phát triển lựa chọn sử dụng máy chủ thuê từ Amazon thay vì hạ tầng của Facebook để tải dữ liệu nhằm hạn chế khả năng bị truy ngược về công ty. Trong một email khác, việc sử dụng kho sách lậu được cho là đã được báo cáo và phê duyệt bởi "MZ", cách viết được cho là ám chỉ CEO Mark Zuckerberg.
Không chỉ Meta và Anthropic, OpenAI cùng Microsoft cũng đang đối mặt với nhiều vụ kiện bản quyền liên quan đến việc sử dụng sách để huấn luyện AI.
Theo James Grimmelmann, giáo sư luật thông tin tại Cornell Tech, nhiều công ty AI đã mắc phải một "ngụy biện" khi áp dụng cách sử dụng dữ liệu vốn được chấp nhận trong môi trường nghiên cứu học thuật sang một ngành công nghiệp thương mại trị giá hàng trăm tỷ USD.
Vì sao nhiều người cho rằng 451 Độ F đã dự đoán kỷ nguyên AI?
Một thế giới nơi sách dần biến mất
Được xuất bản năm 1953, 451 Độ F của Ray Bradbury xây dựng một xã hội nơi sách không còn được xem là nguồn tri thức mà trở thành một vật nguy hiểm.
Trong thế giới này, "lính cứu hỏa" không còn làm nhiệm vụ dập lửa. Ngược lại, công việc của họ là truy tìm và thiêu hủy mọi cuốn sách còn sót lại. Tựa sách 451 Độ F cũng được lấy từ mức nhiệt độ mà giấy được cho là có thể tự bốc cháy, khoảng 451°F (233°C).
Tuy nhiên, điều đáng chú ý là sách không biến mất ngay từ đầu vì một lệnh cấm của chính phủ.
Ray Bradbury mô tả một quá trình diễn ra rất từ từ. Khi xã hội vận hành với nhịp độ ngày càng nhanh, con người dần mất kiên nhẫn với những nội dung dài. Xe cộ chạy nhanh đến mức biển quảng cáo phải kéo dài hàng chục mét để người đi đường kịp đọc. Các chương trình giải trí trở thành trung tâm của đời sống, trong khi việc đọc sách ngày càng ít được quan tâm.
Để đáp ứng thị hiếu mới, các nhà xuất bản liên tục rút gọn sách. Những tác phẩm dài được tóm tắt thành các phiên bản ngắn hơn, dễ đọc hơn và ít đòi hỏi người đọc phải suy ngẫm.
Không chỉ vậy, sách còn bị xem là nguồn gốc của sự bất đồng. Theo logic của xã hội trong 451 Độ F, càng đọc nhiều sách, con người càng có nhiều góc nhìn, đặt nhiều câu hỏi và dễ tạo ra tranh luận. Để tránh xung đột và khiến mọi người cảm thấy "hạnh phúc" hơn, chính quyền cuối cùng lựa chọn cấm hoàn toàn sách.
Điều gì đang xảy ra trong thế giới ngày nay?
Nhìn vào những gì đang diễn ra trong kỷ nguyên AI, nhiều người cho rằng thế giới thực đang xuất hiện những điểm tương đồng đáng chú ý với bối cảnh mà Ray Bradbury từng tưởng tượng hơn 70 năm trước.
Một mặt, những cuốn sách đang trở thành nguồn dữ liệu quan trọng cho các công ty AI. Mặt khác, chính cách con người tiếp nhận thông tin cũng thay đổi theo hướng mà 451 Độ F từng mô tả.
Trong cuốn sách, báo chí và sách ngày càng được rút ngắn để phù hợp với những người không còn đủ kiên nhẫn đọc các nội dung dài. Tin tức và các cuộc tranh luận được cô đọng thành những mẩu thông tin ngắn, dễ tiêu thụ và nhanh chóng bị thay thế bởi nội dung mới.
Nếu nhìn vào Internet ngày nay, hình ảnh đó không còn quá xa lạ. Video ngắn, tiêu đề gây tò mò và nội dung tóm tắt xuất hiện trên hầu hết các nền tảng. Trong khi đó, nhiều nghiên cứu cũng cho thấy khả năng tập trung của con người đang suy giảm. Một báo cáo ghi nhận thời gian tập trung vào một tác vụ trên màn hình của nhân viên văn phòng đã giảm từ khoảng 2,5 phút vào giữa những năm 2000 xuống còn khoảng 47 giây vào đầu những năm 2020.
Dù không thể kết luận rằng xã hội hiện đại đang trở thành 451 Độ F, những điểm tương đồng này vẫn khiến nhiều người đặt câu hỏi về cách chúng ta tiếp nhận và xử lý thông tin trong thời đại số.
Có phải công nghệ là nguyên nhân duy nhất?
Sự phổ biến của nội dung ngắn thường được lý giải bằng thuật toán của mạng xã hội hoặc chiến lược của các nền tảng công nghệ. Tuy nhiên, bản thân các nền tảng cũng vận hành theo một nguyên tắc rất đơn giản: họ ưu tiên sản xuất và phân phối những gì người dùng muốn xem.
Nếu hàng triệu người dành nhiều thời gian cho các video vài chục giây với tiêu đề giật gân, sẽ có thêm hàng triệu nội dung tương tự được tạo ra. Ngược lại, nếu những bài phân tích dài chỉ thu hút rất ít độc giả, các nhà sản xuất nội dung cũng có ít động lực để đầu tư vào những định dạng đó.
Nói cách khác, thuật toán chỉ phản ánh hành vi của người dùng. Mỗi lượt xem, lượt chia sẻ hay cú nhấp chuột đều góp phần quyết định loại nội dung nào sẽ tiếp tục xuất hiện nhiều hơn trong tương lai.
Có lẽ cũng vì vậy mà lời cảnh báo trong 451 Độ F vẫn còn nguyên giá trị. Khi lượng thông tin tăng lên không ngừng, con người rất dễ rơi vào trạng thái chỉ liên tục cập nhật những mẩu tin mới mà không còn dành thời gian để đọc, suy ngẫm hay đào sâu vấn đề. Chúng ta biết nhiều hơn, nhưng chưa chắc đã hiểu nhiều hơn.