Các hệ thống AI ngày càng có khả năng thực hiện những nhiệm vụ phức tạp bằng cách phối hợp nhiều mô hình và công cụ khác nhau. Tuy nhiên, cách thiết kế và vận hành các hệ thống này thường gây lãng phí tài nguyên tính toán, điện năng và chi phí. Một nền tảng mới do các nhà nghiên cứu tại MIT và Microsoft phát triển đang hướng tới giải quyết bài toán đó.
Murakkab: Tự động tối ưu toàn bộ quy trình AI
Hệ thống có tên Murakkab, được thiết kế để tự động tối ưu toàn bộ quy trình xây dựng và triển khai các luồng công việc gồm nhiều tác nhân AI. Nhờ đó, ứng dụng có thể hoạt động nhanh hơn, sử dụng ít tài nguyên hơn mà vẫn bảo đảm chất lượng.
Khi nhiều tác nhân AI cùng giải quyết một nhiệm vụ, “Luồng công việc tác nhân” (agentic workflow) là hệ thống trong đó nhiều tác nhân AI phối hợp để hoàn thành một nhiệm vụ nhiều bước. Chẳng hạn, ứng dụng hỏi đáp về video có thể phải chọn khung hình quan trọng, chuyển lời nói thành văn bản, phân tích nội dung rồi mới tạo câu trả lời. Mỗi bước có thể sử dụng một mô hình, cơ sở dữ liệu hoặc công cụ riêng. Các luồng công việc này đang trở thành nền tảng phía sau nhiều ứng dụng AI, từ xử lý dữ liệu, phân tích hình ảnh đến hỗ trợ viết mã.
Thách thức trong thiết kế và vận hành
Tuy nhiên, hệ thống càng nhiều thành phần càng khó thiết kế và vận hành. Nhà phát triển phải lựa chọn tác nhân, mô hình, công cụ, phần cứng, thứ tự xử lý và cân bằng giữa tốc độ, độ chính xác với chi phí. Do số phương án cấu hình quá lớn, rất khó tìm được cách tối ưu bằng thủ công. Khi mô hình mới xuất hiện, hệ thống còn phải điều chỉnh lại. Trong khi đó, trung tâm dữ liệu đám mây thiếu khả năng quan sát toàn bộ quy trình, dễ cấp dư tài nguyên, gây lãng phí điện năng và chi phí.
Murakkab, trong tiếng Urdu có nghĩa là sự kết hợp của nhiều thành phần, được phát triển để tự động tối ưu các luồng công việc AI. Thay vì mô tả chi tiết từng bước kỹ thuật, nhà phát triển chỉ cần nêu mục tiêu bằng ngôn ngữ thông thường, như xây dựng ứng dụng chọn khung hình, tạo bản ghi và trả lời câu hỏi về video. Từ yêu cầu đó, Murakkab tự chọn mô hình, công cụ phù hợp, xác định bước nào chạy tuần tự hoặc song song để tăng tốc xử lý. Hệ thống cũng có thể tự điều chỉnh khi xuất hiện mô hình mới hoặc bộ xử lý mạnh hơn.
Tối ưu trên đám mây theo ưu tiên người dùng
Khi triển khai trên nền tảng đám mây, Murakkab tiếp tục tối ưu theo ưu tiên của người dùng, chẳng hạn độ chính xác, tốc độ, chi phí hoặc mức tiêu thụ điện. Nền tảng tự phân bổ phần cứng, sắp xếp lịch tác vụ và chia sẻ tài nguyên hiệu quả giữa nhiều khối lượng công việc.
Kết quả ấn tượng: Giảm mạnh điện năng và chi phí
Murakkab được thử nghiệm trên nhiều luồng công việc AI, gồm ứng dụng hỏi đáp video và công cụ tạo mã. Kết quả cho thấy hệ thống vẫn đáp ứng yêu cầu người dùng nhưng chỉ cần khoảng 35% tài nguyên tính toán, tiêu thụ 27% điện năng và có chi phí chưa bằng một phần tư so với phương pháp thông thường. Murakkab cũng cho phép cân bằng linh hoạt giữa độ chính xác, tốc độ và năng lượng. Trong một thử nghiệm, hệ thống giảm mức tiêu thụ điện hơn 10 lần trong khi độ chính xác chỉ giảm khoảng 2%. Đáng chú ý, Murakkab còn tìm ra cấu hình tối ưu ngoài dự đoán cho mô hình chọn khung hình video, điều gần như không thể thực hiện thủ công.
Bài toán lớn của các trung tâm dữ liệu AI
Nhu cầu tính toán cho AI đang tăng nhanh, kéo theo áp lực ngày càng lớn lên các trung tâm dữ liệu, hệ thống điện và chi phí vận hành. Gohar Chaudhry, nghiên cứu sinh ngành kỹ thuật điện và khoa học máy tính tại MIT, đồng thời là tác giả chính của công trình, cho rằng các luồng công việc tác nhân đang ngày càng phức tạp và nhanh chóng trở thành nền tảng cho hoạt động của các nhà cung cấp dịch vụ đám mây. Theo ông, việc sử dụng năng lượng là một mối quan tâm lớn. Nếu tài nguyên bị phân bổ quá mức, hệ thống không chỉ lãng phí điện mà còn làm tăng chi phí cho cả nhà cung cấp và khách hàng.
Một nền tảng có khả năng tự động lựa chọn cấu hình phù hợp có thể mang lại lợi ích cho tất cả các bên: nhà phát triển giảm công sức thiết kế, doanh nghiệp đám mây khai thác phần cứng hiệu quả hơn và người dùng được tiếp cận dịch vụ AI nhanh hơn với chi phí thấp hơn.
Kế hoạch mở rộng và triển vọng
Nhóm nghiên cứu dự kiến mở rộng Murakkab sang những luồng công việc phức tạp hơn và các cụm máy tính có quy mô lớn hơn. Họ cũng sẽ tiếp tục tìm kiếm cơ hội tối ưu những ứng dụng AI tác nhân mới. Theo các nhà khoa học, tiềm năng tiết kiệm năng lượng của những hệ thống này còn rất lớn. Tuy nhiên, để tạo ra tác động thực sự, việc tối ưu phải được thực hiện ở quy mô của các nền tảng điện toán đám mây lớn, thay vì chỉ giới hạn trong từng ứng dụng riêng lẻ.
Công trình về Murakkab có sự tham gia của các nhà nghiên cứu MIT, Phòng thí nghiệm Khoa học máy tính và Trí tuệ nhân tạo MIT cùng Microsoft Azure. Nghiên cứu dự kiến được trình bày tại Hội nghị chuyên đề USENIX về Thiết kế và triển khai hệ điều hành.
Nguồn: MIT News
