Startup Acrab có trụ sở tại Singapore vừa trình làng chip AI mang tên GΞLIX 1, được tích hợp trong thiết bị Agent Box có kích thước tương tự Mac mini. Công ty tuyên bố chip này có thể chạy các mô hình ngôn ngữ lớn lên tới 100 tỷ tham số ngay trên thiết bị cục bộ mà không cần kết nối đám mây. Tuy nhiên, hiệu năng thực tế và cấu hình bộ nhớ vẫn cần được kiểm chứng độc lập.
Tham vọng mới từ Singapore: Chip AI nhỏ gọn GΞLIX 1
GΞLIX 1 được sản xuất trên tiến trình 5 nm, sử dụng kiến trúc điện toán dị thể kết hợp CPU, GPU và NPU chuyên xử lý AI. Chip có CPU Arm 20 nhân, NPU đa nhân và hệ thống bộ nhớ hợp nhất với băng thông 273 GB/s, tương đương M4 Pro. Acrab cho biết năng lực tính toán AI tối đa đạt 700 TOPS, phù hợp cho các tác vụ suy luận như trợ lý cá nhân, xử lý tài liệu, robot và xe thông minh. Agent Box nhắm đến các tổ chức cần bảo vệ dữ liệu nhạy cảm, khi mọi xử lý diễn ra cục bộ.
So sánh hiệu năng: Tốc độ prefill ấn tượng nhưng chưa được kiểm chứng
Theo Wccftech, Acrab công bố kết quả kiểm tra nội bộ cho thấy GΞLIX 1 chạy mô hình Gemma 26B với cửa sổ ngữ cảnh 40.000 token, đạt tốc độ prefill khoảng 1.416 token/giây. Trong cùng điều kiện, Mac mini M4 Pro chỉ đạt khoảng 188 token/giây, tức là GΞLIX 1 nhanh hơn 7,5 lần. Prefill là giai đoạn hệ thống xử lý nội dung đầu vào trước khi tạo phản hồi, tốc độ cao giúp phân tích tài liệu dài hoặc hội thoại phức tạp nhanh hơn. Tuy nhiên, kết quả này mới chỉ do Acrab thực hiện, chưa được bên thứ ba xác minh. Các yếu tố như định dạng mô hình, mức lượng tử hóa, và điều kiện tối ưu phần mềm có thể ảnh hưởng đáng kể, nên so sánh với Mac mini cần thận trọng.
Có thực sự chạy được mô hình 100 tỷ tham số?
Một tuyên bố nổi bật khác của Acrab là GΞLIX 1 hỗ trợ triển khai cục bộ mô hình nhóm 100 tỷ tham số. Tuy nhiên, công ty chưa công bố dung lượng bộ nhớ tối đa của Agent Box. Thực tế, để chạy mô hình 100 tỷ tham số cần bộ nhớ rất lớn, phụ thuộc vào mức nén, định dạng dữ liệu và cửa sổ ngữ cảnh. Mac mini M4 Pro chỉ có tối đa 48 GB bộ nhớ hợp nhất, phù hợp với mô hình nhỏ hoặc trung bình đã lượng tử hóa. Do đó, Agent Box có thể cần tùy chọn bộ nhớ lớn hơn đáng kể để đáp ứng tuyên bố này.
Agent Box: Còn nhiều ẩn số về giá và phần mềm
Acrab thành lập năm 2024, đã huy động hơn 350 triệu USD cho hạ tầng AI thế hệ mới. Tuy nhiên, công ty chưa tiết lộ giá bán, thời điểm ra mắt hay các tùy chọn bộ nhớ cụ thể. Hệ sinh thái phần mềm cũng là thách thức lớn, vì hiệu năng phần cứng chỉ có ý nghĩa khi các framework AI khai thác tốt CPU, GPU và NPU của chip. Hiện tại, GΞLIX 1 chưa thể xem là đối thủ xứng tầm với Mac mini, nhưng cho thấy cuộc đua AI cục bộ đang mở rộng với nhiều tay chơi mới. Nếu các tuyên bố được kiểm chứng, một thiết bị nhỏ gọn chạy mô hình 100 tỷ tham số sẽ là bước tiến đáng kể cho các tổ chức muốn giữ dữ liệu hoàn toàn nội bộ.
