Trung tâm Nghiên cứu AI - Trường Đại học VinUni vừa công bố V-Bench, một bộ tiêu chuẩn đánh giá toàn diện năng lực xử lý tiếng Việt của các mô hình ngôn ngữ lớn (LLM). Dựa trên bộ dữ liệu hơn 40.000 câu hỏi và tác vụ được thẩm định bởi đội ngũ chuyên gia uy tín trong và ngoài nước, V-Bench cung cấp hệ tham chiếu khách quan, độc lập cho việc ứng dụng AI tại Việt Nam.
Khởi xướng bởi VinUni với hội đồng chuyên gia 18 thành viên
V-Bench được khởi xướng bởi Trung tâm Nghiên cứu AI - Trường Đại học VinUni, với sự cộng tác phi lợi nhuận của hội đồng khoa học gồm 18 chuyên gia người Việt đầu ngành AI trong và ngoài nước. Bộ dữ liệu được xây dựng theo cả chiều rộng lẫn chiều sâu, bao phủ nhiều lĩnh vực và phản ánh các yếu tố về văn hóa, ngôn ngữ, chủ quyền, an toàn thông tin và đặc thù địa phương.
Năm nhóm đánh giá chuyên biệt
V-Bench chia thành 2 hạng mục lớn với 5 nhóm đánh giá: Văn hóa ngầm định (đánh giá khả năng thấu hiểu phong tục, tín ngưỡng, lịch sử); Đa dạng vùng miền (kiểm tra phương ngữ Bắc - Trung - Nam); An toàn và chủ quyền số (đảm bảo an toàn thông tin quốc gia, chống thông tin sai lệch); Ứng dụng thực tiễn (hiệu quả trong giáo dục, y tế cộng đồng); Năng lực agentic AI (lập kế hoạch, sử dụng công cụ, RAG và hành động tự chủ).
Kết quả khách quan, bảo chứng bởi chuyên gia
V-Bench không chỉ đo lường khả năng trả lời câu hỏi học thuật mà còn đánh giá sự thấu hiểu văn hóa, ngôn ngữ vùng miền và khả năng hành động của AI trong bối cảnh Việt Nam. Kết quả được bảo chứng bởi hội đồng chuyên gia uy tín cùng phương pháp luận nghiêm ngặt. Theo GS.TS. Dương Nguyên Vũ - Phó Hiệu trưởng, Giám đốc Khoa học Trung tâm Nghiên cứu AI Trường Đại học VinUni: “Với bộ dữ liệu toàn diện cùng sự góp sức hoàn toàn khách quan, phi lợi nhuận của cộng đồng chuyên gia uy tín người Việt trên toàn cầu, V-Bench mong muốn góp phần định nghĩa lại tiêu chuẩn AI tại Việt Nam và xây dựng một hệ tham chiếu AI cho quốc gia.”
Tương thích với benchmark quốc tế
Được xây dựng theo kỹ thuật phổ biến trong nghiên cứu LLM quốc tế, V-Bench có khả năng tương thích cao về thuật ngữ và quy trình, giúp các nhà phát triển LLM toàn cầu dễ dàng tham gia đánh giá.
Miễn phí và kết quả 15 mô hình đầu tiên
V-Bench được cung cấp miễn phí tại vbench.ai. Hiện đã đánh giá và công bố kết quả tham chiếu của 15 mô hình LLM tiêu biểu. Trong tương lai, V-Bench sẽ bổ sung tiêu chí đánh giá mới dựa trên hình ảnh và âm thanh như chữ Nôm, biển hiệu vùng miền, giọng nói ba miền, video ngắn, và hiểu tài liệu dài tiếng Việt trên 100.000 token.
Là dự án nghiên cứu AI tiêu biểu của VinUni, V-Bench khẳng định khát vọng nâng tầm trí tuệ Việt trên bản đồ học thuật toàn cầu và sứ mệnh tiên phong, cống hiến vì cộng đồng của Tập đoàn Vingroup.
