Trung tâm Dịch vụ dữ liệu và Trí tuệ nhân tạo Viettel (Viettel AI) đang đẩy mạnh phát triển trí tuệ nhân tạo chủ quyền tại Việt Nam. Đơn vị này ghi nhận những kết quả tích cực về năng lực mô hình thông qua quá trình huấn luyện và tinh chỉnh trên các mô hình mở NVIDIA Nemotron.
Mô hình ngôn ngữ lớn tiếng Việt đạt hiệu suất cao
Qua các bài kiểm tra, VT-Super-120B-A12B - mô hình ngôn ngữ lớn (Large Language Model - LLM) tiếng Việt do Viettel AI nghiên cứu và làm chủ - đã đạt hiệu suất cao. Điều này nhờ mô hình được huấn luyện trên dữ liệu bản địa và tối ưu hóa cho các bài toán nghiệp vụ trong nước. Đặc biệt, VT-Super-120B-A12B tăng cường khả năng xử lý tiếng Việt mà không làm giảm hiệu năng tiếng Anh của mô hình gốc, đồng thời hạn chế hiện tượng quên kiến thức cũ (catastrophic forgetting) thường gặp trong quá trình huấn luyện và tinh chỉnh AI.
Kiến trúc NVIDIA Nemotron 3 Super
VT-Super-120B-A12B được xây dựng trên kiến trúc mở NVIDIA Nemotron 3 Super với quy mô 120 tỷ tham số. Đội ngũ kỹ sư Việt Nam trực tiếp huấn luyện, tinh chỉnh và tối ưu hóa cho tiếng Việt. Khả năng xử lý ngữ cảnh dài của kiến trúc NVIDIA Nemotron cho phép mô hình duy trì mạch thông tin xuyên suốt giữa nhiều tài liệu, quy trình và hội thoại phức tạp trong cùng một tác vụ. Đây là năng lực đặc biệt quan trọng với các bài toán vận hành đặc thù tại Việt Nam, nơi nhiều quy định và quy trình có thể thay đổi tùy theo loại hồ sơ, đối tượng liên quan hoặc bối cảnh thực thi cụ thể.
Quy trình huấn luyện dựa trên dữ liệu bản địa
Bên cạnh việc kế thừa năng lực từ kiến trúc NVIDIA Nemotron 3 Super, Viettel AI cũng xây dựng quy trình huấn luyện LLM dựa trên các nguồn dữ liệu mang tính bản địa như dữ liệu hành chính, nghiệp vụ doanh nghiệp, hội thoại thực tế và hệ thống văn bản chuyên ngành tại Việt Nam. Quá trình này bao gồm nhiều giai đoạn huấn luyện: giai đoạn tiếp tục tiền huấn luyện (continued pre-training) mở rộng năng lực ngôn ngữ và tri thức tiếng Việt trên kho dữ liệu quy mô lớn; tiếp theo, mô hình được tinh chỉnh có giám sát (supervised fine-tuning) nhằm cải thiện khả năng suy luận; sau đó được học tăng cường (reinforcement learning) để nâng cao độ chính xác trong phản hồi và khả năng xử lý nghiệp vụ.
Nền tảng AI Agent cho người Việt
Trên nền tảng mô hình này, Viettel AI đang phát triển nền tảng AI Agent dành cho người Việt với khả năng tự thực hiện chuỗi tác vụ trong cùng một không gian làm việc. Trợ lý AI Pháp luật là một trong những ứng dụng đầu tiên, được kỳ vọng sẽ hỗ trợ phân tích hồ sơ, đối chiếu quy định, tổng hợp dữ liệu và đề xuất giải pháp xử lý theo bài toán cụ thể của người dùng, với chất lượng được nâng cao đáng kể so với các phiên bản trước đây.
