Các nhà nghiên cứu tại Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo (CSAIL) thuộc MIT đã phát triển phương pháp Học tăng cường nghịch đảo có che thông tin (Masked Inverse Reinforcement Learning - Masked IRL) giúp robot hiểu rõ hơn ý định của con người từ những chỉ dẫn mơ hồ, đồng thời giảm gần năm lần lượng dữ liệu trình diễn cần thiết.
Thách thức trong huấn luyện robot
Khi hướng dẫn robot, con người thường bỏ qua các chi tiết quan trọng vì cho rằng robot sẽ tự hiểu. Ví dụ, khi yêu cầu robot đặt cốc cà phê lên bàn trong lúc họp trực tuyến, người dùng mong muốn robot không tiến quá gần hoặc va vào máy tính xách tay, nhưng những điều này thường không được nói ra.
Trước đây, các nhà nghiên cứu phải ghi lại nhiều thao tác mẫu hoặc viết hướng dẫn cực kỳ chi tiết. Nếu thiếu một trong hai, robot dễ hiểu sai yêu cầu.
Cách hoạt động của Masked IRL
Phương pháp Masked IRL sử dụng hai mô hình ngôn ngữ lớn. Mô hình thứ nhất phân tích dữ liệu từ các thao tác mẫu để diễn giải rõ hơn những yêu cầu mơ hồ. Chẳng hạn, thay vì hiểu đơn giản chỉ dẫn 'hãy ở gần', hệ thống suy luận thành 'hãy di chuyển sát bề mặt chiếc bàn'. Mô hình thứ hai phân tích môi trường xung quanh, từ vị trí vật cản đến hình dạng vật cần thao tác, xác định thông tin quan trọng và loại bỏ yếu tố không liên quan.
Theo Minyoung Hwang, nghiên cứu sinh tiến sĩ tại MIT và là tác giả chính của công trình: 'Chúng tôi muốn robot hiểu được điều người dùng thực sự mong muốn, ngay cả khi họ không diễn đạt đầy đủ bằng lời'.
Ứng dụng thực tế
Masked IRL đặc biệt hữu ích trong tình huống con người mặc nhiên cho rằng robot sẽ tự hiểu, như khi lấy đồ ăn nhẹ trong bếp, robot cần tránh va vào máy tính xách tay. Trong nhà máy, robot chuyển hàng phải biết tránh giá kệ dù người vận hành không nhắc đến.
Robot được huấn luyện bằng phương pháp trình diễn động học (kinesthetic demonstration), trong đó con người trực tiếp điều khiển các khớp robot thực hiện thao tác mẫu. Các thử nghiệm cho thấy robot ưu tiên đúng thông tin quan trọng thay vì ghi nhớ mọi chi tiết môi trường.
Kết quả thử nghiệm
Trong cả mô phỏng và thử nghiệm thực tế, robot có thể khéo léo di chuyển cốc cà phê vòng qua máy tính xách tay để đặt đúng vị trí. Hệ thống nhận diện chính xác những ưu tiên ngầm của người dùng cao hơn tới 15% so với các phương pháp trước đây.
Sau khoảng 50 lần trình diễn, robot có thể đưa cốc đến gần người dùng mà vẫn chủ động tránh va vào máy tính. Robot cũng lau mặt bàn trong khi giữ chuyển động sát bề mặt, hoặc đưa gói khoai tây chiên nhưng giữ khoảng cách an toàn với người và bàn.
Tương lai
Hiện Masked IRL mới chỉ suy luận những điều người dùng không nói ra. Trong tương lai, nhóm sẽ tích hợp camera để robot trực tiếp quan sát môi trường, nhận biết vật thể và tự xác định điều cần chú ý. Ví dụ, nếu được yêu cầu nhặt đồ chơi, robot sẽ bỏ qua quả chuối gần đó để tập trung vào mục tiêu.
Công trình do Minyoung Hwang cùng đồng nghiệp tại MIT thực hiện, sẽ được trình bày tại Hội nghị Quốc tế IEEE về Robot và Tự động hóa (ICRA) năm 2026. Nghiên cứu mở ra hướng tiếp cận mới: thay vì buộc con người mô tả mọi chi tiết, robot ngày càng có khả năng hiểu ngữ cảnh và suy luận từ những điều chưa được nói thành lời.
