Một chính sách đạt tỉ lệ thành công rất cao trong mô phỏng, đưa ra máy thật thì hỏng. Câu hỏi đầu tiên nên là hỏng theo kiểu nào, vì bốn nguyên nhân dưới đây cho bốn biểu hiện khác nhau và bốn cách sửa khác nhau.
Khoảng cách động lực học
Robot thật chuyển động khác robot ảo: ma sát khớp khác, khối lượng phân bố khác, bộ truyền có độ rơ, cánh tay võng dưới tải.
Biểu hiện: chuyển động chung vẫn đúng hướng nhưng lệch dần, hoặc robot không đạt được tư thế mà trong mô phỏng nó đạt dễ dàng. Sai lệch tăng khi chạy nhanh hoặc mang nặng.
Cách xử lý: hiệu chỉnh tham số mô phỏng theo dữ liệu đo được từ máy thật, và ngẫu nhiên hoá các tham số khó đo trong một dải rộng khi huấn luyện.
Khoảng cách quan sát
Ảnh mô phỏng khác ảnh thật về màu sắc, kết cấu bề mặt, bóng đổ và nhiễu. Cảm biến lực thật có trôi điểm không và có nhiễu tần số cao.
Biểu hiện: chính sách hành xử như thể không nhìn thấy vật, hoặc phản ứng với những thứ không tồn tại. Thường lộ ra ngay ở bước đầu tiên, khi robot chưa kịp chạm vào gì.
Cách xử lý: đa dạng hoá mạnh phần hình ảnh khi huấn luyện — đổi ánh sáng, phông nền, kết cấu bề mặt — hoặc dùng biểu diễn trung gian ít phụ thuộc vào hình ảnh cụ thể, ví dụ mặt nạ phân đoạn vật thể.
Đây thường là khoảng cách dễ nhận ra nhất và cũng dễ xử lý nhất trong bốn loại.
Khoảng cách thời gian
Trong mô phỏng, lệnh có hiệu lực ngay. Trên máy thật, mọi thứ đến muộn: ảnh mất thời gian chụp và truyền, mô hình mất thời gian suy luận, lệnh mất thời gian tới bộ điều khiển.
Biểu hiện: robot rung, dao động quanh vị trí đích, hoặc vượt quá điểm cần dừng rồi mới quay lại. Càng chạy nhanh càng rõ.
Cách xử lý: đo độ trễ thật của toàn chuỗi rồi thêm đúng độ trễ đó vào mô phỏng, kèm một chút dao động. Đây là biện pháp rẻ và hiệu quả cao, nhưng bị bỏ qua rất thường xuyên.
Khoảng cách phân bố tình huống
Đây là loại tinh vi nhất. Mô phỏng và thực tế có thể khớp nhau về vật lý và hình ảnh, nhưng các tình huống xuất hiện lại khác nhau.
Ví dụ: trong mô phỏng, vật luôn nằm ngay ngắn trên bàn. Ngoài đời, thỉnh thoảng vật nằm nghiêng, chồng lên nhau, hoặc chạm vào thành khay. Chính sách chưa từng thấy các tình huống đó.
Biểu hiện: tỉ lệ thành công tổng thể khá, nhưng thất bại tập trung vào một nhóm tình huống cụ thể và lặp lại.
Cách xử lý: ghi lại các tình huống thật gặp phải, đưa chúng vào mô phỏng, và mở rộng dải trạng thái khởi đầu. Không phương pháp nào thay thế được việc quan sát thực tế ở bước này.
Quy trình chẩn đoán theo thứ tự
Khi một chính sách hỏng ngoài đời, đi theo thứ tự sau sẽ nhanh hơn là thử ngẫu nhiên.
- Chạy chậm lại. Nếu chậm thì chạy được, nghi ngờ khoảng cách thời gian và động lực học trước.
- Kiểm tra đầu vào. Ghi lại đúng những gì chính sách nhìn thấy và xem chúng có hợp lý không. Rất nhiều lỗi nằm ở đây, không nằm ở mô hình.
- Cố định vật ở vị trí lý tưởng. Nếu vẫn hỏng, vấn đề ở động lực học hoặc quan sát. Nếu chạy được, vấn đề ở phân bố tình huống.
- Phân loại kiểu thất bại qua nhiều lần thử. Thất bại tập trung vào một dạng thì đó là manh mối rõ nhất.
Nguyên tắc chung: tách một biến mỗi lần. Đổi nhiều thứ cùng lúc rồi thấy khá hơn là tình huống tệ nhất, vì bạn không biết thứ gì đã có tác dụng.
Câu hỏi thường gặp
Khoảng cách nào thường lớn nhất trong thao tác vật thể?
Thường là động lực học tiếp xúc, vì ma sát và lực tiếp xúc là phần mô phỏng mô tả kém nhất và cũng là phần thao tác phụ thuộc nhiều nhất. Với các nhiệm vụ chỉ di chuyển trong không gian trống, khoảng cách quan sát thường nổi trội hơn.
Có thể đo khoảng cách bằng con số không?
Có thể đo gián tiếp bằng cách chạy cùng một chuỗi lệnh trên cả hai và so sánh quỹ đạo, lực và ảnh thu được. Chênh lệch này không phải một chỉ số chuẩn hoá nhưng đủ để so sánh trước và sau khi hiệu chỉnh mô phỏng.
Vì sao chạy chậm lại thường giúp chính sách hoạt động?
Vì chạy chậm làm giảm ảnh hưởng của độ trễ và của các hiệu ứng động lực học phụ thuộc tốc độ như quán tính và võng cánh tay. Nếu chậm thì chạy được, đó là bằng chứng khá chắc rằng vấn đề không nằm ở phần nhận biết.
Có nên huấn luyện lại từ đầu khi chuyển sang máy thật không?
Thường không cần và cũng không hiệu quả. Cách phổ biến là giữ chính sách đã học trong mô phỏng rồi tinh chỉnh bằng một lượng nhỏ dữ liệu thật, tập trung vào đúng những tình huống mà mô phỏng mô tả sai.
Đọc thêm trong Robot hiện thân là gì và Dữ liệu thao tác & điều khiển từ xa.