Nếu bạn không biết ma sát thật bằng bao nhiêu, một cách xử lý là huấn luyện trên đủ mọi giá trị ma sát có thể. Chính sách buộc phải tìm ra cách làm việc được với cả dải, và giá trị thật rơi vào đâu đó trong dải đó.
Nguyên lý cơ bản
Thay vì cố làm mô phỏng giống thật, ta làm nó đa dạng. Mỗi lần thử, các tham số được lấy ngẫu nhiên trong một dải: ma sát, khối lượng, độ cứng, ánh sáng, màu sắc, độ trễ.
Chính sách không thể học cách khai thác một giá trị cụ thể, vì giá trị đó thay đổi liên tục. Nó buộc phải học một chiến lược hoạt động được trên toàn dải.
Khi đưa ra máy thật, thực tế chỉ là thêm một mẫu nữa trong dải mà chính sách đã quen. Đây là lý do phương pháp này hoạt động, và cũng là lý do nó thất bại khi thực tế nằm ngoài dải đã huấn luyện.
Nên ngẫu nhiên hoá thứ gì
Nguyên tắc chọn: ngẫu nhiên hoá những gì bạn không đo được chính xác, giữ cố định những gì bạn biết chắc.
- Vật lý: hệ số ma sát, khối lượng vật, độ cứng tiếp xúc, độ giảm chấn của khớp. Đây là nhóm quan trọng nhất cho thao tác.
- Hình ảnh: ánh sáng, màu và kết cấu bề mặt, phông nền, vị trí camera trong một dải nhỏ.
- Hệ thống: độ trễ, nhiễu cảm biến, sai số của lệnh điều khiển.
- Tình huống: vị trí và hướng vật, số vật trên bàn, có vật cản hay không.
Nhóm cuối thường bị bỏ sót nhưng lại quan trọng, vì nó xử lý khoảng cách phân bố tình huống — thứ mà ngẫu nhiên hoá tham số vật lý không chạm tới.
Dải bao nhiêu là hợp lý
Đây là phần cần cân nhắc nhất và không có công thức chung.
Nguyên tắc thực dụng: dải nên bao được giá trị thật với biên độ dự phòng, nhưng không rộng tới mức chứa những giá trị vô lý.
Ví dụ, nếu bạn đo được ma sát thật nằm trong một khoảng nhất định, hãy lấy dải rộng hơn khoảng đó một chút ở cả hai đầu. Nếu bạn hoàn toàn không đo được, hãy bắt đầu bằng dải rộng rồi thu hẹp dần khi có thêm thông tin.
Với các tham số bạn biết chắc — chiều dài đoạn cánh tay chẳng hạn — đừng ngẫu nhiên hoá. Làm vậy chỉ khiến bài toán khó hơn mà không giải quyết vấn đề nào.
Dấu hiệu làm quá tay
Ngẫu nhiên hoá quá mạnh có hậu quả rõ ràng và dễ nhận ra.
Chính sách trở nên thận trọng quá mức. Nó di chuyển chậm, bóp tay kẹp rất chặt, đi vòng xa các vật thể. Đây là cách tối ưu để không thất bại trên toàn dải, nhưng vô dụng trong thực tế.
Không hội tụ. Bài toán trở nên quá khó, và chính sách không tìm được chiến lược nào hoạt động đủ tốt trên toàn dải.
Hiệu năng trần thấp. Ngay cả trong mô phỏng, tỉ lệ thành công cũng không lên cao được, vì một số cấu hình trong dải vốn không giải được.
Khi gặp các dấu hiệu này, cách xử lý là thu hẹp dải, hoặc chuyển sang chiến lược tăng dần: bắt đầu hẹp cho chính sách học được kỹ năng cơ bản, rồi mở rộng dải theo tiến độ.
Kết hợp với hiệu chỉnh
Ngẫu nhiên hoá và hiệu chỉnh mô phỏng không loại trừ nhau; chúng bổ sung cho nhau và nên dùng cùng.
Hiệu chỉnh giúp đưa tâm của dải về đúng chỗ. Nếu bạn đo được ma sát thật, dải ngẫu nhiên hoá đặt quanh giá trị đó sẽ hẹp hơn nhiều so với khi phải đoán.
Dải hẹp hơn nghĩa là bài toán dễ hơn, chính sách học nhanh hơn và hiệu năng trần cao hơn.
Trình tự hợp lý: đo những gì đo được trên máy thật, hiệu chỉnh mô phỏng theo số đo, rồi ngẫu nhiên hoá quanh giá trị đã hiệu chỉnh cho những gì còn bất định.
Câu hỏi thường gặp
Ngẫu nhiên hoá hình ảnh có cần cực đoan không?
Với thị giác, ngẫu nhiên hoá mạnh thường an toàn hơn so với ngẫu nhiên hoá vật lý, vì chính sách chỉ cần học cách nhận ra vật bất kể nền và ánh sáng. Nhiều nhóm dùng dải rất rộng cho màu sắc và kết cấu mà không gây hại tới hiệu năng.
Có nên ngẫu nhiên hoá vị trí camera không?
Nên, trong một dải nhỏ tương ứng với sai số lắp đặt và hiệu chỉnh thực tế. Việc này làm chính sách bớt nhạy với việc camera bị xê dịch nhẹ, vốn xảy ra thường xuyên khi vận hành lâu dài.
Chiến lược tăng dần dải hoạt động thế nào?
Bắt đầu với dải hẹp quanh giá trị danh nghĩa để chính sách học được kỹ năng cơ bản, sau đó mở rộng dải theo tiến độ huấn luyện. Cách này tránh được tình trạng bài toán quá khó ngay từ đầu khiến chính sách không học được gì.
Ngẫu nhiên hoá có thay được dữ liệu thật không?
Không hoàn toàn. Nó xử lý tốt các bất định về tham số nhưng không bù được những hiện tượng mà mô phỏng hoàn toàn không mô tả. Với các nhiệm vụ phụ thuộc mạnh vào tiếp xúc hoặc vật biến dạng, vẫn cần một lượng dữ liệu thật để tinh chỉnh.
Đọc thêm trong Thao tác vật thể và Triển khai thực tế & thất bại.
