Muốn robot học cách làm một việc, cách trực tiếp nhất là cho nó xem người làm việc đó bằng chính thân máy của nó. Nghe đơn giản, nhưng chất lượng dữ liệu thu được phụ thuộc rất nhiều vào cách người thao tác điều khiển.
Bốn kiểu thiết bị điều khiển
Tay cầm điều khiển thông thường. Rẻ và sẵn có, nhưng ánh xạ giữa thao tác của người và chuyển động của robot không tự nhiên. Dữ liệu thu được thường giật cục và có nhiều đoạn dò dẫm.
Thiết bị theo dõi chuyển động tay. Người di chuyển tay trong không gian, robot bám theo. Tự nhiên hơn nhiều, nhưng không có phản hồi lực nên người thao tác không cảm nhận được khi robot chạm vào vật.
Cánh tay điều khiển song sinh. Một cánh tay nhỏ có cấu trúc giống robot, người cầm và di chuyển nó, robot lặp lại. Ánh xạ trực tiếp, dữ liệu sạch, và có thể thêm phản hồi lực.
Dẫn hướng trực tiếp. Người nắm chính robot và kéo nó làm nhiệm vụ. Tự nhiên nhất về mặt cảm nhận, nhưng chỉ dùng được với robot đủ nhẹ và có chế độ cho phép.
Vì sao phản hồi lực lại quan trọng
Với các thao tác không tiếp xúc, thiếu phản hồi lực không sao. Với thao tác cần chạm, nó đổi hẳn chất lượng dữ liệu.
Không cảm nhận được lực, người thao tác chỉ dựa vào mắt. Họ sẽ bóp quá chặt vì sợ trượt, hoặc ấn quá mạnh khi lắp. Dữ liệu ghi lại các hành vi đó, và chính sách học theo.
Có phản hồi lực, người thao tác điều chỉnh tự nhiên như khi dùng tay mình, và dữ liệu phản ánh đúng chiến lược cần học.
Nếu không có phản hồi lực, một cách bù đắp là chạy chậm và hiển thị lực đo được lên màn hình. Kém tự nhiên hơn nhưng vẫn giúp người thao tác giữ lực trong dải hợp lý.
Đồng bộ: chi tiết kỹ thuật quyết định
Mỗi mẫu dữ liệu là một cặp quan sát và hành động. Nếu hai thứ này lệch nhau về thời gian, dữ liệu sai một cách âm thầm.
Ví dụ: ảnh được chụp muộn hơn thời điểm hành động được ghi. Chính sách học được rằng hành động này ứng với ảnh của khoảnh khắc sau đó, và khi chạy thật nó luôn phản ứng sớm hoặc muộn.
Cách xử lý: đóng dấu thời gian cho mọi luồng dữ liệu tại nguồn, và ghi lại độ trễ đã biết của từng cảm biến. Khi ghép cặp, dùng dấu thời gian chứ không dùng thứ tự đến.
Nên kiểm tra bằng một phép thử đơn giản: cho robot làm một chuyển động đột ngột dễ nhận ra trong ảnh, rồi kiểm tra xem thời điểm trong ảnh có khớp với thời điểm trong bản ghi hành động không.
Quy trình một phiên thu
- Chuẩn bị hiện trường: xác định dải vị trí vật, chuẩn bị đủ biến thể, kiểm tra ánh sáng.
- Kiểm tra hệ ghi: chạy thử một lần và xem lại dữ liệu ngay, đừng thu cả buổi rồi mới phát hiện thiếu một kênh.
- Thu theo lô nhỏ, mỗi lô vài chục lần, giữa các lô thì đổi vị trí vật và điều kiện.
- Đánh dấu ngay các lần hỏng để lọc sau, thay vì cố nhớ.
- Ghi chú điều kiện: ngày, người thao tác, cấu hình tay kẹp, loại vật.
Bước hai đáng nhấn mạnh. Mất một buổi thu vì thiếu một kênh dữ liệu là sự cố phổ biến và hoàn toàn tránh được.
Bốn lỗi làm hỏng dữ liệu ngay từ đầu
Chỉ một người thao tác. Chính sách sẽ học thói quen riêng của người đó, kể cả các thói quen không tối ưu. Nên có nhiều người nếu được.
Chỉ một kịch bản. Vật luôn ở cùng chỗ, cùng hướng. Dữ liệu đẹp nhưng chính sách rất giòn.
Xoá hết các lần thất bại. Nghe hợp lý nhưng làm mất thông tin quý: dữ liệu về cách phục hồi sau sai sót. Nên giữ lại các lần người thao tác mắc lỗi rồi sửa được.
Không ghi trạng thái tay kẹp. Lỗi tầm thường nhưng gặp thường xuyên, và nó khiến toàn bộ tập dữ liệu không dùng được cho việc học đóng mở kẹp.
Câu hỏi thường gặp
Một phiên thu dữ liệu nên kéo dài bao lâu?
Nên chia thành nhiều phiên ngắn thay vì một phiên dài, vì chất lượng thao tác giảm khi người mệt. Dữ liệu thu vào cuối một phiên dài thường chậm hơn, dò dẫm hơn và không phản ánh đúng chiến lược tốt.
Có cần nhiều camera không?
Hai góc nhìn thường tốt hơn một đáng kể: một góc toàn cảnh và một camera gắn ở cổ tay. Nếu chỉ chọn được một, camera cổ tay thường có giá trị hơn cho thao tác, vì nó thấy rõ giai đoạn tiếp cận và tiếp xúc.
Nên thu ở tốc độ nào?
Gần với tốc độ mà robot sẽ chạy thật, vì chiến lược thao tác phụ thuộc vào tốc độ. Thu quá chậm rồi kỳ vọng chính sách chạy nhanh thường không hiệu quả, vì động lực học ở hai tốc độ khác nhau.
Có nên ghi cả âm thanh không?
Trong một số thao tác thì có ích, ví dụ tiếng khớp vào vị trí khi lắp. Đây chưa phải kênh phổ biến nhưng chi phí ghi thêm rất thấp, nên nếu hệ thống cho phép thì ghi lại vẫn hơn là không có.
Đọc thêm trong Sim2real: từ mô phỏng ra máy thật và Triển khai thực tế & thất bại.
