Sau khi thu xong vài trăm lần, cảm giác tự nhiên là đưa hết vào huấn luyện. Nhưng một tập dữ liệu có thể chứa những vấn đề mà thống kê cơ bản không lộ ra, và chúng làm hỏng kết quả theo cách rất khó truy nguyên.
Vấn đề một: thao tác dò dẫm
Người thao tác không chắc chắn nên đưa tay tới, dừng lại, lùi một chút, thử lại. Đoạn này được ghi vào dữ liệu như một hành vi hợp lệ.
Chính sách học rằng dừng lại và dao động là điều bình thường. Kết quả là chính sách chần chừ khi chạy thật, hiện tượng đã nhắc ở nhiều nơi trong lĩnh vực.
Phát hiện: tính vận tốc trung bình theo thời gian trong mỗi lần thu. Các lần có nhiều đoạn vận tốc gần bằng không giữa chừng là ứng viên cần xem lại.
Xử lý: lọc bỏ hoặc cắt bớt các đoạn đứng yên, và cải thiện thiết bị điều khiển để người thao tác tự tin hơn.
Vấn đề hai: tốc độ không nhất quán
Cùng một nhiệm vụ nhưng có lần làm nhanh, có lần làm chậm gấp ba. Chính sách nhận được tín hiệu mâu thuẫn về việc nên đi nhanh chậm ra sao trong cùng một tình huống.
Hệ quả thường là chính sách học ra tốc độ trung bình, không phù hợp với cả hai.
Phát hiện: vẽ phân bố thời lượng của các lần thu. Phân bố có nhiều đỉnh hoặc đuôi dài là dấu hiệu.
Xử lý: thống nhất tốc độ mục tiêu trước khi thu, và loại bỏ các lần lệch quá xa. Nếu tốc độ thật sự cần thay đổi theo tình huống, hãy đảm bảo tình huống đó quan sát được, để chính sách có cơ sở phân biệt.
Vấn đề ba và bốn: thiên lệch và lệch đồng bộ
Thiên lệch người thao tác. Mỗi người có thói quen riêng: tiếp cận từ một hướng ưa thích, luôn xoay cổ tay theo một chiều. Nếu toàn bộ dữ liệu do một người thu, chính sách sẽ kế thừa cả thói quen lẫn điểm mù.
Phát hiện bằng cách so sánh phân bố quỹ đạo giữa các người thu, nếu có nhiều người. Nếu chỉ có một người, hãy chủ động thay đổi cách tiếp cận giữa các lô.
Lệch đồng bộ. Đây là vấn đề âm thầm và tai hại nhất, vì dữ liệu trông hoàn toàn bình thường.
Phát hiện: chọn vài lần thu, xem lại video kèm bản ghi hành động, và kiểm tra xem thời điểm tay kẹp đóng trong video có trùng với thời điểm lệnh đóng kẹp trong bản ghi không. Lệch dù chỉ vài khung hình cũng đủ gây hại.
Vấn đề năm và sáu: thiếu kênh và nhãn sai
Thiếu kênh dữ liệu. Một camera không ghi được ở một số lần, cảm biến lực bị ngắt, trạng thái tay kẹp không được lưu. Nếu không kiểm tra, các lần thiếu này lẫn vào tập và gây lỗi khó hiểu khi huấn luyện.
Phát hiện bằng một bước kiểm tra tự động: với mỗi lần thu, xác nhận đủ số kênh, đủ số khung hình, không có khoảng trống thời gian bất thường.
Nhãn sai. Lần thu được đánh là thành công nhưng thực ra đã làm rơi vật ở cuối, hoặc ngược lại. Với dữ liệu dùng cho học bắt chước, một tỉ lệ nhãn sai nhỏ cũng đủ làm chính sách học được hành vi không mong muốn.
Cách phòng hiệu quả nhất là đánh dấu ngay tại thời điểm thu, khi người thao tác còn nhớ rõ, thay vì gán nhãn lại sau này qua video.
Một quy trình kiểm tra trước khi huấn luyện
Chạy các bước sau trên mỗi tập dữ liệu mới, tự động hoá được thì càng tốt.
- Kiểm tra toàn vẹn: đủ kênh, đủ khung hình, không có khoảng trống.
- Thống kê thời lượng: xem phân bố, đánh dấu các lần lệch xa.
- Thống kê chuyển động: tỉ lệ thời gian đứng yên, vận tốc trung bình và cực đại.
- Kiểm tra đồng bộ trên mẫu ngẫu nhiên bằng cách xem video kèm bản ghi.
- Xem mắt thường hai chục mẫu ngẫu nhiên. Không có bước nào thay thế được bước này.
Bước cuối tốn nửa giờ và thường phát hiện ra thứ mà mọi thống kê bỏ sót. Đây là bước có tỉ lệ lợi ích trên công sức cao nhất trong toàn bộ quy trình.
Câu hỏi thường gặp
Nên loại bỏ bao nhiêu phần trăm dữ liệu là bình thường?
Không có tỉ lệ chuẩn, nhưng nếu phải loại bỏ phần lớn tập thì vấn đề nằm ở quy trình thu chứ không ở khâu lọc. Khi đó nên sửa thiết bị điều khiển hoặc cách hướng dẫn người thao tác trước khi thu tiếp.
Có nên tự động lọc dữ liệu không?
Các kiểm tra định lượng như toàn vẹn kênh và thống kê chuyển động nên tự động hoá. Nhưng quyết định cuối về việc loại bỏ một lần thu nên có người xem, vì các tiêu chí tự động dễ loại nhầm những lần hợp lệ nhưng khác thường.
Lệch đồng bộ bao nhiêu thì đáng lo?
Phụ thuộc vào tốc độ thao tác, nhưng nguyên tắc là lệch đủ để hành động rơi vào khung hình khác đã là vấn đề. Với thao tác nhanh và tiếp xúc, yêu cầu chặt hơn nhiều so với các chuyển động chậm trong không gian trống.
Dữ liệu cũ có nên dùng lại khi đổi tay kẹp không?
Phần chuyển động tiếp cận thường vẫn dùng được, nhưng phần tiếp xúc và lực thì không, vì đặc tính tay kẹp đã khác. Nên đánh dấu rõ cấu hình phần cứng trong siêu dữ liệu của mỗi lần thu để về sau lọc được chính xác.
Đọc thêm trong Nền tảng & bộ công cụ và Robot hiện thân là gì.
