Câu hỏi thường gặp nhất khi bắt đầu một dự án là cần thu bao nhiêu lần. Câu trả lời thẳng thắn là con số ít có ý nghĩa nếu không nói rõ đa dạng ra sao — một nghìn lần thu cùng một tình huống có giá trị thấp hơn hai trăm lần thu phủ được nhiều tình huống.
Các trục đa dạng cần phủ
Với thao tác vật thể, năm trục sau quyết định khả năng tổng quát hoá.
- Vị trí và hướng của vật: phủ toàn bộ vùng mà vật có thể xuất hiện, kể cả các góc bất lợi.
- Loại vật: khác nhau về kích thước, hình dạng, khối lượng, độ bóng, độ cứng.
- Bối cảnh: có vật khác gần đó, nền khác, ánh sáng khác.
- Trạng thái khởi đầu của robot: không phải lúc nào cũng bắt đầu từ cùng một tư thế.
- Cách thực hiện: cùng một nhiệm vụ có thể làm theo vài cách; dữ liệu nên chứa cả các cách đó.
Trục cuối gây tranh cãi. Nhiều cách làm khác nhau trong dữ liệu có thể khiến mô hình lúng túng nếu kiến trúc không biểu diễn được nhiều phương án. Với các kiến trúc hiện đại xử lý được điều này, đa dạng về cách làm lại giúp chính sách bền hơn.
Vì sao đa dạng thắng số lượng
Mô hình học cách ánh xạ từ quan sát sang hành động. Nếu mọi quan sát trong dữ liệu đều gần giống nhau, mô hình chỉ cần nhớ một ánh xạ hẹp.
Khi gặp quan sát hơi khác, nó không có cơ sở để suy ra hành động đúng. Đây là lý do một tập dữ liệu lớn nhưng đơn điệu tạo ra chính sách rất giòn.
Ngược lại, dữ liệu đa dạng buộc mô hình phải tìm ra quy luật chung thay vì ghi nhớ. Quy luật đó mới là thứ tổng quát hoá được.
Một cách kiểm tra nhanh chất lượng tập dữ liệu: chọn ngẫu nhiên hai chục mẫu và xem chúng có thật sự khác nhau không. Nếu chúng trông gần như giống hệt, tập dữ liệu cần đa dạng hơn chứ không cần lớn hơn.
Đường cong hiệu năng theo lượng dữ liệu
Đây là công cụ ra quyết định tốt nhất, và dựng nó không tốn kém.
Huấn luyện chính sách lần lượt trên một phần tư, một nửa, ba phần tư và toàn bộ dữ liệu hiện có. Đo tỉ lệ thành công trên cùng một tập kiểm thử cố định. Vẽ đường cong.
Đường cong còn dốc nghĩa là thu thêm dữ liệu cùng loại vẫn có ích. Cứ tiếp tục.
Đường cong đã phẳng nghĩa là thêm dữ liệu cùng loại không giúp gì nữa. Lúc này cần đổi hướng: thu loại dữ liệu khác, đổi kiến trúc, hoặc xem lại phần cứng.
Rất nhiều nhóm bỏ hàng tuần thu thêm dữ liệu trong khi đường cong đã phẳng từ lâu. Nửa ngày dựng đường cong này tiết kiệm được nhiều thời gian hơn hẳn.
Thu có chủ đích thay vì thu đại trà
Sau khi có một chính sách hoạt động ở mức nào đó, cách thu dữ liệu hiệu quả nhất thay đổi.
Thay vì thu thêm ngẫu nhiên, hãy chạy chính sách hiện tại, ghi lại các lần thất bại, và thu dữ liệu tại đúng những tình huống đó.
Cách này tập trung nguồn lực vào phần chính sách còn yếu, thay vì bổ sung thêm ví dụ cho những gì nó đã làm tốt.
Kèm theo là một thói quen hữu ích: giữ một bảng thống kê kiểu thất bại và số lần thu bổ sung cho từng kiểu. Bảng này cho thấy rõ nỗ lực đang đi vào đâu và có hiệu quả không.
Khi nào dữ liệu không phải vấn đề
Bốn dấu hiệu cho thấy nên dừng thu và nhìn chỗ khác.
- Đường cong hiệu năng đã phẳng nhưng tỉ lệ vẫn thấp.
- Thất bại tập trung vào một dạng vật lý, ví dụ luôn trượt với vật bóng. Đây là vấn đề tay kẹp.
- Người thao tác cũng khó làm qua thiết bị điều khiển. Nếu người còn khó, dữ liệu sẽ kém và chính sách không thể tốt hơn dữ liệu.
- Thất bại thay đổi theo thời gian trong ngày. Thường là ánh sáng hoặc nhiệt độ, không phải dữ liệu.
Trong cả bốn trường hợp, sửa phần cứng hoặc sửa thiết lập cho hiệu quả cao hơn nhiều so với thu thêm dữ liệu.
Câu hỏi thường gặp
Có con số tối thiểu nào để bắt đầu không?
Không có con số chung, nhưng nguyên tắc thực dụng là thu đủ để dựng được đường cong hiệu năng có ý nghĩa, rồi để chính đường cong đó quyết định bước tiếp theo. Bắt đầu nhỏ và đo còn tốt hơn đặt mục tiêu số lượng từ đầu.
Dữ liệu từ mô phỏng có tính vào lượng dữ liệu không?
Có nhưng không tương đương. Dữ liệu mô phỏng rất tốt cho việc học kỹ năng vận động và cho đa dạng hoá, nhưng không thay được dữ liệu thật ở giai đoạn tiếp xúc. Nên tính hai loại riêng khi dựng đường cong hiệu năng.
Nên ưu tiên đa dạng trục nào trước?
Thường là vị trí và hướng của vật, vì đây là trục biến thiên nhiều nhất trong vận hành thật và cũng dễ tạo đa dạng nhất. Đa dạng về loại vật quan trọng khi mục tiêu là xử lý được vật chưa từng thấy.
Giữ lại các lần thất bại trong dữ liệu có làm chính sách kém đi không?
Nếu đưa vào như ví dụ để bắt chước thì có hại. Nhưng nếu giữ các đoạn người mắc lỗi rồi sửa được, chính sách học được cách phục hồi, và đó là khả năng rất giá trị. Điều quan trọng là đánh dấu rõ để xử lý đúng cách khi huấn luyện.
Đọc thêm trong Nền tảng & bộ công cụ và Mô hình thị giác–ngôn ngữ–hành động.
