Dữ liệu thao tác robot là tài sản đắt nhất của một dự án học máy, đắt hơn cả phần cứng trong nhiều trường hợp. Nhưng nó chỉ giữ được giá trị nếu hai năm sau vẫn có người hiểu được nó chứa gì.
Siêu dữ liệu: thứ quyết định giá trị lâu dài
Bản ghi chỉ có quan sát và hành động là chưa đủ. Cần ghi kèm bối cảnh, và đây là phần hay bị bỏ qua nhất.
- Phần cứng: loại robot, số hiệu máy, tay kẹp nào, cấu hình camera và vị trí lắp.
- Hiệu chỉnh: các tham số hiệu chỉnh camera và điểm tâm công cụ đang dùng lúc thu.
- Nhiệm vụ: mô tả bằng lời, loại vật, dải biến thiên.
- Con người: ai thao tác, dùng thiết bị điều khiển nào.
- Thời gian và điều kiện: ngày giờ, ánh sáng, nhiệt độ nếu có.
- Kết quả: thành công hay không, kiểu thất bại nếu có.
Không có nhóm đầu và nhóm thứ hai, dữ liệu gần như không tái sử dụng được khi cấu hình đã đổi — mà cấu hình luôn đổi.
Định dạng và cấu trúc
Nguyên tắc chung: ưu tiên định dạng mở và tự mô tả, tránh định dạng riêng của một công cụ cụ thể.
Cấu trúc thường dùng là mỗi lần thu một thư mục hoặc một tệp gộp, bên trong có các luồng dữ liệu theo dấu thời gian, kèm một tệp siêu dữ liệu đọc được bằng mắt.
Ảnh nên lưu ở dạng nén có chất lượng đủ cao; nén quá mạnh làm mất chi tiết mà mô hình cần. Nếu dung lượng là vấn đề, giảm tần số khung hình thường ít hại hơn giảm chất lượng ảnh.
Một chi tiết đáng làm: lưu kèm một đoạn video xem trước cho mỗi lần thu. Việc này tốn ít dung lượng nhưng giúp việc rà soát sau này nhanh hơn nhiều so với phải dựng lại từ dữ liệu thô.
Đánh phiên bản tập dữ liệu
Tập dữ liệu thay đổi liên tục: thêm lần thu mới, loại bỏ lần hỏng, sửa nhãn. Nếu không đánh phiên bản, không thể tái lập kết quả huấn luyện.
Cách đơn giản mà hiệu quả: mỗi lần dùng để huấn luyện, ghi lại danh sách chính xác các lần thu đã dùng kèm mã băm hoặc kích thước để phát hiện thay đổi.
Khi kết quả huấn luyện thay đổi bất thường, câu hỏi đầu tiên nên là tập dữ liệu có đổi không. Không có bản ghi phiên bản, câu hỏi này không trả lời được.
Nguyên tắc kèm theo: không sửa dữ liệu tại chỗ. Nếu cần lọc hay sửa nhãn, tạo bản mới và giữ bản gốc.
Dung lượng và chi phí
Dữ liệu thao tác có ảnh nhiều góc ở tần số cao sinh ra dung lượng lớn rất nhanh, và chi phí lưu trữ tích luỹ theo năm.
Vài cách kiểm soát mà không mất giá trị.
- Phân tầng lưu trữ: dữ liệu đang dùng để trên ổ nhanh, dữ liệu cũ chuyển sang lưu trữ rẻ hơn.
- Giữ thô ở tần số gốc, tạo bản rút gọn để dùng hằng ngày.
- Loại bỏ có kiểm soát: các lần thu hỏng rõ ràng, sau khi đã ghi lý do.
- Nén ảnh hợp lý, kiểm chứng bằng cách huấn luyện thử trên bản nén để chắc chắn không mất chất lượng.
Điều không nên làm là xoá dữ liệu cũ vì thấy chật. Chi phí lưu trữ gần như luôn nhỏ hơn chi phí thu lại.
Tổ chức cho người khác dùng được
Câu hỏi kiểm tra tốt nhất: nếu một người mới vào nhóm hôm nay, họ có tự hiểu được tập dữ liệu này trong một buổi không.
Ba thứ giúp câu trả lời là có.
Một tệp mô tả ở thư mục gốc nói rõ dữ liệu chứa gì, thu bằng thiết bị nào, cấu trúc ra sao, và các cảnh báo cần biết.
Một đoạn mã ví dụ đọc một lần thu và hiển thị nó. Điều này tiết kiệm nhiều giờ cho mọi người dùng sau.
Quy ước đặt tên nhất quán, có ngày và có mã nhiệm vụ, để sắp xếp và lọc bằng công cụ thông thường.
Ba thứ này tốn vài giờ chuẩn bị và tiết kiệm nhiều ngày về sau — đặc biệt khi chính bạn quay lại tập dữ liệu của mình sau một năm.
Câu hỏi thường gặp
Có nên lưu dữ liệu thô hay chỉ lưu bản đã xử lý?
Nên giữ bản thô, vì cách xử lý sẽ thay đổi khi phương pháp thay đổi. Bản đã xử lý chỉ là một cách nhìn dữ liệu tại một thời điểm, và tái tạo lại từ thô luôn dễ hơn là cố khôi phục thông tin đã mất.
Tần số ghi ảnh bao nhiêu là hợp lý?
Đủ để nắm được các giai đoạn chuyển động nhanh, đặc biệt là lúc tiếp xúc. Nên ghi ở tần số cao rồi tạo bản rút gọn khi dùng, vì tăng tần số sau này là không thể còn giảm thì luôn làm được.
Dữ liệu cũ có còn giá trị khi mô hình đổi không?
Thường vẫn còn, vì dữ liệu mô tả thế giới chứ không mô tả mô hình. Điều làm dữ liệu mất giá trị là thay đổi phần cứng và hiệu chỉnh, chứ không phải thay đổi thuật toán. Đó là lý do siêu dữ liệu về cấu hình quan trọng đến vậy.
Nên sao lưu như thế nào?
Ít nhất một bản sao ở nơi khác về mặt vật lý, và kiểm tra khôi phục định kỳ. Dữ liệu robot không thể thu lại y hệt vì điều kiện đã đổi, nên mất dữ liệu là mất vĩnh viễn chứ không chỉ là tốn công làm lại.
Đọc thêm trong Robot hiện thân là gì và Triển khai thực tế & thất bại.