Giám sát một hệ robot học máy đang chạy

Một động cơ hỏng thì kêu, thì nóng, thì báo lỗi. Một mô hình xuống cấp thì vẫn trả về kết quả trông hợp lệ, chỉ là sai nhiều hơn. Vì vậy bộ chỉ số giám sát phải khác.

Nhóm một: chỉ số kết quả

Đây là nhóm quan trọng nhất và cũng dễ đo nhất.

• Tỉ lệ thành công trong một cửa sổ thời gian gần nhất, không phải tính từ đầu.
• Số lần thử lại trung bình cho mỗi kết quả thành công.
• Thời gian chu kỳ, cả trung bình lẫn phân vị cao.
• Số lần cần người can thiệp mỗi ca.

Điểm mấu chốt là dùng cửa sổ trượt. Tỉ lệ tính từ khi lắp đặt sẽ che mất một đợt xuống cấp gần đây, vì nó bị pha loãng bởi lịch sử tốt.

Nhóm hai: chỉ số đầu vào

Nhóm này cho cảnh báo sớm, trước khi kết quả xấu đi.

Với ảnh: độ sáng trung bình, độ tương phản, tỉ lệ điểm ảnh không có dữ liệu chiều sâu, số vật phát hiện được trong khung hình.

Với cảm biến lực: giá trị tại điểm không khi robot ở tư thế chuẩn, biên độ nhiễu.

Với nhiệm vụ: phân bố kích thước vật, phân bố vị trí, tỉ lệ các loại sản phẩm.

Ý tưởng là so các thống kê này với dải quan sát được trong dữ liệu huấn luyện. Khi đầu vào trôi ra ngoài dải đó, mô hình đang làm việc trong vùng nó chưa từng thấy, và kết quả sẽ xấu đi dù chưa xấu ngay.

Nhóm ba: hành vi của mô hình

Nhóm này ít được dùng nhưng cho thông tin mà hai nhóm trên không có.

Độ tự tin của mô hình: nhiều kiến trúc xuất ra được một chỉ số về mức chắc chắn. Độ tự tin giảm dần theo thời gian là tín hiệu sớm rất tốt.

Lưu ý quan trọng: độ tự tin không đồng nghĩa với độ đúng. Mô hình có thể rất tự tin mà vẫn sai. Nên dùng nó như một chỉ báo xu hướng, không phải như một đảm bảo.

Phân bố hành động: nếu mô hình đột nhiên xuất ra các lệnh khác hẳn thường lệ — biên độ lớn hơn, hướng khác — đó là dấu hiệu đầu vào đã đổi.

Thời gian suy luận: tăng dần thường do tải hệ thống, và nó ảnh hưởng tới độ trễ nên ảnh hưởng tới chất lượng điều khiển.

Nhóm bốn: phần cứng

Đừng quên rằng phần lớn xuống cấp của một hệ robot học máy thật ra là xuống cấp cơ khí.

Theo dõi: dòng điện động cơ khi chạy chương trình chuẩn, độ lặp lại đo định kỳ, số chu kỳ đã dùng của má kẹp và giác hút, nhiệt độ tủ điều khiển.

Khi tỉ lệ thành công giảm, thứ tự kiểm tra nên là phần cứng trước, mô hình sau. Kinh nghiệm chung cho thấy nguyên nhân nằm ở phần cứng và hiệu chỉnh nhiều hơn hẳn so với ở mô hình.

Đặt ngưỡng mà không tạo ra cảnh báo giả

Cảnh báo quá nhạy còn tệ hơn không có cảnh báo, vì người vận hành sẽ học cách phớt lờ.

Bốn nguyên tắc thực dụng.

• Dựa trên dải bình thường quan sát được, không dựa trên con số áp đặt từ đầu. Chạy một hai tuần để thu thống kê trước khi đặt ngưỡng.
• Yêu cầu kéo dài: chỉ cảnh báo khi chỉ số vượt ngưỡng trong một số chu kỳ liên tiếp, tránh phản ứng với dao động ngẫu nhiên.
• Phân cấp: cảnh báo nhẹ ghi vào nhật ký, cảnh báo nặng báo cho người, chỉ dừng máy khi thật sự cần.
• Xem lại định kỳ: nếu một cảnh báo luôn bị bỏ qua, hoặc là ngưỡng sai hoặc là nó không hữu ích. Sửa hoặc bỏ.

Cuối cùng, mọi cảnh báo nên kèm hành động đề xuất. Một thông báo nói rằng chỉ số bất thường mà không nói nên làm gì sẽ không dẫn tới hành động nào.

Câu hỏi thường gặp

Đọc thêm trong Nền tảng & bộ công cụ và Robot hiện thân là gì.