Bước từ mô phỏng ra máy thật là nơi nhiều dự án mất nhiều thời gian nhất, thường vì làm việc theo thứ tự ngẫu nhiên. Bảy bước dưới đây có thứ tự cụ thể, và lý do của thứ tự đó cũng quan trọng như bản thân các bước.
Bước một và hai: an toàn trước, đầu vào sau
Bước một: dựng lớp bảo vệ độc lập. Trước khi chạy bất kỳ chính sách nào, phải có giới hạn không gian, giới hạn lực, giới hạn tốc độ và dừng khẩn cấp trong tầm tay. Các giới hạn này không do mô hình quyết định và không được mô hình vượt qua.
Đây là bước đầu tiên vì mọi bước sau đều liên quan tới việc để một hành vi khó lường điều khiển một cỗ máy thật.
Bước hai: kiểm tra đầu vào. Ghi lại chính xác những gì chính sách nhìn thấy trên máy thật và so với những gì nó thấy trong mô phỏng.
Rất nhiều lỗi chuyển giao thật ra là lỗi tầm thường ở bước này: ảnh bị lật, kênh màu đảo thứ tự, đơn vị góc khác nhau, thiếu chuẩn hoá. Kiểm tra bước này trước tiết kiệm được nhiều ngày.
Bước ba: chạy chậm, có người giám sát
Chạy chính sách ở tốc độ thấp hơn nhiều so với thiết kế, với người đứng cạnh sẵn sàng dừng.
Mục tiêu không phải đo hiệu năng mà là quan sát hành vi. Chính sách có đi đúng hướng không, có dừng đúng chỗ không, có làm gì bất thường không.
Tiêu chí dừng bước này: chạy được vài chục lần mà không có hành vi nguy hiểm nào. Chưa cần tỉ lệ thành công cao.
Nếu ở tốc độ thấp mà vẫn hành xử vô lý, đừng tăng tốc. Quay lại bước hai và kiểm tra đầu vào kỹ hơn.
Bước bốn và năm: đo và phân loại
Bước bốn: đo tỉ lệ thành công trên một tập tình huống cố định, đủ số lần thử để con số có nghĩa. Tập này phải được giữ nguyên suốt dự án để mọi so sánh sau đó đều hợp lệ.
Bước năm: phân loại kiểu thất bại. Đây là bước cho nhiều thông tin nhất và hay bị bỏ qua nhất.
Ghi lại mỗi lần thất bại thuộc dạng nào: tiếp cận sai vị trí, gắp trượt, làm rơi giữa đường, va vào vật khác, đứng im không làm gì.
Mỗi dạng dẫn tới một hướng khắc phục khác nhau. Tiếp cận sai vị trí thường là vấn đề nhận biết hoặc hiệu chỉnh. Gắp trượt thường là tay kẹp hoặc ma sát. Đứng im thường là chính sách không chắc chắn.
Bước sáu: sửa đúng nguyên nhân
Dựa trên phân loại ở bước năm, chọn biện pháp tương ứng thay vì mặc định huấn luyện thêm.
- Nhận biết sai → cải thiện chiếu sáng, hiệu chỉnh lại camera, đa dạng hoá dữ liệu hình ảnh.
- Gắp trượt → đổi tay kẹp hoặc má kẹp, thường hiệu quả hơn mọi nỗ lực huấn luyện.
- Rung, dao động → đo lại độ trễ và thêm vào mô phỏng.
- Sai lệch tăng dần theo tải → hiệu chỉnh tham số động lực học.
- Thất bại ở tình huống cụ thể → thu dữ liệu can thiệp tại đúng tình huống đó.
Điểm đáng nhấn mạnh: với thao tác vật thể, thay đổi phần cứng thường rẻ và hiệu quả hơn thay đổi mô hình. Một má kẹp có ma sát cao hơn có thể giải quyết vấn đề mà nhiều tuần huấn luyện không giải được.
Bước bảy: triển khai dần
Không chuyển thẳng từ thử nghiệm sang chạy sản xuất toàn phần.
Cách an toàn là tăng dần mức phụ thuộc: chạy một phần nhỏ khối lượng công việc, có người giám sát, rồi tăng dần khi số liệu ổn định.
Trong suốt giai đoạn này, tiếp tục ghi tỉ lệ thành công và kiểu thất bại. Dữ liệu vận hành thật khác dữ liệu thử nghiệm ở chỗ nó bao gồm cả những tình huống không ai nghĩ tới khi thiết kế tập kiểm thử.
Cuối cùng, cần một tiêu chí quay lui được định nghĩa trước: nếu tỉ lệ thành công xuống dưới ngưỡng nào đó, hệ thống tự động chuyển về phương án cũ hoặc dừng chờ người. Không có tiêu chí này, việc phát hiện xuống cấp thường xảy ra quá muộn.
Câu hỏi thường gặp
Bước nào tốn thời gian nhất trong thực tế?
Thường là bước phân loại thất bại và sửa nguyên nhân, vì nó lặp lại nhiều vòng. Bù lại, các nhóm làm kỹ bước này thường về đích nhanh hơn nhiều so với nhóm cứ huấn luyện thêm mỗi khi gặp lỗi.
Tập kiểm thử nên có bao nhiêu tình huống?
Đủ để phủ các biến thể quan trọng và đủ số lần thử cho mỗi tình huống để con số có ý nghĩa. Quan trọng hơn số lượng là tính cố định: tập này không được thay đổi trong suốt dự án, nếu không mọi so sánh giữa các phiên bản đều mất giá trị.
Có cần người giám sát suốt quá trình không?
Cần trong toàn bộ giai đoạn thử nghiệm và giai đoạn triển khai dần. Chỉ khi tỉ lệ thành công ổn định qua đủ nhiều chu kỳ và đã có cơ chế phát hiện bất thường tự động thì mới nên giảm mức giám sát.
Tiêu chí quay lui nên đặt thế nào?
Nên dựa trên chỉ số đo được liên tục như tỉ lệ thành công trong một cửa sổ gần nhất, kèm ngưỡng và số chu kỳ tối thiểu để tránh phản ứng với dao động ngẫu nhiên. Quan trọng là tiêu chí phải được định nghĩa trước khi triển khai, không phải sau khi có sự cố.
Đọc thêm trong Huấn luyện trong mô phỏng và Robot hiện thân là gì.
