Chuỗi hành động: vì sao dự đoán nhiều bước lại tốt hơn

Cách tự nhiên nhất khi thiết kế một chính sách là hỏi: nhìn thấy thế này thì bước tiếp theo làm gì. Nhưng các hệ thống thao tác hoạt động tốt hiện nay hầu hết không làm vậy — chúng xuất ra cả một đoạn chuyển động cho vài chục bước tới.

Vấn đề thứ nhất: độ trễ suy luận

Một mô hình lớn cần thời gian đáng kể cho mỗi lần suy luận. Nếu mỗi lần chỉ ra được một bước, robot sẽ dừng chờ giữa các bước, và chuyển động trở nên giật cục.

Xuất ra một chuỗi giải quyết trực tiếp việc này. Trong lúc robot thực hiện các bước đã có, mô hình có thời gian tính chuỗi tiếp theo. Chuyển động liên tục dù mô hình chạy chậm.

Đây là lý do kỹ thuật quan trọng nhất, và nó cho phép dùng mô hình lớn hơn nhiều so với khi bị ràng buộc phải chạy mỗi bước.

Vấn đề thứ hai: chính sách chần chừ

Hiện tượng này rất đặc trưng của học bắt chước từng bước: robot tiến tới vật, dừng lại, nhích một chút, lại dừng, không bao giờ dứt khoát chạm vào.

Nguyên nhân nằm ở dữ liệu. Người làm mẫu đôi khi dừng lại giữa chừng, và mô hình học được rằng đứng yên cũng là một hành động hợp lệ. Khi không chắc chắn, nó chọn phương án an toàn nhất là không làm gì.

Xuất ra chuỗi làm giảm hiện tượng này, vì mô hình phải cam kết cho cả một đoạn thay vì quyết định lại ở từng thời điểm. Một khi đã bắt đầu đoạn tiếp cận, nó đi hết đoạn đó.

Vấn đề thứ ba: tính nhất quán của thao tác

Nhiều thao tác chỉ có nghĩa khi được thực hiện trọn vẹn. Xoay cổ tay nửa chừng rồi đổi ý là tư thế tệ hơn cả hai phương án ban đầu.

Khi quyết định lại ở từng bước, mô hình dễ dao động giữa hai cách làm khác nhau, tạo ra chuyển động lưỡng lự không giống bất kỳ ví dụ nào trong dữ liệu.

Cam kết theo đoạn giữ được tính nhất quán: mô hình chọn một cách và theo đến cùng đoạn đó, rồi mới cân nhắc lại.

Đánh đổi: cam kết bao lâu là vừa

Chuỗi càng dài thì càng mượt và càng ít bị ảnh hưởng bởi độ trễ, nhưng robot càng chậm phản ứng với thay đổi.

Nếu vật bị đẩy lệch ngay sau khi mô hình đã xuất chuỗi, robot vẫn thực hiện hết chuỗi cũ dựa trên thông tin đã lỗi thời.

Các hệ thống thực tế xử lý bằng vài cách. Thực hiện một phần chuỗi rồi tính lại, ví dụ chỉ dùng một phần đầu của mỗi chuỗi. Trộn dần giữa chuỗi cũ và chuỗi mới để chuyển tiếp mượt. Ngắt sớm khi tầng dưới phát hiện lực bất thường hoặc vật đã dịch chuyển.

Độ dài hợp lý phụ thuộc vào tốc độ thay đổi của môi trường: bàn tĩnh thì cam kết dài được, băng chuyền đang chạy thì phải ngắn.

Hệ quả với thiết kế hệ thống

Vài điều rút ra khi triển khai.

• Tầng dưới phải biết nội suy. Chuỗi thường thưa hơn tần số điều khiển, nên tầng dưới phải sinh ra các điểm trung gian mượt.
• Phải có cơ chế ngắt. Nếu lực vượt ngưỡng hoặc phát hiện va chạm, chuỗi đang chạy phải bị huỷ ngay, không chờ hết đoạn.
• Ghi dữ liệu ở tần số cao. Có dữ liệu dày thì mới thử được nhiều độ dài chuỗi khác nhau khi huấn luyện.
• Đo lại độ trễ thật. Nhiều nhóm chọn độ dài chuỗi theo cảm tính; đo thời gian suy luận thực tế cho con số chính xác hơn nhiều.

Điểm cuối đáng nhấn mạnh: độ trễ thay đổi theo tải máy tính. Một chuỗi đủ dài lúc thử nghiệm có thể thành quá ngắn khi hệ thống chạy đủ mọi thành phần.

Câu hỏi thường gặp

Đọc thêm trong Triển khai thực tế & thất bại và Thao tác vật thể.