Biểu diễn hành động: đầu ra của mô hình thật ra là gì

Khi thiết kế một chính sách, câu hỏi đầu ra là gì nghe có vẻ kỹ thuật thuần tuý. Thực tế nó là một trong vài quyết định ảnh hưởng lớn nhất tới việc mô hình có học nổi hay không.

Toạ độ khớp hay toạ độ đầu công tác

Toạ độ khớp mô tả góc mong muốn cho từng khớp. Ưu điểm: khớp với cấu trúc máy, không cần giải động học ngược, không gặp vấn đề khi robot ở tư thế dị thường.

Nhược điểm lớn: nó gắn chặt với một thân máy cụ thể. Dữ liệu thu trên robot này không dùng lại được cho robot khác, và mô hình phải học cả đặc tính hình học của máy.

Toạ độ đầu công tác mô tả vị trí và hướng mong muốn của đầu làm việc trong không gian. Ưu điểm: gần với ý nghĩa của nhiệm vụ, và dữ liệu chuyển giữa các máy dễ hơn.

Nhược điểm: cần giải động học ngược, và có thể gặp trạng thái không giải được khi điểm đích nằm ngoài vùng với tới hoặc gần điểm dị thường.

Trong thao tác vật thể, biểu diễn theo đầu công tác chiếm ưu thế, vì nhiệm vụ được định nghĩa theo vật chứ không theo khớp.

Tuyệt đối hay tương đối

Tuyệt đối: mô hình xuất ra vị trí đích trong hệ toạ độ cố định. Rõ ràng, nhưng mô hình phải biết chính xác mọi thứ nằm ở đâu trong hệ đó.

Tương đối: mô hình xuất ra chuyển vị so với vị trí hiện tại — dịch sang phải một chút, hạ xuống một chút.

Cách tương đối thường dễ học hơn, vì mô hình chỉ cần trả lời câu hỏi bước tiếp theo nên đi về hướng nào, thay vì phải định vị tuyệt đối mọi thứ. Nó cũng bao dung hơn với sai lệch hiệu chỉnh.

Đổi lại, sai số tích luỹ theo từng bước, và nếu mô hình bị lệch thì không có gì kéo nó về. Nhiều hệ thống dùng tương đối cho phần lớn chuyển động và tuyệt đối cho các điểm mốc quan trọng.

Vị trí hay vận tốc

Lệnh vị trí bảo robot đi tới đâu; lệnh vận tốc bảo robot đi nhanh chậm theo hướng nào.

Lệnh vị trí ổn định hơn khi tần số điều khiển thấp: nếu mô hình chậm một nhịp, robot chỉ đứng chờ ở đích cũ. Với lệnh vận tốc, chậm một nhịp nghĩa là robot tiếp tục trôi theo lệnh cũ — nguy hiểm hơn nhiều.

Đây là lý do phần lớn hệ thống dùng mô hình lớn đều xuất lệnh dạng vị trí, và để tầng dưới lo việc chuyển sang lệnh tốc độ cho động cơ.

Rời rạc hay liên tục

Một số kiến trúc chia dải giá trị hành động thành các mức rời rạc, biến bài toán sinh hành động thành bài toán chọn trong danh sách — tương tự cách mô hình ngôn ngữ chọn từ tiếp theo.

Cách này cho phép dùng lại nguyên vẹn kiến trúc và cách huấn luyện của mô hình ngôn ngữ, và xử lý tốt trường hợp có nhiều cách đúng cùng lúc.

Cái giá là độ phân giải: chia thành ít mức thì chuyển động thô, chia thành nhiều mức thì bài toán học khó hơn.

Hướng liên tục giữ được độ mượt nhưng gặp khó khi dữ liệu có nhiều cách làm khác nhau cho cùng một tình huống — mô hình dễ học ra giá trị trung bình của hai cách, mà trung bình của hai cách đúng thường là một cách sai.

Chuẩn hoá và những chi tiết dễ bỏ qua

Vài điểm nhỏ nhưng ảnh hưởng lớn tới kết quả.

• Chuẩn hoá thang giá trị. Chuyển vị tính bằng mét và góc tính bằng radian có thang rất khác nhau; không chuẩn hoá thì mô hình sẽ ưu tiên sai thành phần.
• Biểu diễn hướng. Góc Euler có điểm gián đoạn gây khó cho việc học; các biểu diễn liên tục thường cho kết quả tốt hơn.
• Tay kẹp. Đóng mở là hành động rời rạc, nên tách riêng thay vì trộn chung với các thành phần liên tục.
• Tần số ghi dữ liệu. Ghi quá dày thì các bước gần như giống hệt nhau và mô hình học ra thói quen đứng yên; ghi quá thưa thì mất chi tiết ở giai đoạn tiếp xúc.

Ba trong bốn điểm trên là lỗi thường gặp ở dự án đầu tiên, và chúng biểu hiện giống nhau: mô hình chạy được nhưng chuyển động giật hoặc chần chừ không rõ lý do.

Câu hỏi thường gặp

Đọc thêm trong Thao tác vật thể và Triển khai thực tế & thất bại.