Học từ dữ liệu người làm, không qua robot

Con người thực hiện hàng tỉ thao tác mỗi ngày, và một phần trong đó được quay lại. Nếu robot học được từ nguồn này, bài toán thiếu dữ liệu sẽ được giải theo cách hoàn toàn khác so với việc thu từng lần bằng điều khiển từ xa.

Vì sao ý tưởng này hấp dẫn

Ba lý do rất thuyết phục.

Quy mô. Lượng video ghi lại hoạt động của con người lớn hơn nhiều bậc so với mọi tập dữ liệu robot cộng lại.

Đa dạng tự nhiên. Video người làm chứa vô số vật thể, bối cảnh, cách làm và tình huống bất thường — thứ mà thu bằng robot rất khó tạo ra.

Chi phí biên gần bằng không. Không cần robot, không cần người ngồi điều khiển, không tốn thời gian thiết bị.

Nếu giải được, đây sẽ là thay đổi lớn nhất của lĩnh vực. Vấn đề nằm ở ba trở ngại dưới đây.

Trở ngại một: video không chứa hành động

Chính sách cần cặp quan sát và hành động. Video chỉ cho quan sát; hành động phải suy ra.

Suy ra chuyển động của bàn tay từ video là bài toán khó nhưng đã có tiến bộ đáng kể. Cái khó hơn là suy ra lệnh điều khiển tương ứng cho một thân máy khác: bàn tay người ở đâu trong không gian không nói lên robot phải đặt khớp thế nào.

Hướng đang được thử là học một biểu diễn trung gian — ví dụ quỹ đạo của điểm tiếp xúc hoặc mục tiêu cần đạt — rồi để một tầng riêng chuyển biểu diễn đó thành lệnh cho từng thân máy.

Trở ngại hai: hình thể khác nhau

Bàn tay người có nhiều bậc tự do, da mềm, và cảm nhận xúc giác rất tinh. Tay kẹp hai ngón thì không có gì trong số đó.

Nhiều thao tác của con người dựa vào chính các đặc tính này: xoay vật trong lòng bàn tay, giữ bằng ba ngón trong khi hai ngón còn lại làm việc khác, điều chỉnh lực từng ngón riêng.

Với các thao tác đó, quan sát người làm không cho biết robot nên làm gì, vì robot không có phương án tương đương.

Ngược lại, các thao tác dựa chủ yếu vào chuyển động của cả cánh tay — đưa vật từ chỗ này sang chỗ kia, mở ngăn kéo, đẩy — thì chuyển giao dễ hơn nhiều.

Trở ngại ba: không có thông tin lực

Video ghi lại chuyển động nhưng không ghi lại lực. Nhìn một người siết nắp chai, ta thấy tay xoay nhưng không biết họ siết mạnh bao nhiêu.

Với các thao tác mà lực là yếu tố quyết định — lắp khít, siết, nhấc vật trơn — thông tin thiếu này rất quan trọng.

Có thể suy đoán phần nào từ biến dạng của vật hoặc từ chuyển động chậm lại, nhưng đó chỉ là ước lượng thô.

Vì vậy hướng thực tế hiện nay là dùng video người cho phần hiểu nhiệm vụ và lập kế hoạch, còn phần lực thì học từ dữ liệu robot hoặc từ mô phỏng.

Cách kết hợp đang cho kết quả

Thay vì chờ giải được toàn bộ bài toán, các nhóm đang khai thác video người ở những chỗ nó giúp được ngay.

• Học biểu diễn thị giác: dùng video người để mô hình quen với vật thể, bối cảnh và cách chúng biến đổi khi bị tác động.
• Học chuỗi các bước của một nhiệm vụ nhiều giai đoạn, mà không cần biết chi tiết chuyển động.
• Học mục tiêu: nhìn trạng thái cuối trong video để biết thế nào là hoàn thành, rồi để robot tự tìm cách đạt được.
• Bổ sung cho dữ liệu robot: dùng video người làm phần huấn luyện trước, dữ liệu robot làm phần tinh chỉnh.

Cách nhìn cân bằng: video người khó có thể thay thế hoàn toàn dữ liệu robot trong tương lai gần, nhưng nó đang làm giảm đáng kể lượng dữ liệu robot cần thiết. Với một lĩnh vực mà dữ liệu là nút thắt lớn nhất, đó đã là đóng góp quan trọng.

Câu hỏi thường gặp

Đọc thêm trong Mô hình thị giác–ngôn ngữ–hành động và Triển khai thực tế & thất bại.