An toàn cho hệ có hành vi sinh từ mô hình

Hồ sơ an toàn công nghiệp dựa trên một giả định: có thể liệt kê được các hành vi của máy và chứng minh mỗi hành vi đều an toàn. Với hành vi sinh ra từ một mô hình học máy, giả định này không còn đúng.

Vì sao cách chứng minh cũ không áp dụng được

Với chương trình viết tay, có thể đọc mã và suy ra tập hành vi có thể xảy ra. Kiểm thử phủ được các nhánh, và phần còn lại suy luận được.

Với mô hình học máy, không gian đầu vào quá lớn để phủ hết bằng kiểm thử, và không có cách nào suy ra từ trọng số mô hình rằng nó sẽ không sinh ra một hành động nguy hiểm cho một đầu vào chưa từng thấy.

Điều này không có nghĩa là không thể vận hành an toàn. Nó có nghĩa là chỗ để chứng minh phải chuyển sang nơi khác.

Kiến trúc tách lớp

Nguyên tắc: mô hình đề xuất, lớp giới hạn quyết định có cho phép hay không.

Mọi lệnh do mô hình sinh ra đều đi qua một lớp kiểm tra độc lập trước khi tới cơ cấu chấp hành. Lớp này được viết bằng logic thông thường, đọc được, kiểm chứng được, và không phụ thuộc vào mô hình.

Nếu lệnh vi phạm giới hạn, lớp này hoặc cắt bớt lệnh về giá trị cho phép, hoặc dừng hệ thống.

Điểm quan trọng: lớp giới hạn phải chạy trên đường độc lập, tốt nhất là trong bộ điều khiển an toàn riêng, không chạy chung tiến trình với mô hình. Nếu chung, một lỗi phần mềm có thể làm mất cả hai.

Những giới hạn nên đặt

• Không gian. Robot không được ra ngoài một vùng đã định, dù chương trình yêu cầu. Đây là giới hạn cơ bản nhất và hầu hết bộ điều khiển công nghiệp đều hỗ trợ.
• Tốc độ. Giới hạn tốc độ đầu công tác, đặc biệt khi có người trong vùng.
• Lực. Ngưỡng lực tiếp xúc tối đa; vượt thì dừng ngay, không chờ mô hình quyết định.
• Tư thế. Cấm các vùng tư thế nguy hiểm hoặc có nguy cơ kẹt.
• Thời gian. Giới hạn thời gian cho mỗi thao tác; quá lâu nghĩa là có gì đó không đúng.
• Tốc độ thay đổi lệnh. Chặn các lệnh nhảy đột ngột, vốn là biểu hiện của mô hình gặp đầu vào lạ.

Giới hạn cuối đáng chú ý: nó bắt được một dạng lỗi rất đặc trưng của mô hình học máy mà các giới hạn khác bỏ sót.

Phát hiện đầu vào lạ

Một lớp bảo vệ bổ sung là kiểm tra xem đầu vào hiện tại có nằm trong vùng mô hình đã được huấn luyện hay không.

Nếu đầu vào khác xa mọi thứ trong dữ liệu huấn luyện, đầu ra của mô hình không đáng tin bất kể nó tự tin thế nào. Trong tình huống đó, phản ứng an toàn là dừng và chờ người, chứ không phải hành động theo dự đoán.

Cách thực hiện có thể đơn giản: so các thống kê đầu vào với dải huấn luyện, kiểm tra các luồng dữ liệu có hợp lệ không, phát hiện khung hình bất thường.

Lớp này không thay thế được giới hạn cứng, nhưng nó chuyển nhiều tình huống từ dạng nguy hiểm sang dạng dừng an toàn.

Kiểm chứng và hồ sơ

Hồ sơ an toàn cho hệ như vậy tập trung vào lớp giới hạn, không vào mô hình.

Cần chứng minh: lớp giới hạn nhận được mọi lệnh trước khi chúng tới cơ cấu chấp hành; nó phát hiện đúng vi phạm; nó phản ứng đúng và trong thời gian đủ ngắn; và nó vẫn hoạt động khi phần còn lại của hệ thống hỏng.

Phép thử quan trọng nhất là thử với lệnh cố ý sai: gửi một lệnh vượt giới hạn và xác nhận hệ thống chặn được. Phép thử này nên nằm trong danh mục kiểm tra định kỳ, không chỉ làm một lần khi nghiệm thu.

Ngoài ra nên ghi nhật ký mọi lần lớp giới hạn phải can thiệp. Tần suất can thiệp tăng lên là chỉ báo rất tốt rằng mô hình đang hoạt động ngoài vùng an toàn của nó.

Câu hỏi thường gặp

Đọc thêm trong Dữ liệu thao tác & điều khiển từ xa và Huấn luyện trong mô phỏng.