Bạn đã bao giờ nhìn thấy một con linh dương con học đi chưa? Một con gà mái, về cơ bản là một loài động vật có vú chân dài, bò lổm ngổm, ngã, đứng rồi lại ngã. Cuối cùng, nó đứng đủ lâu để giương đôi chân dài như que tăm của mình vào một loạt các ngã gần như ... ahem, các bước. Thật đáng kinh ngạc, một vài phút sau màn hình đáng yêu này, chú mèo vàng này đã nhảy xung quanh như một người chuyên nghiệp cũ.
Chà, bây giờ chúng ta có một phiên bản rô bốt của cảnh Serengeti cổ điển này.
Con mèo trong trường hợp này là một con chó robot tại Đại học California, Berkeley. Và nó cũng là một người học nhanh đáng ngạc nhiên (so với phần còn lại của loại robot). Con robot này cũng đặc biệt vì không giống như những con robot hào nhoáng khác mà bạn có thể đã thấy trên mạng, nó sử dụng trí thông minh nhân tạo để tự dạy cách đi bộ.
Bắt đầu nằm ngửa, vẫy chân, robot học cách tự lật mình, đứng lên và đi lại trong một giờ. Thêm mười phút bị quấy rối bằng một cuộn bìa cứng là đủ để dạy nó cách chịu đựng và phục hồi khi bị những người xử lý xô đẩy xung quanh.
Đây không phải là lần đầu tiên một robot đã sử dụng trí thông minh nhân tạo để học cách đi bộ. Nhưng trong khi các robot trước đó học được kỹ năng bằng cách thử và sai qua vô số lần lặp lại trong mô phỏng, thì bot Berkeley đã học hoàn toàn trong thế giới thực.
[Nhúng nội dung]
Trong một giấy xuất bản trên máy chủ in sẵn arXiv, các nhà nghiên cứu — Danijar Hafner, Alejandro Escontrela và Philipp Wu — nói rằng việc chuyển các thuật toán đã học trong mô phỏng sang thế giới thực là không đơn giản. Những chi tiết nhỏ và sự khác biệt giữa thế giới thực và mô phỏng có thể làm tăng gấp ba lần các robot non trẻ. Mặt khác, đào tạo các thuật toán trong thế giới thực là không thực tế: Nó sẽ mất quá nhiều thời gian và hao mòn.
Bốn năm trước, chẳng hạn, OpenAI đã giới thiệu một bàn tay robot hỗ trợ AI có thể thao tác một khối lập phương. Thuật toán điều khiển, Dactyl, cần khoảng 100 năm kinh nghiệm trong một mô phỏng được hỗ trợ bởi 6,144 CPU và 8 GPU Nvidia V100 để hoàn thành nhiệm vụ tương đối đơn giản này. Mọi thứ đã tiến triển kể từ đó, nhưng vấn đề phần lớn vẫn còn. Các thuật toán học tăng cường thuần túy cần quá nhiều thử và sai để học các kỹ năng để chúng đào tạo trong thế giới thực. Nói một cách đơn giản, quá trình học tập sẽ phá vỡ các nhà nghiên cứu và rô bốt trước khi thực hiện bất kỳ tiến bộ có ý nghĩa nào.
Nhóm Berkeley đã đặt ra để giải quyết vấn đề này bằng một thuật toán gọi là Dreamer. Xây dựng cái được gọi là “mô hình thế giới, ”Dreamer có thể dự đoán xác suất mà một hành động trong tương lai sẽ đạt được mục tiêu. Với kinh nghiệm, độ chính xác của các dự báo của nó được cải thiện. Bằng cách lọc trước các hành động kém thành công hơn, mô hình thế giới cho phép robot tìm ra hoạt động hiệu quả hơn.
Các nhà nghiên cứu viết: “Học hỏi các mô hình thế giới từ kinh nghiệm trong quá khứ cho phép robot hình dung kết quả tương lai của các hành động tiềm năng, giảm số lần thử và sai trong môi trường thực tế cần thiết để học các hành vi thành công. "Bằng cách dự đoán kết quả trong tương lai, các mô hình thế giới cho phép lập kế hoạch và học hành vi chỉ với một lượng nhỏ tương tác trong thế giới thực."
Nói cách khác, một mô hình thế giới có thể giảm tương đương với thời gian đào tạo trong nhiều năm trong mô phỏng xuống không quá một giờ khó xử trong thế giới thực.
Cách tiếp cận này có thể có mức độ liên quan rộng hơn so với chó robot. Nhóm nghiên cứu cũng áp dụng Dreamer cho cánh tay robot chọn và đặt và robot có bánh xe. Trong cả hai trường hợp, họ nhận thấy Dreamer cho phép robot của họ học các kỹ năng liên quan một cách hiệu quả mà không cần thời gian sử dụng sim. Các ứng dụng trong tương lai đầy tham vọng hơn có thể bao gồm xe tự lái.
Tất nhiên, vẫn còn những thách thức cần giải quyết. Mặc dù việc học tăng cường tự động hóa một số mã hóa thủ công phức tạp đằng sau các robot tiên tiến nhất hiện nay, nhưng nó vẫn yêu cầu các kỹ sư xác định mục tiêu của robot và điều gì tạo nên thành công — một bài tập vừa tốn thời gian vừa có kết thúc mở cho môi trường thế giới thực. Ngoài ra, mặc dù robot đã sống sót sau các thí nghiệm của nhóm ở đây, việc đào tạo lâu hơn về các kỹ năng nâng cao hơn có thể chứng minh quá nhiều cho các bot trong tương lai có thể tồn tại mà không bị hư hại. Các nhà nghiên cứu cho biết việc kết hợp đào tạo giả lập với việc học nhanh trong thế giới thực có thể rất hiệu quả.
Tuy nhiên, các kết quả đã đưa AI trong lĩnh vực robot lên một bước nữa. Dreamer củng cố quan điểm rằng “học tăng cường sẽ là công cụ nền tảng trong tương lai của việc điều khiển robot”, Jonathan Hurst, giáo sư về robot tại Đại học bang Oregon nói với MIT Technology Review.
Ảnh: Danijar Hafner / YouTube
