Alibaba представила набір моделей для роботизованих дій: Qwen-Robot Suite 🚀
Компанія Alibaba розробила набір спеціалізованих моделей для роботи з фізичними агентами: Qwen-RobotNav для навігації, Qwen-RobotManip для фізичних дій з об’єктами та Qwen-RobotWorld для прогнозування розвитку середовища 🐋
Qwen-RobotNav — основний модуль навігації
Його можна використовувати для руху роботом до певної точки, виконання інструкцій та інших завдань 📊
Для навчання цього модулю було використано понад 15 мільйонів даних щодо організації маршрутів та візуально-мовного мислення
Показники успішності модуля на різних бенчмарках склалися дуже добре: 76,5% на VLN-CE RxR та 90% на EVT-Bench 📈
За допомогою Qwen-RobotManip фізичні агенти зможуть виконувати дії з об’єктами: брати, переміщувати та розміщувати речі
Цей модуль допоможе роботам переносити навички між різними типами пристроїв 💻
Для навчання цього модулю було використано понад 38 тисяч годин даних
У цей об’єкт увійшло 11 тисяч годин відкритих даних щодо робототехніки, 1933 години відео дій людини та 24 тисячі годин синтетичних роботичних демонстрацій 📊
Qwen-RobotWorld — відеомодель світу, керований природним мовою
Вона повинна прогнозувати розвиток середовища після виконання дії Наприклад, модуль отримує поточне спостереження та текстову команду, а потім генерує вірогідне майбутнє стан середовища
🌐
Для навчання цього модулю було створено корпус Embodied World Knowledge, що складається з понад 8 мільйонів пар «відео-текст» та понад 200 мільйонів кадрів Цей корпус охоплює понад 20 видів роботичних платформ та понад 500 категорій дій
🤖
Набір моделей Qwen-Robot Suite ще не готовий до масового застосування Реальне використання системи може бути складним з огляду на шум сенсорів, зношування приводів, нестандартні ситуації та багато інших факторів
💥
Alibaba ще не розкрила вартість доступу до системи, терміни публічного запуску та список клієнтів, які вже тестують Qwen-Robot Suite 🔒
Тем не менше, робота над цим проєктом вже розпочалася
Для використання цієї системи розроблено спеціалізований модуль Qwen3.6-Plus з контекстним вікном 1 мільйон токенів та підтримкою зовнішніх інструментів 💻
За матеріалами ForkLog