Американский стартап Generalist представил GEN-1.5 — модель для управления роботами, которая позволяет обучать их новым действиям через демонстрации. Вместо длительного сбора целевых данных роботу можно показать нужное действие на видео, дополнить его данными с сенсоров, а затем попросить повторить его самостоятельно, передает Tech-news.
Подход отличается от предыдущей версии GEN-1. Для освоения новой задачи ей требовался примерно час специально подготовленных данных. GEN-1.5 использует демонстрацию как своеобразный физический промпт.
Например, роботу можно показать, как открыть банку, расстегнуть молнию или достать предмет. После этого система пытается выполнить то же действие самостоятельно, даже если условия немного отличаются от тех, что были на демонстрации.
Разработчики видят в этом сходство с ИИ-агентами. Вместо обучения одной модели всем возможным операциям можно создать библиотеку навыков и подгружать нужные примеры по мере необходимости. GEN-1.5 уже способна получать несколько таких физических промптов, объединять их и выстраивать последовательность действий.
Такой подход позволяет не учить робота отдельно стирать, гладить или готовить. Вместо этого ему можно в нужный момент предоставить соответствующие примеры навыков.
При этом технология пока ограничена короткими и относительно простыми задачами. Полученный навык остается в контекстном окне и не сохраняется после выполнения, поэтому о полноценном самообучении роботов пока говорить рано.
В перспективе подобная система может упростить создание универсальных роботов: базовая модель будет отвечать за зрение, движение и понимание окружающей среды, а конкретные навыки — подключаться по необходимости. Это также потенциально сократит объем данных, которые приходится собирать для обучения каждой новой операции. Сейчас для таких задач создаются специальные роботизированные фермы, где машины, например, учатся складывать полотенца.
