Microsoft использовала ChatGPT для управления беспилотниками и роботами

Microsoft считает, что ChatGPT может произвести революцию в робототехнической промышленности. Благодаря искусственному интеллекту OpenAI можно управлять дронами и роботами, не будучи специалистом по программированию.

Стремясь возглавить гонку в области искусственного интеллекта, компания Microsoft вложила целое состояние в OpenAI, стартап, создавший ChatGPT. Вложив несколько крупных инвестиций, редмондский гигант быстро интегрировал чат-бота в поисковую систему Bing и веб-браузер Edge. Microsoft намерена продолжать набирать обороты, внедряя ChatGPT в другие флагманские продукты, такие как Outlook, Word или Powerpoint.

Американская компания не собирается ограничивать ChatGPT сектором программного обеспечения. Microsoft также намерена использовать достижения OpenAI для революции в мире робототехники. В опубликованном несколько дней назад отчете компания сообщает, что использовала чат-бот OpenAI для управления «роботизированными руками, беспилотниками и домашними роботами-помощниками».

В частности, Microsoft использовала ChatGPT для управления летающим дроном. По команде ИИ беспилотник совершил зигзагообразное движение в воздухе, а затем сделал селфи с помощью встроенной камеры. Следуя командам ChatGPT, беспилотник также смог достичь определенного места, избегая препятствий на своем пути.

Инженеры также использовали чат-бота для проведения тестов в Microsoft AirSim, симуляторе беспилотника. В своих лабораториях Microsoft также использовала ChatGPT, чтобы дать команду роботу-руке сложить блоки. Машине удалось уложить эти блоки в определенном порядке.

Упрощение коммуникации между человеком и машиной

Microsoft объясняет, что хочет облегчить взаимодействие между людьми и роботами, опираясь на языковые модели OpenAI. Для этого ChatGPT должен «думать не только о тексте и рассуждать о физическом мире». Другими словами, ИИ должен не просто генерировать ответы на основе запросов собеседника. Он должен понимать, что подразумевают эти запросы с точки зрения окружающей среды и законов физики.

«Оказалось, что ChatGPT может многое сделать сам, но ему все еще нужна помощь«, — говорит Microsoft, заверяя, что первые результаты обнадеживают.

Использование ChatGPT в качестве переводчика

В рамках своего исследования американский гигант разработал «принципы дизайна». Используя эти принципы, Microsoft использовала ChatGPT для создания кода, который мог бы управлять роботом. На основе этих принципов инженерами группы была разработана полная методология. В ней подробно описано, как можно использовать языковую модель для облегчения программирования робота.

Во-первых, необходимо определить каталог функций робота. Каждая функция должна иметь описательное название, чтобы ChatGPT понимал, что это такое. Во-вторых, пользователь пишет запрос в интерфейсе чат-бота, описывая задачу, которая ожидает робота. Как всегда, необходимо предоставить ИИ как можно больше информации, чтобы получить желаемый результат.

При написании запроса пользователь должен описать цель задачи, указать, какие из ранее описанных функций должны быть использованы, и указать любые ограничения. На основе предоставленных данных ChatGPT переведет запрос на язык программирования. После этого пользователь может оценить предоставленный код и выполнить симуляцию с учетом мер предосторожности, прежде чем установить его на робота. В конце этого процесса робот будет подчиняться команде, сгенерированной ChatGPT по запросу пользователя. Пользователю не обязательно знать сложный язык программирования, чтобы общаться с роботом или дроном.

Отметим, что Microsoft — не единственный технологический титан, рассматривающий возможность использования языковых моделей в робототехнике. Google в настоящее время работает над аналогичными экспериментами на основе собственной языковой модели PaLM (Pathways Language Model).