Alibaba учит ИИ «видеть» экран: представлен агент для GUI‑взаимодействия
Компания Alibaba выпустила Qwen-UI-Agent: инструмент, позволяющий моделям действительно использовать каждый экран 20 августа компания Alibaba Qwen выпустила Qwen-UI-Agent, базовую модель агента графического интерфейса пользователя (GUI), охватывающую телефоны, настольные компьютеры, веб-браузеры и глубокий поиск. Ее основная идея проста: понимать интерфейс, имитировать щелчки, ввод и жесты человека и выполнять задачи. Большинство программ никогда не планировали открывать API, поэтому графический интерфейс пользователя является наиболее широко распространенным универсальным способом взаимодействия. Qwen-UI-Agent делает ставку на то, что экран рассматривается как самый большой интерфейс, универсальный исполнитель с одной моделью, охватывающей четыре среды. Источник: Pandaily
Пост взят с международного финтех-медиа ресурса
ДЛЯ ЛЮДЕЙ