Как с вами связаться

Введите сообщение

Войти

Как с вами связаться

Введите сообщение

Войти
Аватар сообщества ALIBABA [новости]

ALIBABA [новости]

НОВОСТИ АКЦИЙ КНР

Как Alibaba сократила потребность в GPU Nvidia на 82%?

2 513
Как Alibaba сократила потребность в GPU Nvidia на 82%?

Alibaba Cloud объявила о сокращении использования графических процессоров Nvidia на 82%, внедряя новую систему объединения ресурсов Компания Alibaba Group Holding представила инновационное решение для оптимизации вычислений, которое значительно сократило потребность в графических процессорах Nvidia для работы с моделями искусственного интеллекта. Система Aegaeon, разработанная в рамках сотрудничества Alibaba Cloud и Пекинского университета, успешно прошла бета-тестирование. Она уменьшила количество необходимых графических процессоров Nvidia H20 для обслуживания моделей с 72 миллиардами параметров с 1192 до 213. Об этом стало известно на 31-м симпозиуме по принципам операционных систем (SOSP) в Сеуле, Южная Корея. Исследователи отмечают, что Aegaeon — первая система, выявившая чрезмерные затраты на обслуживание параллельных рабочих нагрузок больших языковых моделей (LLM). Alibaba Cloud, подразделение Alibaba, базирующееся в Ханчжоу, специализируется на искусственном интеллекте и облачных сервисах. Главный технический директор компании, Чжоу Цзинжэнь, является одним из авторов статьи. Крупные поставщики облачных услуг, такие как Alibaba Cloud и Volcano Engine от ByteDance, обслуживают тысячи моделей ИИ одновременно. Однако только несколько моделей, таких как Qwen и DeepSeek от Alibaba, используются активно, в то время как большинство остаются невостребованными. Это приводит к неэффективному использованию ресурсов. Исследователи обнаружили, что 17,7% графических процессоров заняты обслуживанием всего 1,35% запросов на платформе Alibaba Cloud. Для повышения эффективности многие компании пытаются объединить мощности графических процессоров, позволяя одному устройству обслуживать несколько моделей. В рамках проекта Aegaeon исследователи разработали систему автоматического масштабирования на уровне токенов. Это позволяет графическому процессору переключаться между различными моделями в процессе генерации данных. Результаты впечатляют: один графический процессор может поддерживать до семи моделей, что значительно больше, чем в альтернативных системах. Кроме того, система сократила задержку при переключении между моделями на 97%. Alibaba Cloud уже внедрила решение Aegaeon на своей торговой площадке Bailian, обслуживающей корпоративные модели Qwen. Графический процессор H20 от Nvidia, разработанный специально для китайского рынка, стал объектом расследования китайских регулирующих органов из-за возможных рисков безопасности. В ответ на это крупные китайские компании, такие как Huawei Technologies и Cambricon Technologies, активно разрабатывают собственные графические процессоры. Ранее основатель и генеральный директор Nvidia Дженсен Хуан заявил о падении позиций компании на китайском рынке передовых чипов до «нуля». Пост взят с соцсети [M O N D I A R A](https://i.mondiara.com/) 👉 вот ссылка на канал: https://i.mondiara.com/i/c/alibaba_news Скачать в [App Store](https://apps.apple.com/ru/app/m-o-n-d-i-a-r-a/id6475953453) Скачать в [Google Play](https://play.google.com/store/apps/details?id=com.mondiara.app) Валюта расчёта - Ваши добрые мысли! Спасибо, что с нами! Источник: www.finance.yahoo.com

Войти

Войдите, чтобы оставлять комментарии

Аватар пользователя 'АДМИНИСТРАТОР'

АДМИНИСТРАТОР

1.jpg
Аватар пользователя 'АДМИНИСТРАТОР'

АДМИНИСТРАТОР

2.jpg

Другие новости сообщества / НОВОСТИ АКЦИЙ КНР

Вы уверены, что хотите выйти из аккаунта?