Как с вами связаться

Введите сообщение

Как с вами связаться

Введите сообщение

Аватар сообщества ALIBABA: НОВОСТИ

ALIBABA: НОВОСТИ

АКЦИЙ КНР - последние новости на сегодня - MONDIARA

Как Alibaba сократила потребность в GPU Nvidia на 82%?

2 525

    Alibaba Cloud объявила о сокращении использования графических процессоров Nvidia на 82%, внедряя новую систему объединения ресурсов Компания Alibaba Group Holding представила инновационное решение для оптимизации вычислений, которое значительно сократило потребность в графических процессорах Nvidia для работы с моделями искусственного интеллекта. Система Aegaeon, разработанная в рамках сотрудничества Alibaba Cloud и Пекинского университета, успешно прошла бета-тестирование. Она уменьшила количество необходимых графических процессоров Nvidia H20 для обслуживания моделей с 72 миллиардами параметров с 1192 до 213. Об этом стало известно на 31-м симпозиуме по принципам операционных систем (SOSP) в Сеуле, Южная Корея. Исследователи отмечают, что Aegaeon — первая система, выявившая чрезмерные затраты на обслуживание параллельных рабочих нагрузок больших языковых моделей (LLM). Alibaba Cloud, подразделение Alibaba, базирующееся в Ханчжоу, специализируется на искусственном интеллекте и облачных сервисах. Главный технический директор компании, Чжоу Цзинжэнь, является одним из авторов статьи. Крупные поставщики облачных услуг, такие как Alibaba Cloud и Volcano Engine от ByteDance, обслуживают тысячи моделей ИИ одновременно. Однако только несколько моделей, таких как Qwen и DeepSeek от Alibaba, используются активно, в то время как большинство остаются невостребованными. Это приводит к неэффективному использованию ресурсов. Исследователи обнаружили, что 17,7% графических процессоров заняты обслуживанием всего 1,35% запросов на платформе Alibaba Cloud. Для повышения эффективности многие компании пытаются объединить мощности графических процессоров, позволяя одному устройству обслуживать несколько моделей. В рамках проекта Aegaeon исследователи разработали систему автоматического масштабирования на уровне токенов. Это позволяет графическому процессору переключаться между различными моделями в процессе генерации данных. Результаты впечатляют: один графический процессор может поддерживать до семи моделей, что значительно больше, чем в альтернативных системах. Кроме того, система сократила задержку при переключении между моделями на 97%. Alibaba Cloud уже внедрила решение Aegaeon на своей торговой площадке Bailian, обслуживающей корпоративные модели Qwen. Графический процессор H20 от Nvidia, разработанный специально для китайского рынка, стал объектом расследования китайских регулирующих органов из-за возможных рисков безопасности. В ответ на это крупные китайские компании, такие как Huawei Technologies и Cambricon Technologies, активно разрабатывают собственные графические процессоры. Ранее основатель и генеральный директор Nvidia Дженсен Хуан заявил о падении позиций компании на китайском рынке передовых чипов до «нуля». Пост взят с соцсети [M O N D I A R A](https://i.mondiara.com/) 👉 вот ссылка на канал: https://i.mondiara.com/i/c/alibaba_news Скачать в [App Store](https://apps.apple.com/ru/app/m-o-n-d-i-a-r-a/id6475953453) Скачать в [Google Play](https://play.google.com/store/apps/details?id=com.mondiara.app) Валюта расчёта - Ваши добрые мысли! Спасибо, что с нами! Источник: www.finance.yahoo.com

    Пост взят с международного финтех-медиа ресурса

    Другие новости сообщества / АКЦИЙ КНР - последние новости на сегодня - MONDIARA

    EXPRESS NEWS

    • Экс-председатель Верховного суда Венгрии Андраш Бака принял предложение занять пост президента страны, заявил Мадьяр

    • Уиткофф и Кушнер могут посетить Москву на следующей неделе, сообщает источник ТАСС
      Уиткофф и Кушнер могут посетить Москву на следующей неделе, сообщает источник ТАСС

    • Абелардо де ла Эсприэлья вступил в должность президента Колумбии, церемония инаугурации транслировалась в эфире телеканала Caracol

    • Пашинян заявил, что Армения понимает, что одновременное членство в ЕАЭС и ЕС невозможно
      Пашинян заявил, что Армения понимает, что одновременное членство в ЕАЭС и ЕС невозможно

    • «Нам всегда нужно больше». Трамп допустил, что ВС США необходимо пополнить запасы вооружений

    • Трамп допустил, что военная операция США против Ирана вскоре будет завершена
      Трамп допустил, что военная операция США против Ирана вскоре будет завершена

    • Глава дипслужбы Ватикана монсеньор Галлахер планирует в конце августа посетить Москву, сообщил ТАСС ватиканский источник

    • «Достается победителю». Трамп назвал венесуэльскую нефть трофеем США. По словам американского лидера, во время операции в Каракасе США действовали «по-старинке», получив за счет венесуэльской нефти «во много раз больше, чем потратили»
      «Достается победителю». Трамп назвал венесуэльскую нефть трофеем США. По словам американского лидера, во время операции в Каракасе США действовали «по-старинке», получив за счет венесуэльской нефти «во много раз больше, чем потратили»

    • Трамп считает, что глава Пентагона Хегсет ввел его в заблуждение относительно запасов вооружений США, истощенных в войне против Ирана. Об этом сообщила The Washington Post со ссылкой на источники в американской администрации

    • Трамп заявил, что США продолжают консультации с Ираном и рассчитывают на достижение договоренностей

    • Трамп заявил, что США и Иран провели «очень хороший» день переговоров. Он считает, что их результат может стать известен в течение 48 часов
      Трамп заявил, что США и Иран провели «очень хороший» день переговоров. Он считает, что их результат может стать известен в течение 48 часов
    • Израиль не уйдет из сектора Газа до полного разоружения ХАМАС, заявил Нетаньяху
      Израиль не уйдет из сектора Газа до полного разоружения ХАМАС, заявил Нетаньяху

    • Мигранты из Марокко продвигаются вглубь ЕС, чтобы поблагодарить фон дер Ляйен за ее политику, благоприятствующую иммиграции. Об этом написал в X Дмитриев

    • Владимир Путин подписал закон о регулировании цифровых валют и цифровых прав
      Владимир Путин подписал закон о регулировании цифровых валют и цифровых прав

    • Нелегальная миграция и энергетика убивают Европу, заявил Трамп

    • Глава МИД России Сергей Лавров возглавит делегацию РФ на сессии Генассамблеи ООН в Нью-Йорке
      Глава МИД России Сергей Лавров возглавит делегацию РФ на сессии Генассамблеи ООН в Нью-Йорке

    • Сурен Папикян переназначен на должность министра обороны Армении, следует из указа президента

    • США сохраняют готовность к «невиданным» ударам по Ирану, заявил Хегсет
      США сохраняют готовность к «невиданным» ударам по Ирану, заявил Хегсет

    • Трамп заявил, что отменил удар по Ирану по просьбе Катара, ОАЭ и Саудовской Аравии, а также самой исламской республики

    • Переговоры между Ираном и Оманом об обеспечении судоходства в Ормузском проливе находятся на завершающей стадии, сообщил Арагчи
      Переговоры между Ираном и Оманом об обеспечении судоходства в Ормузском проливе находятся на завершающей стадии, сообщил Арагчи

    • Премьер Молдавии Тофан заявил, что покинет пост в 2029 году и после уйдет из политики: «Я не политик и не собираюсь становиться политиком»

    • Пашинян подписал решение об отставке действующего правительства. Документ будет отправлен на подпись президенту страны Ваагну Хачатуряну

    • Трамп заявил, что согласился отменить запланированный мощный удар по Ирану ради достижения договоренностей
      Трамп заявил, что согласился отменить запланированный мощный удар по Ирану ради достижения договоренностей

    • UEFA проголосует за отстранение Джанни Инфантино от должности президента FIFA, если он откажется уйти в отставку сам. Об этом сообщает The Telegraph

    • Джанни Инфантино вскоре может покинуть пост президента FIFA, сообщил журналист Ромен Молина. По информации источника, Инфантино потерял поддержку чиновников FIFA и контроль над организацией
      Джанни Инфантино вскоре может покинуть пост президента FIFA, сообщил журналист Ромен Молина. По информации источника, Инфантино потерял поддержку чиновников FIFA и контроль над организацией

    • США планируют пока продолжать наносить удары по Ирану, заявил Трамп. «Мы очень жестко будем наносить по ним удары», — сказал он на заседании президентского кабинета

    • Число погибших из-за землетрясения в Японии выросло до 28 человек
      Число погибших из-за землетрясения в Японии выросло до 28 человек

    • «В этом составе мы встречаемся в последний раз». Пашинян поблагодарил правительство Армении, которое провело последнее заседание перед отставкой

    • Россия стала обладателем пяти комплектов медалей на Играх ООН, в том числе завоевала золото в волейболе и серебро в футболе, передает корреспондент ТАСС

    • Нетаньяху на встрече с Трампом выразил сомнения относительно возможности заключения сделки с Ираном. Об этом сообщил со ссылкой на источники портал Axios
      Нетаньяху на встрече с Трампом выразил сомнения относительно возможности заключения сделки с Ираном. Об этом сообщил со ссылкой на источники портал Axios

    • Экс-президент Аргентины Кристина Фернандес де Киршнер, отбывающая наказание по делу о коррупции, сообщила, что обратилась с жалобой на свой приговор в Комитет по правам человека ООН

    • США намерены вновь нанести серьезные удары по Ирану, но выясняют, возможна ли договоренность, заявил Трамп
      США намерены вновь нанести серьезные удары по Ирану, но выясняют, возможна ли договоренность, заявил Трамп

    • Референдум по части вступления в ЕС может быть организован лишь тогда, когда шаги по членству Армении в сообщество станут более предметными. Об этом заявил Пашинян

    • Президент РФ принял отставку главы Удмуртии Александра Бречалова по собственному желанию, назначил врио главы Ольгу Абрамову
      Президент РФ принял отставку главы Удмуртии Александра Бречалова по собственному желанию, назначил врио главы Ольгу Абрамову

    • Трамп заявил Fox News, что США нанесут сильные удары по Ирану в ответ на обстрел американских военных в Иордании

    • Пашинян назвал свой первый телефонный разговор с Путиным после выборов в Армении удачным
      Пашинян назвал свой первый телефонный разговор с Путиным после выборов в Армении удачным

    • «Никто не имеет права продавать нашу игру». Экс-президент FIFA Йозеф Блаттер заявил, что близкие отношения Трампа и Инфантино вредят мировому футболу. Об этом он написал на своей странице в «Х»

    • По меньшей мере 13 человек могли стать жертвами землетрясения в Японии, заявила премьер-министр страны Санаэ Такаити
      По меньшей мере 13 человек могли стать жертвами землетрясения в Японии, заявила премьер-министр страны Санаэ Такаити

    • Сенат Конгресса США утвердил Джея Клейтона на должность директора американской Нацразведки. Голосование продолжается, но кандидатуру поддержали уже более 50 сенаторов. Этого достаточно для утверждения Клейтона

    • Визит в Россию Уиткоффа и Кушнера может состояться в ближайшие две недели, но определенности сейчас нет, сообщил источник ТАСС
      Визит в Россию Уиткоффа и Кушнера может состояться в ближайшие две недели, но определенности сейчас нет, сообщил источник ТАСС

    Вы уверены, что хотите выйти из аккаунта?