Как с вами связаться

Введите сообщение

Как с вами связаться

Введите сообщение

Аватар сообщества NVIDIA: НОВОСТИ

NVIDIA: НОВОСТИ

АКЦИЙ США - последние новости на сегодня - MONDIARA

Новости компании NVIDIA: программное обеспечение

5 521

    Библиотека NVIDIA Dynamo с открытым исходным кодом помогает ускорить и масштабировать модели искусственного интеллекта. Сегодня компания NVIDIA представила NVIDIA Dynamo — программное обеспечение с открытым исходным кодом, которое позволяет ускорить и масштабировать работу моделей искусственного интеллекта (ИИ) на фабриках ИИ с минимальными затратами и максимальной эффективностью. Для эффективной работы фабрик ИИ необходимо организовать и координировать запросы на вывод ИИ через большое количество графических процессоров. Это позволит снизить затраты и максимизировать доход от токенов. По мере того как рассуждения ИИ становятся всё более популярными, каждая модель ИИ будет генерировать большое количество токенов, которые используются для «думания» при каждом запросе. Повышение производительности вывода при снижении стоимости вывода ускоряет рост и увеличивает возможности получения дохода для поставщиков услуг. NVIDIA Dynamo — это программное обеспечение для обслуживания выводов ИИ, разработанное для максимизации генерации токенов на фабриках ИИ, которые используют модели рассуждений ИИ. Оно организует и ускоряет коммуникацию между тысячами графических процессоров и использует дезагрегированное обслуживание для разделения фаз обработки и генерации больших языковых моделей (LLM) на разных графических процессорах. Это позволяет оптимизировать каждую фазу независимо для её конкретных потребностей и обеспечивает максимальное использование ресурсов графического процессора. «В разных отраслях по всему миру модели ИИ обучают по-разному, что делает их более сложными с течением времени», — сказал Дженсен Хуанг, основатель и генеральный директор NVIDIA. «Чтобы обеспечить будущее ИИ с индивидуальными рассуждениями, NVIDIA Dynamo помогает обслуживать эти модели в масштабе, обеспечивая экономию средств и эффективность на фабриках ИИ». Используя то же количество графических процессоров, Dynamo удваивает производительность и доход фабрик искусственного интеллекта, обслуживающих модели Llama на современной платформе NVIDIA Hopper™. При запуске модели DeepSeek-R1 на большом кластере стоек GB200 NVL72 интеллектуальные оптимизации вывода NVIDIA Dynamo также увеличивают количество генерируемых токенов более чем в 30 раз на каждый графический процессор. Для достижения этих улучшений производительности вывода NVIDIA Dynamo включает функции, которые позволяют ему увеличивать пропускную способность и сокращать расходы. Он может динамически добавлять, удалять и перераспределять графические процессоры в ответ на меняющиеся объёмы и типы запросов, а также определять конкретные графические процессоры в больших кластерах, которые могут минимизировать вычисления ответов и маршрутизировать запросы. Он также может выгружать данные вывода в более доступные устройства памяти и хранения и быстро извлекать их при необходимости, минимизируя расходы на вывод. NVIDIA Dynamo — это программное обеспечение с открытым исходным кодом, которое поддерживает PyTorch, SGLang, NVIDIA TensorRT™-LLM и vLLM. Это позволяет предприятиям, стартапам и исследователям разрабатывать и оптимизировать способы обслуживания моделей ИИ в рамках дезагрегированного вывода. Это позволит пользователям ускорить принятие вывода ИИ, в том числе в AWS, Cohere, CoreWeave, Dell, Fireworks, Google Cloud, Lambda, Meta, Microsoft Azure, Nebius, NetApp, OCI, Perplexity, Together AI и VAST.

    Пост взят с международного финтех-медиа ресурса

    Другие новости сообщества / АКЦИЙ США - последние новости на сегодня - MONDIARA

    EXPRESS NEWS

    • В Нидерландах официально объявили о дефиците воды из-за жары и засухи. Ранее сообщалось, что ЕС разработал план, предусматривающий сокращение странами-членами потребления воды на 10% к 2030 году

    • Nvidia заключила много партнерств в Японии
      Nvidia заключила много партнерств в Японии
    • Уорш пообещал Конгрессу, что инфляция в США не останется высокой
      Уорш пообещал Конгрессу, что инфляция в США не останется высокой
    • В некоторых районах Тегерана заработали системы ПВО, сообщает агентство Mehr

    • Трамп заявил, что Иран в качестве «жеста доброй воли» позволил гражданке США, задержанной в 2024 году, покинуть республику. Президент США написал в соцсети Truth Social, что она была «неправомерно задержана в декабре 2024 года» во время президентского срока Джо Байдена

    • Ормузский пролив останется закрытым до тех пор, пока не будет учтена воля Ирана, заявил представитель Вооруженных сил Ирана Мохаммад Акраминия

    • США нанесли удар по пустому танкеру, идущему в иранский порт, сообщает СЕНТКОМ

    • Трамп считает, что цены на нефть после конфликта с Ираном опустятся до $55 за баррель. При этом он выразил мнение, что «Ирану скоро будет нанесено поражение»

    • Вэнс заявил, что Израиль не шантажирует Трампа, в том числе по вопросу Ирана
      Вэнс заявил, что Израиль не шантажирует Трампа, в том числе по вопросу Ирана

    • США начали вторую за день волну ударов по Ирану, сообщает СЕНТКОМ

    • Трамп в контексте возможного расширения масштаба ударов по Ирану заявил, что не любит ставить крайних сроков
      Трамп в контексте возможного расширения масштаба ударов по Ирану заявил, что не любит ставить крайних сроков

    • Израиль выведет войска из шести населенных пунктов на юге Ливана, сообщил телеканал Al Jadeed. Населенные пункты расположены на территории района, в котором после ухода израильских сил будут размещены подразделения ливанской армии.

    • VK продает RuStore. Покупатель – гендиректор компании-разработчика магазина приложений Дмитрий Панкрушев
      VK продает RuStore. Покупатель – гендиректор компании-разработчика магазина приложений Дмитрий Панкрушев

    • Американский бизнес за четыре года потерял $200 млрд из-за санкций против России. Об этом РИА Новости заявил главный исполнительный директор Американской торговой палаты в России Роберт Эйджи

    • Глава МИД Лавров: Россия прочно удерживает лидирующие позиции по поставкам нефти и газа в Китай, которые, невзирая на геополитическую турбулентность, неизменно стабильны, надежны и предсказуемы

    • Нефтяные супертанкеры все чаще подвергаются нападениям в Ормузском проливе — Bloomberg.

    • Греция заблокировала 21-й пакет санкций ЕС из-за угрозы ее судоходному бизнесу, — FT

    • CBS: Трамп недоволен действиями Хегсета в операции против Ирана

    • Недовольство Трампа растет все больше, поскольку военная операция против Ирана затянулась на более долгий срок и усложнилась сильнее, чем предполагалось, — CBS

    • США изучают возможность воздушного нападения на Кубу — CBS

    • Иран при помощи хуситов готовится к перекрытию Баб-эль-Мандебского пролива, чтобы открыть новый стратегический фронт против США и их союзников, — иранские СМИ

    • ЕС отложит пересмотр потолка цен на российскую нефть до 23 июля — RTRS.

    • Переговоры между США, Израилем и Ливаном завершились после двух дней плодотворных и позитивных дискуссий в Риме, сообщает Axios

    • США начинают чеканку золотой монеты $1 с изображением Трампа
      США начинают чеканку золотой монеты $1 с изображением Трампа

    • В Японии официально принят закон, признающий криптовалюту «финансовыми активами»

    • На Кубе произошёл третий за две недели блэкаут, ранее Рубио пригрозил властям Кубы последствиями в случае отказа от реформ, требуемых Америкой.

    • Нетаньяху посетит США 18 июля

    • КСИР пригрозил закрыть «все остальные экспортные коридоры, выгодные для США и их союзников» — IRNA

    • КСИР: Ормузский пролив останется закрытым до прекращения атак США

    • Россия и Индия подпишут меморандум о сотрудничестве в сфере грузоперевозок по Севморпути (СМП)

    • После вчерашних данных по инфляции за июнь в США оценка игроками вероятности повышения ставки в июле рухнула с 40% до 16% — CME FedWatch

    • Трамп не исключил, что в определенный момент может отдать приказ нанести удары по нефтяным объектам на иранском острове Харк, но уточнил, что считает такое развитие событий маловероятным

    • Трамп не считает приоритетной задачей принятие дорабатываемого в Конгрессе США законопроекта об ужесточении санкций в отношении России, сообщила газета The New York Times со ссылкой на источник

    • Трамп считает, что можно найти «отличные альтернативы» Ормузскому проливу в плане маршрутов доставки нефти на мировые рынки
      Трамп считает, что можно найти «отличные альтернативы» Ормузскому проливу в плане маршрутов доставки нефти на мировые рынки

    • Кремль не приемлет обвинений ЕС в кибератаках, РФ на протяжении многих лет голословно обвиняют в том, к чему она не причастна, заявил Песков

    • Трамп утверждает, что иранский потенциал по производству вооружений был уничтожен на 84%
      Трамп утверждает, что иранский потенциал по производству вооружений был уничтожен на 84%
    • Трамп 16 июля выступит с речью об иностранном вмешательстве в выборы в США 2020 года. Об этом сообщил журналист телеканала MS Now Джейк Трейлор
      Трамп 16 июля выступит с речью об иностранном вмешательстве в выборы в США 2020 года. Об этом сообщил журналист телеканала MS Now Джейк Трейлор

    • Трамп направил в Конгресс уведомление о возобновлении боевых действий против Ирана, сообщает NYT. В нем он написал, что США нанесли «оборонительные удары по целям в Иране» 7 июля

    • Следующую попытку согласовать 21-й пакет санкций против России послы ЕС предпримут 15 июля, когда истекает срок действия так называемого потолка цен на нефть из России. Об этом заявила Кая Каллас

    • «Мы должны согласиться на короткую боль ради долгосрочного выигрыша». Каллас признала, что санкции против РФ причиняют боль экономике ЕС, но призвала потерпеть

    Вы уверены, что хотите выйти из аккаунта?