Теперь экземпляры AWS Trainium2 доступны всем желающим
Теперь экземпляры AWS Trainium2 доступны всем желающим. На выставке AWS re:Invent компания Amazon Web Services, Inc. (AWS), которая является частью Amazon.com, Inc. (NASDAQ: AMZN), объявила о доступности экземпляров Amazon Elastic Compute Cloud (Amazon EC2) на базе AWS Trainium2. Также были представлены новые серверы Trn2 UltraServer, которые позволяют клиентам обучать и развёртывать передовые модели искусственного интеллекта, а также будущие большие языковые модели (LLM) и базовые модели (FM) с исключительной производительностью и экономической эффективностью. Кроме того, были представлены чипы Trainium3 следующего поколения. Экземпляры Trn2 обеспечивают более эффективное соотношение цены и производительности по сравнению с текущими экземплярами EC2 P5e и P5en на базе графических процессоров. Они оснащены 16 чипами Trainium2, которые обеспечивают пиковую производительность вычислений в 20,8 петафлопс, что делает их идеальным выбором для обучения и развёртывания LLM с миллиардами параметров. Amazon EC2 Trn2 UltraServers — это совершенно новое предложение EC2, которое включает 64 взаимосвязанных чипа Trainium2 и сверхбыстрое межсоединение NeuronLink для масштабирования до пиковой мощности вычислений 83,2 петафлопс. Это в четыре раза увеличивает вычислительную мощность, память и сетевые возможности одного экземпляра, позволяя обучать и развёртывать самые большие модели в мире. Совместно с Anthropic компания AWS создаёт EC2 UltraCluster из Trn2 UltraServers под названием Project Rainier, который содержит сотни тысяч чипов Trainium2 и обеспечивает производительность, в пять раз превышающую количество экзафлопс, используемое для обучения текущих ведущих моделей искусственного интеллекта. AWS представила Trainium3 — свой чип искусственного интеллекта нового поколения, который позволит клиентам быстрее создавать более крупные модели и обеспечивать превосходную производительность в реальном времени при их развёртывании. «Trainium2 специально разработан для поддержки самых крупных и самых современных генеративных рабочих нагрузок искусственного интеллекта, как для обучения, так и для вывода, а также для обеспечения наилучшего соотношения цены и производительности на AWS», — сказал Дэвид Браун, вице-президент по вычислениям и сетевым технологиям в AWS. «Поскольку модели приближаются к триллионам параметров, мы понимаем, что клиентам также нужен новый подход к обучению и запуску этих огромных рабочих нагрузок. Новые Trn2 UltraServers предлагают самую быструю производительность обучения и вывода на AWS и помогают организациям всех размеров обучать и развёртывать самые большие в мире модели быстрее и с меньшими затратами». По мере увеличения размера моделей они выходят за пределы возможностей вычислительной и сетевой инфраструктуры, поскольку клиенты стремятся сократить время обучения и задержку вывода — время между получением системой ИИ входных данных и генерацией соответствующих выходных данных. AWS уже предлагает широкий и глубокий выбор ускоренных экземпляров EC2 для ИИ/МО, включая те, которые работают на графических процессорах и чипах МО. Но даже с самыми быстрыми ускоренными экземплярами, доступными сегодня, клиенты хотят большей производительности и масштабирования, чтобы обучать эти всё более сложные модели быстрее и с меньшими затратами. По мере роста сложности модели и объёмов данных простое увеличение размера кластера не обеспечивает более быстрого времени обучения из-за ограничений параллелизации. В то же время требования вывода в реальном времени выводят архитектуры с одним экземпляром за пределы их возможностей. Источник: www.businesswire.com
Пост взят с международного финтех-медиа ресурса
ДЛЯ ЛЮДЕЙ