Как MTS AI сэкономила более 1 млрд рублей?
MTS AI сэкономила более 1 млрд руб. на инфраструктуре благодаря облачному обучению моделей. MTS AI, подразделение МТС, специализирующееся на искусственном интеллекте, сообщило о значительном успехе в оптимизации затрат и ускорении разработки продуктов. Компания перенесла процесс обучения и инференса моделей ИИ, включая большие языковые модели (LLM), в облачную инфраструктуру MTS Web Services (MWS). Это решение позволило сэкономить более 1 млрд руб., которые ранее пришлось бы вложить в закупку собственной вычислительной инфраструктуры. MTS AI разрабатывает решения на базе генеративного ИИ, обработки естественного языка и компьютерного зрения, включая сервисы для речевой аналитики (WordPluse), синтеза и распознавания речи (Audiogram), а также платформу для автодополнения кода (Kodify). Все эти сервисы основаны на обучении машинных моделей, которые обрабатывают огромные объемы данных. Для этого используются GPU, однако создание собственной инфраструктуры потребовало бы значительных вложений. В результате MTS AI приняла решение перенести обучение моделей в облако. С помощью мощностей MWS компания использует виртуальные серверы с GPU для деплоя и предобучения моделей, что позволяет сократить затраты и ускорить запуск продуктов. В случае сложных задач, таких как обучение LLM, для их дообучения применяется суперкомпьютер MWS — МТС GROM, что в десятки раз ускоряет этот процесс. Работа с моделями в облаке состоит из трех этапов: деплой и предобучение, глубокое обучение на суперкомпьютере и инференс в облаке. Такая модель работы позволяет MTS AI использовать вычислительные ресурсы, соответствующие текущим потребностям, без значительных инвестиций в оборудование, что особенно актуально для задач с требовательными вычислительными ресурсами, таких как обучение LLM. «Переезд в облако позволяет нам избежать огромных инвестиций в инфраструктуру и ускорить запуск новых продуктов, так как отпадает необходимость в закупке и установке оборудования», — отметил Сергей Пономаренко, директор по LLM-продуктам MTS AI. Источник: www.cnews.ru
Пост взят с международного финтех-медиа ресурса
ДЛЯ ЛЮДЕЙ