Какие перспективы открывает новая технология ускорения машинного обучения от Сбера и МФТИ?
Ускорение распределённого обучения AI: исследование Сбербанка и МФТИ. Специалисты Центра практического искусственного интеллекта Сбербанка и исследователи из МФТИ представили исследование, которое может значительно ускорить обучение распределённых и федеративных моделей машинного обучения. Работа «Ускоренные методы со сжатыми коммуникациями для гомогенных задач распределённой оптимизации» была принята на крупную международную конференцию AAAI’25 (Association for the Advancement of Artificial Intelligence). Современные вызовы в области искусственного интеллекта (AI) требуют извлечения сложных зависимостей из больших объёмов обучающих выборок. Сегодня нейросетевые модели содержат миллиарды параметров, повышая интерес к распределённым постановкам, в которых для ускорения процесса обучения данные разделены между тысячами машин. В таком сценарии основная часть времени обучения тратится на обмен информацией между устройствами. При этом, если коммуникации организованы неэффективно, распределённый подход может оказаться даже медленнее, чем классический централизованный. Основная идея исследования — сокращение времени, которое тратится на обмен данными между устройствами в распределённых системах обучения больших AI-моделей. За счёт использования гомогенности локальных выборок и сжатия передаваемой информации метод позволяет реже синхронизировать устройства и передавать меньше данных при общении, не теряя в качестве модели. Это особенно важно для задач, где пропускная способность соединения ограничена, а задержки в передаче данных замедляют процесс обучения. Разработка найдёт применение в компаниях, использующих распределённое обучение, — от финансового сектора до телекома и промышленности. Метод сокращает затраты на вычислительные ресурсы и ускоряет внедрение AI-моделей на практике. Он открывает путь к более эффективным алгоритмам и более динамичному развитию AI-технологий. Глеб Гусев, директор Центра практического искусственного интеллекта Сбербанка: Исследование решает ключевую проблему распределённого обучения — коммуникационные издержки. Мы показали, как использовать гомогенность данных в сочетании с техниками сжатия для снижения нагрузки на сеть за счёт более редкого обмена информацией сервера с устройствами. Такой подход не только ускоряет процесс обучения больших AI-моделей, но и сокращает энергозатраты. Наша работа открывает новые возможности для масштабирования искусственного интеллекта и будет полезна организациям, которые работают с большими распределёнными системами. В будущем такие методы помогут сделать AI-технологии более доступным и эффективным. Александр Безносиков, к. ф.-м.н., доцент кафедры МОУ, директор Исследовательского центра агентных систем искусственного интеллекта МФТИ: Нашей целью было объединить современные подходы к эффективным коммуникациям — ускорение, сжатие и учёт похожести данных — в единый алгоритм с чёткими теоретическими гарантиями. Для смещённых компрессоров построен алгоритм, имеющий рекордную коммуникационную сложность за счёт правильной адаптации фреймворка компенсации ошибки к ускоренной схеме с локальными шагами. Проведенная нами эмпирическая валидация показывает, что при правильной настройке методов можно радикально сократить время обучения без потерь в точности. Это особенно важно для практического внедрения искусственного интеллекта в ограниченных по ресурсам средах, таких как сети с edge-устройствами. [Больше новостей находятся в нашем мобильном приложении MONDIARA](https://mondiara.com/) Скачайте бесплатное приложение в [App Store](https://apps.apple.com/ru/app/m-o-n-d-i-a-r-a/id6475953453) или [Google Play](https://play.google.com/store/apps/details?id=com.mondiara.app) Источник: www.sberbank.ru
Пост взят с международного финтех-медиа ресурса
ДЛЯ ЛЮДЕЙ