Как с вами связаться

Введите сообщение

Как с вами связаться

Введите сообщение

Аватар сообщества СБЕРБАНК: НОВОСТИ

СБЕРБАНК: НОВОСТИ

СБЕРБАНК: последние новости сегодня

Какие перспективы открывает новая технология ускорения машинного обучения от Сбера и МФТИ?

5 074

    Ускорение распределённого обучения AI: исследование Сбербанка и МФТИ. Специалисты Центра практического искусственного интеллекта Сбербанка и исследователи из МФТИ представили исследование, которое может значительно ускорить обучение распределённых и федеративных моделей машинного обучения. Работа «Ускоренные методы со сжатыми коммуникациями для гомогенных задач распределённой оптимизации» была принята на крупную международную конференцию AAAI’25 (Association for the Advancement of Artificial Intelligence). Современные вызовы в области искусственного интеллекта (AI) требуют извлечения сложных зависимостей из больших объёмов обучающих выборок. Сегодня нейросетевые модели содержат миллиарды параметров, повышая интерес к распределённым постановкам, в которых для ускорения процесса обучения данные разделены между тысячами машин. В таком сценарии основная часть времени обучения тратится на обмен информацией между устройствами. При этом, если коммуникации организованы неэффективно, распределённый подход может оказаться даже медленнее, чем классический централизованный. Основная идея исследования — сокращение времени, которое тратится на обмен данными между устройствами в распределённых системах обучения больших AI-моделей. За счёт использования гомогенности локальных выборок и сжатия передаваемой информации метод позволяет реже синхронизировать устройства и передавать меньше данных при общении, не теряя в качестве модели. Это особенно важно для задач, где пропускная способность соединения ограничена, а задержки в передаче данных замедляют процесс обучения. Разработка найдёт применение в компаниях, использующих распределённое обучение, — от финансового сектора до телекома и промышленности. Метод сокращает затраты на вычислительные ресурсы и ускоряет внедрение AI-моделей на практике. Он открывает путь к более эффективным алгоритмам и более динамичному развитию AI-технологий. Глеб Гусев, директор Центра практического искусственного интеллекта Сбербанка: Исследование решает ключевую проблему распределённого обучения — коммуникационные издержки. Мы показали, как использовать гомогенность данных в сочетании с техниками сжатия для снижения нагрузки на сеть за счёт более редкого обмена информацией сервера с устройствами. Такой подход не только ускоряет процесс обучения больших AI-моделей, но и сокращает энергозатраты. Наша работа открывает новые возможности для масштабирования искусственного интеллекта и будет полезна организациям, которые работают с большими распределёнными системами. В будущем такие методы помогут сделать AI-технологии более доступным и эффективным. Александр Безносиков, к. ф.-м.н., доцент кафедры МОУ, директор Исследовательского центра агентных систем искусственного интеллекта МФТИ: Нашей целью было объединить современные подходы к эффективным коммуникациям — ускорение, сжатие и учёт похожести данных — в единый алгоритм с чёткими теоретическими гарантиями. Для смещённых компрессоров построен алгоритм, имеющий рекордную коммуникационную сложность за счёт правильной адаптации фреймворка компенсации ошибки к ускоренной схеме с локальными шагами. Проведенная нами эмпирическая валидация показывает, что при правильной настройке методов можно радикально сократить время обучения без потерь в точности. Это особенно важно для практического внедрения искусственного интеллекта в ограниченных по ресурсам средах, таких как сети с edge-устройствами. [Больше новостей находятся в нашем мобильном приложении MONDIARA](https://mondiara.com/) Скачайте бесплатное приложение в [App Store](https://apps.apple.com/ru/app/m-o-n-d-i-a-r-a/id6475953453) или [Google Play](https://play.google.com/store/apps/details?id=com.mondiara.app) Источник: www.sberbank.ru

    Пост взят с международного финтех-медиа ресурса

    Другие новости сообщества / СБЕРБАНК: последние новости сегодня

    EXPRESS NEWS

    • Рубио заявил, что у него был «хороший, честный разговор» с Лавровым. Также он добавил, что США готовы сыграть конструктивную роль

    • Рубио сообщил, что обсудил с Лавровым отношения между США и РФ
      Рубио сообщил, что обсудил с Лавровым отношения между США и РФ

    • Трамп считает, что Иран очень скоро будет готов к заключению сделки с США. «Каждый раз, когда они согласовывают сделку, они хотят изменить ее. Они не готовы, но очень скоро они будут готовы», — заявил американский лидер

    • Авиаперевозки пассажиров между Россией и Китаем в этом году выросли почти на 50%. Как сообщили РИА Новости в Минтрансе России, в январе-мае они превысили 900 000 человек

    • Встреча с Рубио согласована и состоится 23 июля в первой половине дня. Лавров сообщил, что он поинтересуется у Рубио о словах Трампа относительно возможности скорого урегулирования конфликта на Украине
      Встреча с Рубио согласована и состоится 23 июля в первой половине дня. Лавров сообщил, что он поинтересуется у Рубио о словах Трампа относительно возможности скорого урегулирования конфликта на Украине

    • Тегеран обращался к Вашингтону по поводу переговоров для урегулирования вооруженного конфликта, но США не считают, что Иран настроен серьезно. Об этом заявил американский госсекретарь Марко Рубио

    • Защита и обвинение по делу Мадуро предложили начать суд по существу в июне 2027 года. Об этом говорится в электронной базе суда Нью-Йорка
      Защита и обвинение по делу Мадуро предложили начать суд по существу в июне 2027 года. Об этом говорится в электронной базе суда Нью-Йорка

    • Изоляции РФ на мировой арене нет и даже не предвидится. В «двадцатке» и АТЭС спрос на встречи с Лавровым всегда огромный. Об этом заявил в интервью ТАСС посол по особым поручениям российского МИД Марат Бердыев

    • США транслируют сигнал, что хотят видеть Путина на саммите «двадцатки» в Майами. Об этом заявил в интервью ТАСС посол по особым поручениям МИД РФ. По мнению Марата Бердыева, «это не политический реверанс, а рациональная логика»

    • Затраты США на военную операцию против Ирана составляют к настоящему моменту порядка $37,5 млрд. Об этом заявил американский военный министр Пит Хегсет

    • Трамп утверждает, что Иран стремится к проведению новой встречи с США: «Они отчаянно хотят встретиться. Но пока они не будут готовы значимым образом, у нас даже нет заинтересованности в этом»

    • «Если что-то подобное произойдет, мы об этом позаботимся». США примут меры, если хуситы введут морскую блокаду Саудовской Аравии, заявил Трамп
      «Если что-то подобное произойдет, мы об этом позаботимся». США примут меры, если хуситы введут морскую блокаду Саудовской Аравии, заявил Трамп

    • США могут ввести новые пошлины на импорт из Канады из-за лесных пожаров, сообщил Трамп. Он добавил, что в американском штате Мичиган ранее из-за загрязнения воздуха была нарушена работа некоторых компаний

    • Путин продлил безвизовый въезд для граждан Китая до конца 2027 года
      Путин продлил безвизовый въезд для граждан Китая до конца 2027 года
    • Энди Бернэм вступил в должность премьера Великобритании, получив от Карла III мандат на формирование правительства, сообщает Букингемский дворец
      Энди Бернэм вступил в должность премьера Великобритании, получив от Карла III мандат на формирование правительства, сообщает Букингемский дворец
    • Король Карл III принял отставку Стармера с поста премьера Британии, сообщила королевская пресс-служба
      Король Карл III принял отставку Стармера с поста премьера Британии, сообщила королевская пресс-служба

    • Германия не делала практических шагов для возобновления диалога с Россией, заявил Песков. Он отметил, что Россия остается открытой к диалогу с Европой и никогда не была инициатором сворачивания отношений

    • Россия готова содействовать мирному урегулированию разногласий как между США и Ираном, так и между иранцами и арабами. Об этом замглавы МИД РФ Александр Алимов заявил «Известиям»
      Россия готова содействовать мирному урегулированию разногласий как между США и Ираном, так и между иранцами и арабами. Об этом замглавы МИД РФ Александр Алимов заявил «Известиям»

    • Трамп заявил о поддержке планов Бернэма по наращиванию добычи нефти в Северном море. Нефть "превратит Соединенное Королевство из нищей страны в одно из самых богатых в мире государств", отметил американский президент

    • Дональд Трамп заявил, что его совершенно не волнует приостановка властями Ирана выполнения обязательств по меморандуму о взаимопонимании с США

    • Артистов и спортсменов России ни у кого отменить не получится, заявил в интервью ТАСС американский продюсер Стивен Мао. Он убежден, что «русская культура, русское искусство и русский спорт принадлежат миру»

    • Трамп пригрозил Канаде увеличением таможенных пошлин из-за лесных пожаров, дым от которых окутал несколько крупных городов США
      Трамп пригрозил Канаде увеличением таможенных пошлин из-за лесных пожаров, дым от которых окутал несколько крупных городов США

    • Венесуэла получила доступ к собственным средствам в МВФ в размере $346 млн, которые будут направлены на ликвидацию последствий землетрясения. Об этом сообщила уполномоченный президент боливарианской республики Делси Родригес

    • Глава FIFA и Белый дом обсудят риски проведения финала чемпионата мира по футболу. Об этом сообщил корреспондент Sky News Роб Харрис. Риски связаны с дымом от лесных пожаров в районе Нью-Йорка и Нью-Джерси

    • Apple меньше суток пробыла самой дорогостоящей компанией в мире. Ее обошла Nvidia, свидетельствуют данные торгов

    • Трамп пригрозил Канаде увеличением таможенных пошлин из-за лесных пожаров, дым от которых окутал несколько крупных городов США

    • Энди Бернэм объявлен новым лидером Лейбористской партии и 20 июля займет пост премьер-министра Великобритании
      Энди Бернэм объявлен новым лидером Лейбористской партии и 20 июля займет пост премьер-министра Великобритании

    • Россия никогда не вмешивалась во внутренние дела других стран и рассчитывает, что никто не будет вмешиваться в ее, заявил Песков

    • Аналитики продолжают повышать прогнозы по STOXX 600 на конец этого года. Самые большие быки — UBS и Deutsche
      Аналитики продолжают повышать прогнозы по STOXX 600 на конец этого года. Самые большие быки — UBS и Deutsche

    • Журналист Карлсон заявил о риске народной революции в США: «Мы имеем дело с лидерами [страны], которые презирают нас, принимают нас за нечто само собой разумеющееся, которые используют нас, лгут нам, которым в действительности нет дела до нас»

    • Разведка США считала, что Меркель не хотела переизбрания Трампа в 2020 году. Об этом говорится в докладе, рассекреченном Белым домом

    • Ситуация в Мали расценивается как относительно стабильная, заявил ТАСС замминистра иностранных дел РФ Георгий Борисенко

    • Власти США выявили около 278 000 неграждан, зарегистрированных для голосования на федеральных выборах, их может быть еще больше, заявил Трамп
      Власти США выявили около 278 000 неграждан, зарегистрированных для голосования на федеральных выборах, их может быть еще больше, заявил Трамп

    • Трамп заявил, что рассекречивает данные о шокирующей уязвимости систем голосования в США. Он утверждает, что КНР в 2020 году получила несанкционированный доступ к данным 220 млн избирателей в США

    • Причиной введения пошлин США на импорт из Бразилии стали ультимативные требования о беспрепятственном доступе на внутренние рынки южноамериканской республики. Об этом заявил глава МИД Бразилии Мауро Виэйра. «Иными словами, американские власти потребовали от нас капитуляции», — добавил Виэйра

    • Трамп даст прием в честь FIFA в Нью-Йорке и будет присутствовать на финале ЧМ по футболу, заявила пресс-секретарь Белого дома Кэролайн Ливитт
      Трамп даст прием в честь FIFA в Нью-Йорке и будет присутствовать на финале ЧМ по футболу, заявила пресс-секретарь Белого дома Кэролайн Ливитт
    • Мировые акции сильно снижаются на азиатской сессии. В Азии продолжается распродажа акций техов, акции SoftBank падают на 10%, TSMC падает на 5%, несмотря на сильный отчет
      Мировые акции сильно снижаются на азиатской сессии. В Азии продолжается распродажа акций техов, акции SoftBank падают на 10%, TSMC падает на 5%, несмотря на сильный отчет

    • США и Иран продолжают обмениваться ударами. Трамп в обращении к нации заявил, что США скоро начнут получать выгоду от конфликта с Ираном так же, как они уже получают выгоду от Венесуэлы

    • В Нидерландах официально объявили о дефиците воды из-за жары и засухи. Ранее сообщалось, что ЕС разработал план, предусматривающий сокращение странами-членами потребления воды на 10% к 2030 году

    • Nvidia заключила много партнерств в Японии
      Nvidia заключила много партнерств в Японии

    Вы уверены, что хотите выйти из аккаунта?