Как с вами связаться

Введите сообщение

Как с вами связаться

Введите сообщение

Аватар сообщества СБЕРБАНК: НОВОСТИ

СБЕРБАНК: НОВОСТИ

СБЕРБАНК: последние новости сегодня

Крупные языковые модели можно улучшить на 15%, не ухудшая их качество.

6
Крупные языковые модели можно улучшить на 15%, не ухудшая их качество.

Новость: положительная. Большие языковые модели можно оптимизировать до 15% без потери качества. Учёные Сбера, лаборатории Fusion Brain Института AIRI и Сколтеха обнаружили принципиально новое свойство больших языковых моделей и научились контролировать его. Это позволит оптимизировать модели-трансформеры на 10–15% без потери в качестве, экономя вычислительные мощности. Модели с трансформерной архитектурой лежат в основе диалоговых ботов. В таких моделях множество слоёв: от входа (например, запроса «Нарисуй кота») информация доходит до выхода и преобразуется в картинку. Принято считать, что линейность слоёв –– свойство самых слабых моделей, а нелинейность — сильных, то есть тех же самых трансформеров. Линейность обеспечивает простоту и эффективность в вычислениях, но при этом модель не может решать сложные задачи, такие как выучивать необычные закономерности в данных. Исследователи изучили устройство 20 известных open source языковых моделей по типу декодера и выяснили, что между эмбеддингами (числовые представления данных) есть высокая линейная зависимость. Соответственно, при переходе от слоя к слою информация не претерпевает нелинейных преобразований, и сложную архитектуру трансформера можно заменить намного более лёгкими слоями нейросети. Чтобы избежать проявления негативных свойств линейности во время предобучения и улучшить метрики качества модели, специалисты разработали специальный регуляризатор. Это позволило заменить сложные блоки слоёв модели на более простые. В ходе экспериментов выяснилось, что облегчать без потери качества можно от 10 до 15% слоёв. Андрей Белевцев, старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка: Одним из вызовов развития AI-технологий, в особенности больших языковых моделей (представителей ветки GenAI), остаётся потребность в вычислительных ресурсах для обучения следующего поколения SOTA-моделей. В основе большинства архитектур GenAI лежат блоки трансформеров, и в опубликованной работе выявлена линейность в некоторых представлениях данных внутри этих блоков. Как следствие, это позволяет существенно оптимизировать архитектуры с точки зрения вычислительных мощностей, снизить нагрузку, получить результат за меньшее время за счёт адаптивной регуляризации. Потенциал сокращения вычислительных ресурсов на обучении оценивается в порядке до 10%. Мы, в Сбере, планируем провести тестирование рассмотренной идеи и в случае успеха — тиражировать её на флагманские модели GenAI. Поиск таких смекалок в AI-архитектурах позволяет частично компенсировать вычислительный голод, поэтому продолжим поддержку таких исследований в направлении обучения больших моделей. Иван Оселедец, д. ф.-м. н., СЕО Института AIRI, профессор Сколтеха: Нам удалось изучить модели под микроскопом, простыми средствами описать сложные процессы внутри трансформеров и сразу предложить эффективный регуляризатор. Мы уже всё проверили на маленьких моделях, проверки на больших моделях и обучении — впереди. Обнаруженный эффект кажется очень контринтуитивным, он противоречит многим представлениям о глубоком обучении. В то же время именно он позволяет тратить меньше вычислительных ресурсов на развёртку и инференс больших языковых моделей. На днях мы выложили препринт статьи, а она уже обогнала публикации от Google, Microsoft, MIT и Adobe в списке статей дня на HuggingFace. Понимая важность работы для научного сообщества, мы поделились регуляризатором с коллегами и опубликовали его в открытом доступе. Статья с результатами исследования принята к публикации на одну из наиболее престижных конференций в сфере искусственного интеллекта в мире — ACL 2024 (Main Track, Core A). Источник: www.sberbank.ru*

Пост взят с международного финтех-медиа ресурса

Другие новости сообщества / СБЕРБАНК: последние новости сегодня

EXPRESS NEWS

  • Глава дипслужбы Ватикана монсеньор Галлахер планирует в конце августа посетить Москву, сообщил ТАСС ватиканский источник

  • «Достается победителю». Трамп назвал венесуэльскую нефть трофеем США. По словам американского лидера, во время операции в Каракасе США действовали «по-старинке», получив за счет венесуэльской нефти «во много раз больше, чем потратили»
    «Достается победителю». Трамп назвал венесуэльскую нефть трофеем США. По словам американского лидера, во время операции в Каракасе США действовали «по-старинке», получив за счет венесуэльской нефти «во много раз больше, чем потратили»

  • Трамп считает, что глава Пентагона Хегсет ввел его в заблуждение относительно запасов вооружений США, истощенных в войне против Ирана. Об этом сообщила The Washington Post со ссылкой на источники в американской администрации

  • Трамп заявил, что США продолжают консультации с Ираном и рассчитывают на достижение договоренностей

  • Трамп заявил, что США и Иран провели «очень хороший» день переговоров. Он считает, что их результат может стать известен в течение 48 часов
    Трамп заявил, что США и Иран провели «очень хороший» день переговоров. Он считает, что их результат может стать известен в течение 48 часов
  • Израиль не уйдет из сектора Газа до полного разоружения ХАМАС, заявил Нетаньяху
    Израиль не уйдет из сектора Газа до полного разоружения ХАМАС, заявил Нетаньяху

  • Мигранты из Марокко продвигаются вглубь ЕС, чтобы поблагодарить фон дер Ляйен за ее политику, благоприятствующую иммиграции. Об этом написал в X Дмитриев

  • Владимир Путин подписал закон о регулировании цифровых валют и цифровых прав
    Владимир Путин подписал закон о регулировании цифровых валют и цифровых прав

  • Нелегальная миграция и энергетика убивают Европу, заявил Трамп

  • Глава МИД России Сергей Лавров возглавит делегацию РФ на сессии Генассамблеи ООН в Нью-Йорке
    Глава МИД России Сергей Лавров возглавит делегацию РФ на сессии Генассамблеи ООН в Нью-Йорке

  • Сурен Папикян переназначен на должность министра обороны Армении, следует из указа президента

  • США сохраняют готовность к «невиданным» ударам по Ирану, заявил Хегсет
    США сохраняют готовность к «невиданным» ударам по Ирану, заявил Хегсет

  • Трамп заявил, что отменил удар по Ирану по просьбе Катара, ОАЭ и Саудовской Аравии, а также самой исламской республики

  • Переговоры между Ираном и Оманом об обеспечении судоходства в Ормузском проливе находятся на завершающей стадии, сообщил Арагчи
    Переговоры между Ираном и Оманом об обеспечении судоходства в Ормузском проливе находятся на завершающей стадии, сообщил Арагчи

  • Премьер Молдавии Тофан заявил, что покинет пост в 2029 году и после уйдет из политики: «Я не политик и не собираюсь становиться политиком»

  • Пашинян подписал решение об отставке действующего правительства. Документ будет отправлен на подпись президенту страны Ваагну Хачатуряну

  • Трамп заявил, что согласился отменить запланированный мощный удар по Ирану ради достижения договоренностей
    Трамп заявил, что согласился отменить запланированный мощный удар по Ирану ради достижения договоренностей

  • UEFA проголосует за отстранение Джанни Инфантино от должности президента FIFA, если он откажется уйти в отставку сам. Об этом сообщает The Telegraph

  • Джанни Инфантино вскоре может покинуть пост президента FIFA, сообщил журналист Ромен Молина. По информации источника, Инфантино потерял поддержку чиновников FIFA и контроль над организацией
    Джанни Инфантино вскоре может покинуть пост президента FIFA, сообщил журналист Ромен Молина. По информации источника, Инфантино потерял поддержку чиновников FIFA и контроль над организацией

  • США планируют пока продолжать наносить удары по Ирану, заявил Трамп. «Мы очень жестко будем наносить по ним удары», — сказал он на заседании президентского кабинета

  • Число погибших из-за землетрясения в Японии выросло до 28 человек
    Число погибших из-за землетрясения в Японии выросло до 28 человек

  • «В этом составе мы встречаемся в последний раз». Пашинян поблагодарил правительство Армении, которое провело последнее заседание перед отставкой

  • Россия стала обладателем пяти комплектов медалей на Играх ООН, в том числе завоевала золото в волейболе и серебро в футболе, передает корреспондент ТАСС

  • Нетаньяху на встрече с Трампом выразил сомнения относительно возможности заключения сделки с Ираном. Об этом сообщил со ссылкой на источники портал Axios
    Нетаньяху на встрече с Трампом выразил сомнения относительно возможности заключения сделки с Ираном. Об этом сообщил со ссылкой на источники портал Axios

  • Экс-президент Аргентины Кристина Фернандес де Киршнер, отбывающая наказание по делу о коррупции, сообщила, что обратилась с жалобой на свой приговор в Комитет по правам человека ООН

  • США намерены вновь нанести серьезные удары по Ирану, но выясняют, возможна ли договоренность, заявил Трамп
    США намерены вновь нанести серьезные удары по Ирану, но выясняют, возможна ли договоренность, заявил Трамп

  • Референдум по части вступления в ЕС может быть организован лишь тогда, когда шаги по членству Армении в сообщество станут более предметными. Об этом заявил Пашинян

  • Президент РФ принял отставку главы Удмуртии Александра Бречалова по собственному желанию, назначил врио главы Ольгу Абрамову
    Президент РФ принял отставку главы Удмуртии Александра Бречалова по собственному желанию, назначил врио главы Ольгу Абрамову

  • Трамп заявил Fox News, что США нанесут сильные удары по Ирану в ответ на обстрел американских военных в Иордании

  • Пашинян назвал свой первый телефонный разговор с Путиным после выборов в Армении удачным
    Пашинян назвал свой первый телефонный разговор с Путиным после выборов в Армении удачным

  • «Никто не имеет права продавать нашу игру». Экс-президент FIFA Йозеф Блаттер заявил, что близкие отношения Трампа и Инфантино вредят мировому футболу. Об этом он написал на своей странице в «Х»

  • По меньшей мере 13 человек могли стать жертвами землетрясения в Японии, заявила премьер-министр страны Санаэ Такаити
    По меньшей мере 13 человек могли стать жертвами землетрясения в Японии, заявила премьер-министр страны Санаэ Такаити

  • Сенат Конгресса США утвердил Джея Клейтона на должность директора американской Нацразведки. Голосование продолжается, но кандидатуру поддержали уже более 50 сенаторов. Этого достаточно для утверждения Клейтона

  • Визит в Россию Уиткоффа и Кушнера может состояться в ближайшие две недели, но определенности сейчас нет, сообщил источник ТАСС
    Визит в Россию Уиткоффа и Кушнера может состояться в ближайшие две недели, но определенности сейчас нет, сообщил источник ТАСС

  • США и без Израиля известно о ядерных разработках Ирана, Нетаньяху не надо публично заявлять о намерении что-то рассказывать об этом, отметил Трамп

  • Пашинян в телефонном разговоре с Путиным не называл точных сроков референдума в Армении по вступлению в ЕС, заявил Песков

  • Затраты США на войну с Ираном окупятся многократно, утверждает Трамп. Ранее Хегсет заявил, что затраты США на проведение военной операции против исламской республики составляют порядка $37,5 млрд
    Затраты США на войну с Ираном окупятся многократно, утверждает Трамп. Ранее Хегсет заявил, что затраты США на проведение военной операции против исламской республики составляют порядка $37,5 млрд

  • Трамп заявил, что у него есть определенные разногласия с Нетаньяху по иранскому вопросу, однако отметил, что он и премьер Израиля «довольно близки»

  • В Англии меняется много премьер-министров, но не меняется политика Лондона в отношении РФ, заявил Песков
    В Англии меняется много премьер-министров, но не меняется политика Лондона в отношении РФ, заявил Песков

  • Россия открыта для сотрудничества в Арктике, но будет защищать свои интересы, заявил Путин. Богатства России будут прирастать Арктикой

Вы уверены, что хотите выйти из аккаунта?