Как с вами связаться

Введите сообщение

Как с вами связаться

Введите сообщение

Аватар сообщества Т-ТЕХНОЛОГИИ: НОВОСТИ

Т-ТЕХНОЛОГИИ: НОВОСТИ

Т-ТЕХНОЛОГИИ: последние новости сегодня

Новости по компании Т-БАНК

5
Новости по компании Т-БАНК

Новость: нейтральная. Ученые из T-Bank AI Research ускорили работу искусственного интеллекта с длинным текстом. Ученые из лаборатории исследований искусственного интеллекта (ИИ) T-Bank AI Research разработали нейросеть ReBased для ускоренной обработки длинных текстов. Новая технология сокращает расходы на использование ИИ в обработке текстов практически без потерь в качестве. В перспективе это позволит шире применять языковые модели в бизнесе, так как сейчас их использование ограничивают высокие затраты на вычислительные мощности. Кроме того, снижение потребления энергии в области вычислений, особенно в больших центрах обработки данных, поможет уменьшить негативное влияние на окружающую среду и сократить выбросы парниковых газов. Результаты исследования были признаны мировым научным сообществом и представлены на 63-й Международной ежегодной конференции по компьютерной лингвистике (ACL), которая проходит в Бангкоке, Таиланд, с 11 по 16 августа 2024 года. Это главная научная конференция в области обработки естественного языка в мире. Научную работу цитировали одни из самых известных исследователей эффективности искусственного интеллекта в мире, представляющие Принстонский университет и Университет Карнеги — Меллона. Почти все языковые модели в мире используют именно их наработки. Суть открытия В основе открытия лежит новая архитектура языковых моделей, названная ReBased. Архитектура в глубоком обучении — это общий план или структура, по которой строится нейронная сеть. Она определяет, какие типы слоев будут использованы (например, сверточные, рекуррентные или полносвязные) и как эти слои будут соединены между собой. Проще говоря, это как проект дома, где есть план этажей, комнаты и их соединения. Хорошо продуманная архитектура позволяет нейросети лучше решать определенные задачи, например распознавать изображения или понимать текст. Выбор подходящей архитектуры важен для эффективности и точности работы модели. Самые распространенные языковые модели основаны на архитектуре «Трансформер», представленной в 2017 году исследователями из Google. Они хорошо зарекомендовали себя при решении практических задач, но для них требуется очень большое количество ресурсов, которые растут квадратично с удлинением текста. Для широкого практического применения необходимы менее ресурсозатратные архитектуры. Наиболее успешные конкуренты трансформеров — последние SSM-модели (State Space Model, модели пространства состояний) Mamba, но они уступают по способности контекстного обучения, которое позволяет ИИ-агентам адаптироваться к новым задачам без необходимости повторного обучения. В модели Based, представленной учеными Стэнфорда в декабре 2023 года, которая значительно улучшила способности контекстного обучения, специалисты T-Bank AI Research обнаружили неэффективное использование ресурсов из-за неоптимальной структуры нейросети. Проведя анализ архитектуры Base, ученые из T-Bank AI Research оптимизировали механизм извлечения информации из текста, добавив новые обучаемые параметры, которые отвечают за оптимальный поиск взаимосвязей между частями текста. Это позволяет улучшить процесс его обработки и получать более точные ответы. Ученые также упростили алгоритм выделения текстовой информации, что привело к увеличению производительности, повышению качества работы с длинными текстами и улучшению контекстного обучения. В среднем понимание взаимосвязей в тексте в новой архитектуре стало лучше на 10%. ReBased способна снизить издержки на использование искусственного интеллекта для специализированных задач, которые имеют конкретную область применения и требуют учета ее особенностей. Например, в медицине такой задачей может считаться классификация текстов на основе симптомов и диагнозов. Новая архитектура, предложенная учеными, позволяет приблизить качество линейных моделей к трансформерам. Модели, в основе которых лежит ReBased, могут генерировать тексты с более низкими требованиями к ресурсам практически без потери качества. Ученые проводили эксперименты на датасете MQAR (Multi-Query Associative Recall), который позволяет определять способность модели к контекстуальному обучению, а именно к ассоциативному запоминанию (запоминанию не связанных пар объектов), например: лицо человека — его имя. Ярослав Аксенов, исследователь обработки естественного языка в T-Bbank AI Research: «Примечательно, что параллельно с выходом нашей статьи группа исследователей из Стэнфорда выпустила исследование на эту же тему, но с другим подходом к решению. Сейчас это одна из наиболее интересных областей исследований в NLP по всему миру: трансформеры слишком медленные, но линейные модели уступают им по качеству. И мы, и ученые из Стэнфорда занимаемся поиском оптимальных архитектур. Мы ценим их вклад в развитие технологий и рады возможности участвовать в научном диалоге такого уровня». В перспективе линейные модели все чаще будут использоваться в комбинации с трансформерами в качестве составной части гибридных архитектур. Такие архитектуры сочетают в себе и скорость, и высокое качество выполнения задач. Подробное описание модели и результаты экспериментов доступны в статье Linear Transformers with Learnable Kernel Functions are Better In-Context Models. Исходный код и дополнительные материалы можно найти на GitHub. Лаборатория T-Bank AI Research T-Bank Al Research — это одна из немногих российских лабораторий, которые занимаются фундаментальными научными исследованиями на базе бизнеса. Лаборатория входит в состав Центра искусственного интеллекта Т-Банка. Ученые из T-Bank Al Research исследуют наиболее перспективные области ИИ: обработку естественного языка (NLP), компьютерное зрение (CV) и рекомендательные системы (RecSys). По результатам экспериментов они пишут научные статьи для наиболее авторитетных международных научных конференций: NeurIPS, ICML, ACL, CVPR и других. За три года существования команды более 20 статей были приняты на крупнейшие конференции и воркшопы в области ИИ. Научные работы T-Bank Al Research цитируются учеными из университетов Беркли и Стэнфорда, а также исследовательского проекта Google по изучению искусственного интеллекта Google DeepMind. Команда курирует исследовательские лаборатории T-Bank Lab в МФТИ и Omut AI в. Центральном университете и помогает талантливым студентам совершать научные открытия. Источник: www.tbank.ru

Пост взят с международного финтех-медиа ресурса

Другие новости сообщества / Т-ТЕХНОЛОГИИ: последние новости сегодня

EXPRESS NEWS

  • Ситуацию в регионе необходимо учитывать при проведении «Интервидения» в Саудовской Аравии, сроки будут обозначены позднее, заявил Лавров

  • Кремль не исключает разговора Путина и Трампа по итогам поездки переговорщиков США в Москву и в Киев, сообщил Песков
    Кремль не исключает разговора Путина и Трампа по итогам поездки переговорщиков США в Москву и в Киев, сообщил Песков

  • Трамп в Truth Social назвал Луну собственностью США

  • Старший сын Трампа прибыл в Таллин, пишет газета Postimees. Цель его визита неизвестна. Посольство США в Эстонии в ответ на запросы со стороны Postimees и портала Delfi отказалось комментировать поездку Дональда Трампа-младшего
    Старший сын Трампа прибыл в Таллин, пишет газета Postimees. Цель его визита неизвестна. Посольство США в Эстонии в ответ на запросы со стороны Postimees и портала Delfi отказалось комментировать поездку Дональда Трампа-младшего

  • Факт встречи Путина с Уиткоффом и Кушнером означает атмосферу доверия, по крайней мере, на этом канале общения, отметил Песков в разговоре с журналистом «Вестей» Зарубиным

  • Трехсторонняя встреча лидеров РФ, США и Китая не исключается, заявил ТАСС Рябков
    Трехсторонняя встреча лидеров РФ, США и Китая не исключается, заявил ТАСС Рябков

  • РФ и США надо развивать взаимодействие в тех сферах экономики и бизнеса, где это отвечает взаимным интересам, заявил ТАСС Силуанов

  • Трамп заявил, что США могут «очень скоро» нанести удар по предполагаемому иранскому ядерному объекту близ Натанза под горой Коланг Газ-Ла
    Трамп заявил, что США могут «очень скоро» нанести удар по предполагаемому иранскому ядерному объекту близ Натанза под горой Коланг Газ-Ла

  • Москва в ближайшее время примет ответные меры на закрытие генконсульства РФ в Бонне, заявил посол в Германии Нечаев

  • Председатель Верховного суда России Игорь Краснов прибыл с официальным визитом в Нью-Дели, передает корреспондент ТАСС
    Председатель Верховного суда России Игорь Краснов прибыл с официальным визитом в Нью-Дели, передает корреспондент ТАСС

  • Трамп заявил, что США в ближайшее время возобновят продажи боеприпасов союзникам

  • Пашинян заявил, что Армения не собирается вводить визы для граждан России
    Пашинян заявил, что Армения не собирается вводить визы для граждан России

  • Китай готов развивать обмены с РФ в сферах культуры, туризма и образования, сообщил вице-премьер Госсовета КНР

  • РФ за полноформатное восстановление отношений с США, сообщил Путин. Контакты РФ с администрацией США продолжаются, президент видит позитивный настрой Трампа на конструктивную работу
    РФ за полноформатное восстановление отношений с США, сообщил Путин. Контакты РФ с администрацией США продолжаются, президент видит позитивный настрой Трампа на конструктивную работу

  • Трамп заявил, что для бизнеса было бы отлично поддерживать хорошие отношения с Россией

  • Трамп заявил, что готов провести встречу с Путиным, когда стороны будут готовы заключить мирное соглашение по Украине
    Трамп заявил, что готов провести встречу с Путиным, когда стороны будут готовы заключить мирное соглашение по Украине

  • ВС США уничтожили 28 кораблей в Ормузском проливе в ночь на 1 сентября, заявил Трамп в интервью автору подкаста Lt. Dan Дэну Патрику

  • ЕК предложила включить в 22-й пакет санкций 1600 российских физлиц и компаний, заявила Каллас
    ЕК предложила включить в 22-й пакет санкций 1600 российских физлиц и компаний, заявила Каллас

  • Трамп думает над тем, чтобы назвать Ормузский пролив в свою честь. «Как и сама Америка, Ормузский пролив станет "горячее", чем когда-либо!» — отметил американский президент

  • «Большое число» россиян могут внести в новые санкционные списки ЕС, которые предложила ФРГ. Об этом заявил глава МИД страны Йоханн Вадефуль

  • Добыча нефти в Венесуэле может превысить 1,5 млн баррелей в сутки в первой половине следующего года. Об этом заявил Крис Райт в интервью телеканалу CNBC
    Добыча нефти в Венесуэле может превысить 1,5 млн баррелей в сутки в первой половине следующего года. Об этом заявил Крис Райт в интервью телеканалу CNBC

  • Каллас заявила, что вызвала исполняющего обязанности постпреда России при ЕС в связи с инцидентом в Лейпциге

  • Ушаков опроверг, что Путин не захотел встречаться с главой ЦРУ, и подчеркнул в разговоре с журналистом Life Юнашевым, что таких планов и не было

  • В ФРГ делают всё, чтобы изничтожить всё позитивное, что было накоплено в отношениях с РФ десятилетиями. Об этом заявила Мария Захарова на полях ВЭФ

  • Бессент отметил важность контактов с РФ для урегулирования на Украине
    Бессент отметил важность контактов с РФ для урегулирования на Украине
  • Контакты между спецслужбами осуществляются всегда, заявил Путин, говоря о визите главы ЦРУ
    Контакты между спецслужбами осуществляются всегда, заявил Путин, говоря о визите главы ЦРУ

  • США уничтожат Иран в случае новых ответных атак, утверждает Трамп в интервью Fox News. Он считает, что иранские власти «не останавливаются», и назвал их действия «безумными» и «глупыми»

  • Германия идет по дальнейшему пути эскалации, обвинения в отношении России после инцидента в Лейпциге не подкреплены никакой аргументацией со стороны Берлина, заявил Дмитрий Песков
    Германия идет по дальнейшему пути эскалации, обвинения в отношении России после инцидента в Лейпциге не подкреплены никакой аргументацией со стороны Берлина, заявил Дмитрий Песков

  • США нанесли удар по аэропорту в Джирофте на юге Ирана, сообщила иранская гостелерадиокомпания

  • Пашинян назвал очень хорошей встречу с Путиным в Бишкеке и заявил о намерении в ближайшее время совершить визит в Москву
    Пашинян назвал очень хорошей встречу с Путиным в Бишкеке и заявил о намерении в ближайшее время совершить визит в Москву
  • Трамп заявил, что не за горами проведение крупнейшей атаки на Иран, после которой почти ничего не останется
    Трамп заявил, что не за горами проведение крупнейшей атаки на Иран, после которой почти ничего не останется
  • Встреча Путина и Эрдогана завершилась, продлившись около полутора часов, передает корреспондент ТАСС
    Встреча Путина и Эрдогана завершилась, продлившись около полутора часов, передает корреспондент ТАСС
  • Новым гендиректором Apple стал Джон Тернус
    Новым гендиректором Apple стал Джон Тернус

  • Министры обороны ЕС не приняли никаких конкретных решений о предоставлении ракет для Patriot Киеву, заявила Каллас

  • Уиткофф и Кушнер активизируют переговорные усилия на украинском направлении, сообщил источник ТАСС

  • США применили против Ирана меньше оружия, чем передали Киеву при Байдене, заявил Трамп
    США применили против Ирана меньше оружия, чем передали Киеву при Байдене, заявил Трамп

  • Трамп, говоря о приглашении России на мероприятия G20, заявил, что хочет поладить со всеми: «Одна из причин моего успеха заключается в том, что я со всеми лажу»

  • Лионель Месси завершил выступления за сборную Аргентины по футболу. Об этом он сообщил в соцсетях
    Лионель Месси завершил выступления за сборную Аргентины по футболу. Об этом он сообщил в соцсетях

  • Токаев назначил и. о. вице-премьера Аиду Балаеву зампредом Совета безопасности Казахстана. Секретарь Совбеза Гизат Нурдаулетов освобожден от должности, говорится в указе президента.

  • Токаев подписал указ о назначении Ерлана Карина на пост вице-президента Казахстана, сообщает пресс-служба
    Токаев подписал указ о назначении Ерлана Карина на пост вице-президента Казахстана, сообщает пресс-служба

Вы уверены, что хотите выйти из аккаунта?