Как с вами связаться

Введите сообщение

Как с вами связаться

Введите сообщение

Аватар сообщества Т-ТЕХНОЛОГИИ: НОВОСТИ

Т-ТЕХНОЛОГИИ: НОВОСТИ

Т-ТЕХНОЛОГИИ: последние новости сегодня

Новости по компании Т-БАНК

4
Новости по компании Т-БАНК

Новость: нейтральная. Ученые из T-Bank AI Research ускорили работу искусственного интеллекта с длинным текстом. Ученые из лаборатории исследований искусственного интеллекта (ИИ) T-Bank AI Research разработали нейросеть ReBased для ускоренной обработки длинных текстов. Новая технология сокращает расходы на использование ИИ в обработке текстов практически без потерь в качестве. В перспективе это позволит шире применять языковые модели в бизнесе, так как сейчас их использование ограничивают высокие затраты на вычислительные мощности. Кроме того, снижение потребления энергии в области вычислений, особенно в больших центрах обработки данных, поможет уменьшить негативное влияние на окружающую среду и сократить выбросы парниковых газов. Результаты исследования были признаны мировым научным сообществом и представлены на 63-й Международной ежегодной конференции по компьютерной лингвистике (ACL), которая проходит в Бангкоке, Таиланд, с 11 по 16 августа 2024 года. Это главная научная конференция в области обработки естественного языка в мире. Научную работу цитировали одни из самых известных исследователей эффективности искусственного интеллекта в мире, представляющие Принстонский университет и Университет Карнеги — Меллона. Почти все языковые модели в мире используют именно их наработки. Суть открытия В основе открытия лежит новая архитектура языковых моделей, названная ReBased. Архитектура в глубоком обучении — это общий план или структура, по которой строится нейронная сеть. Она определяет, какие типы слоев будут использованы (например, сверточные, рекуррентные или полносвязные) и как эти слои будут соединены между собой. Проще говоря, это как проект дома, где есть план этажей, комнаты и их соединения. Хорошо продуманная архитектура позволяет нейросети лучше решать определенные задачи, например распознавать изображения или понимать текст. Выбор подходящей архитектуры важен для эффективности и точности работы модели. Самые распространенные языковые модели основаны на архитектуре «Трансформер», представленной в 2017 году исследователями из Google. Они хорошо зарекомендовали себя при решении практических задач, но для них требуется очень большое количество ресурсов, которые растут квадратично с удлинением текста. Для широкого практического применения необходимы менее ресурсозатратные архитектуры. Наиболее успешные конкуренты трансформеров — последние SSM-модели (State Space Model, модели пространства состояний) Mamba, но они уступают по способности контекстного обучения, которое позволяет ИИ-агентам адаптироваться к новым задачам без необходимости повторного обучения. В модели Based, представленной учеными Стэнфорда в декабре 2023 года, которая значительно улучшила способности контекстного обучения, специалисты T-Bank AI Research обнаружили неэффективное использование ресурсов из-за неоптимальной структуры нейросети. Проведя анализ архитектуры Based, ученые из T-Bank AI Research оптимизировали механизм извлечения информации из текста, добавив новые обучаемые параметры, которые отвечают за оптимальный поиск взаимосвязей между частями текста. Это позволяет улучшить процесс его обработки и получать более точные ответы. Ученые также упростили алгоритм выделения текстовой информации, что привело к увеличению производительности, повышению качества работы с длинными текстами и улучшению контекстного обучения. В среднем понимание взаимосвязей в тексте в новой архитектуре стало лучше на 10%. ReBased способна снизить издержки на использование искусственного интеллекта для специализированных задач, которые имеют конкретную область применения и требуют учета ее особенностей. Например, в медицине такой задачей может считаться классификация текстов на основе симптомов и диагнозов. Новая архитектура, предложенная учеными, позволяет приблизить качество линейных моделей к трансформерам. Модели, в основе которых лежит ReBased, могут генерировать тексты с более низкими требованиями к ресурсам практически без потери качества. Ученые проводили эксперименты на датасете MQAR (Multi-Query Associative Recall), который позволяет определять способность модели к контекстуальному обучению, а именно к ассоциативному запоминанию (запоминанию не связанных пар объектов), например: лицо человека — его имя. разработанному для измерения возможностей контекстного обучения архитектуры Arora и др. (2024). ReBased превосходит все эффективные модели в возможностях контекстного обучения Ярослав Аксенов, исследователь обработки естественного языка в T-Bbank AI Research: «Примечательно, что параллельно с выходом нашей статьи группа исследователей из Стэнфорда выпустила исследование на эту же тему, но с другим подходом к решению. Сейчас это одна из наиболее интересных областей исследований в NLP по всему миру: трансформеры слишком медленные, но линейные модели уступают им по качеству. И мы, и ученые из Стэнфорда занимаемся поиском оптимальных архитектур. Мы ценим их вклад в развитие технологий и рады возможности участвовать в научном диалоге такого уровня». В перспективе линейные модели все чаще будут использоваться в комбинации с трансформерами в качестве составной части гибридных архитектур. Такие архитектуры сочетают в себе и скорость, и высокое качество выполнения задач. Подробное описание модели и результаты экспериментов доступны в статье Linear Transformers with Learnable Kernel Functions are Better In-Context Models. Исходный код и дополнительные материалы можно найти на GitHub. Лаборатория T-Bank AI Research T-Bank Al Research — это одна из немногих российских лабораторий, которые занимаются фундаментальными научными исследованиями на базе бизнеса. Лаборатория входит в состав Центра искусственного интеллекта Т-Банка. Ученые из T-Bank Al Research исследуют наиболее перспективные области ИИ: обработку естественного языка (NLP), компьютерное зрение (CV) и рекомендательные системы (RecSys). По результатам экспериментов они пишут научные статьи для наиболее авторитетных международных научных конференций: NeurIPS, ICML, ACL, CVPR и других. За три года существования команды более 20 статей были приняты на крупнейшие конференции и воркшопы в области ИИ. Научные работы T-Bank Al Research цитируются учеными из университетов Беркли и Стэнфорда, а также исследовательского проекта Google по изучению искусственного интеллекта Google DeepMind. Команда курирует исследовательские лаборатории T-Bank Lab в МФТИ и Omut AI в. Центральном университете и помогает талантливым студентам совершать научные открытия. Источник: www.tbank.ru

Пост взят с международного финтех-медиа ресурса

Другие новости сообщества / Т-ТЕХНОЛОГИИ: последние новости сегодня

EXPRESS NEWS

  • Илон Маск иронично назвал себя «бывшим триллионером» после того, как его состояние снизилось до $719 млрд, согласно опубликованному Bloomberg «Индексу миллиардеров»

  • Контакты между США и Ираном продолжаются, возможно, никакой эскалации конфликта и не будет, заявил Трамп
    Контакты между США и Ираном продолжаются, возможно, никакой эскалации конфликта и не будет, заявил Трамп

  • Министр образования Индии Дхармендра Прадхан подал в отставку на фоне протестов из-за утечки экзаменационных материалов

  • Венесуэла пока не готова к проведению выборов, заявил Трамп, отмечая достижение «большого прогресса»
    Венесуэла пока не готова к проведению выборов, заявил Трамп, отмечая достижение «большого прогресса»

  • Для ЕС стало «неприятным сюрпризом» введение США новых таможенных пошлин, заявила Кая Каллас. Брюссель будет требовать у Вашингтона разъяснений

  • США введут существенные пошлины на товары ЕС за штрафы, выписанные американским технологическим гигантам, заявил Трамп. Он также отметил, что США добьются отмены штрафов
    США введут существенные пошлины на товары ЕС за штрафы, выписанные американским технологическим гигантам, заявил Трамп. Он также отметил, что США добьются отмены штрафов

  • Сергей Лавров встретился с главой китайского МИД Ван И на полях СМИД ШОС, сообщает российское дипведомство

  • Канцелярия Нетаньяху объявила, что он отправится 27 июля с визитом в Вашингтон, на 28 июля у него запланирована встреча с Трампом в Белом доме
    Канцелярия Нетаньяху объявила, что он отправится 27 июля с визитом в Вашингтон, на 28 июля у него запланирована встреча с Трампом в Белом доме

  • Президент Бангладеш подал в отставку из-за болезни. «Я болен, поэтому всё кончено», — приводит его слова новостной бангладешский портал bdnews24

  • Путин поздравил президента Узбекистана с днем рождения, отметив его вклад в упрочение российско-узбекистанского партнерства, сообщает Кремль

  • Трамп заявил, что ущерб, нанесенный торговым судам, будет возмещаться из иранских средств, замороженных в США

  • Иран не готов к договоренности с США, и Вашингтону нужно продолжать боевые действия, считает Трамп
    Иран не готов к договоренности с США, и Вашингтону нужно продолжать боевые действия, считает Трамп

  • Председатель КНР Си Цзиньпин посетит США с визитом 24 сентября, объявил в четверг американский президент Дональд Трамп

  • Президент Бангладеш Шахабуддин Чуппу намерен в пятницу подать в отставку. Об этом со ссылкой на источники сообщил Reuters

  • Сергей Лавров прибыл в Киргизию. 24 июля он примет участие в совещании глав МИД стран ШОС
    Сергей Лавров прибыл в Киргизию. 24 июля он примет участие в совещании глав МИД стран ШОС

  • Рубио заявил, что у него был «хороший, честный разговор» с Лавровым. Также он добавил, что США готовы сыграть конструктивную роль

  • Рубио сообщил, что обсудил с Лавровым отношения между США и РФ
    Рубио сообщил, что обсудил с Лавровым отношения между США и РФ

  • Трамп считает, что Иран очень скоро будет готов к заключению сделки с США. «Каждый раз, когда они согласовывают сделку, они хотят изменить ее. Они не готовы, но очень скоро они будут готовы», — заявил американский лидер

  • Авиаперевозки пассажиров между Россией и Китаем в этом году выросли почти на 50%. Как сообщили РИА Новости в Минтрансе России, в январе-мае они превысили 900 000 человек

  • Встреча с Рубио согласована и состоится 23 июля в первой половине дня. Лавров сообщил, что он поинтересуется у Рубио о словах Трампа относительно возможности скорого урегулирования конфликта на Украине
    Встреча с Рубио согласована и состоится 23 июля в первой половине дня. Лавров сообщил, что он поинтересуется у Рубио о словах Трампа относительно возможности скорого урегулирования конфликта на Украине

  • Тегеран обращался к Вашингтону по поводу переговоров для урегулирования вооруженного конфликта, но США не считают, что Иран настроен серьезно. Об этом заявил американский госсекретарь Марко Рубио

  • Защита и обвинение по делу Мадуро предложили начать суд по существу в июне 2027 года. Об этом говорится в электронной базе суда Нью-Йорка
    Защита и обвинение по делу Мадуро предложили начать суд по существу в июне 2027 года. Об этом говорится в электронной базе суда Нью-Йорка

  • Изоляции РФ на мировой арене нет и даже не предвидится. В «двадцатке» и АТЭС спрос на встречи с Лавровым всегда огромный. Об этом заявил в интервью ТАСС посол по особым поручениям российского МИД Марат Бердыев

  • США транслируют сигнал, что хотят видеть Путина на саммите «двадцатки» в Майами. Об этом заявил в интервью ТАСС посол по особым поручениям МИД РФ. По мнению Марата Бердыева, «это не политический реверанс, а рациональная логика»

  • Затраты США на военную операцию против Ирана составляют к настоящему моменту порядка $37,5 млрд. Об этом заявил американский военный министр Пит Хегсет

  • Трамп утверждает, что Иран стремится к проведению новой встречи с США: «Они отчаянно хотят встретиться. Но пока они не будут готовы значимым образом, у нас даже нет заинтересованности в этом»

  • «Если что-то подобное произойдет, мы об этом позаботимся». США примут меры, если хуситы введут морскую блокаду Саудовской Аравии, заявил Трамп
    «Если что-то подобное произойдет, мы об этом позаботимся». США примут меры, если хуситы введут морскую блокаду Саудовской Аравии, заявил Трамп

  • США могут ввести новые пошлины на импорт из Канады из-за лесных пожаров, сообщил Трамп. Он добавил, что в американском штате Мичиган ранее из-за загрязнения воздуха была нарушена работа некоторых компаний

  • Путин продлил безвизовый въезд для граждан Китая до конца 2027 года
    Путин продлил безвизовый въезд для граждан Китая до конца 2027 года
  • Энди Бернэм вступил в должность премьера Великобритании, получив от Карла III мандат на формирование правительства, сообщает Букингемский дворец
    Энди Бернэм вступил в должность премьера Великобритании, получив от Карла III мандат на формирование правительства, сообщает Букингемский дворец
  • Король Карл III принял отставку Стармера с поста премьера Британии, сообщила королевская пресс-служба
    Король Карл III принял отставку Стармера с поста премьера Британии, сообщила королевская пресс-служба

  • Германия не делала практических шагов для возобновления диалога с Россией, заявил Песков. Он отметил, что Россия остается открытой к диалогу с Европой и никогда не была инициатором сворачивания отношений

  • Россия готова содействовать мирному урегулированию разногласий как между США и Ираном, так и между иранцами и арабами. Об этом замглавы МИД РФ Александр Алимов заявил «Известиям»
    Россия готова содействовать мирному урегулированию разногласий как между США и Ираном, так и между иранцами и арабами. Об этом замглавы МИД РФ Александр Алимов заявил «Известиям»

  • Трамп заявил о поддержке планов Бернэма по наращиванию добычи нефти в Северном море. Нефть "превратит Соединенное Королевство из нищей страны в одно из самых богатых в мире государств", отметил американский президент

  • Дональд Трамп заявил, что его совершенно не волнует приостановка властями Ирана выполнения обязательств по меморандуму о взаимопонимании с США

  • Артистов и спортсменов России ни у кого отменить не получится, заявил в интервью ТАСС американский продюсер Стивен Мао. Он убежден, что «русская культура, русское искусство и русский спорт принадлежат миру»

  • Трамп пригрозил Канаде увеличением таможенных пошлин из-за лесных пожаров, дым от которых окутал несколько крупных городов США
    Трамп пригрозил Канаде увеличением таможенных пошлин из-за лесных пожаров, дым от которых окутал несколько крупных городов США

  • Венесуэла получила доступ к собственным средствам в МВФ в размере $346 млн, которые будут направлены на ликвидацию последствий землетрясения. Об этом сообщила уполномоченный президент боливарианской республики Делси Родригес

  • Глава FIFA и Белый дом обсудят риски проведения финала чемпионата мира по футболу. Об этом сообщил корреспондент Sky News Роб Харрис. Риски связаны с дымом от лесных пожаров в районе Нью-Йорка и Нью-Джерси

  • Apple меньше суток пробыла самой дорогостоящей компанией в мире. Ее обошла Nvidia, свидетельствуют данные торгов

Вы уверены, что хотите выйти из аккаунта?