Специалисты Сбербанка и SberDevices представили результаты своих исследований в сфере генеративного искусственного интеллекта на международной конференции EACL 2024, которая проходила на острове Мальта.
Новость: нейтральная. Учёные Сбера и SberDevices рассказали о достижениях в области генеративного ИИ на международной конференции EACL 2024 на о. Мальта. В этом году исследователи прилетели с докладами о двух работах на 18-ю европейскую конференцию в области компьютерной лингвистики EACL 2024 на о. Мальта. О работе на тему исследования свойств трансформерных архитектур моделей, в которой принимали участие учёные Сбера, рассказали Андрей Кузнецов, к. т. н., руководитель научной группы FusionBrain научного партнёра Сбера — Института AIRI, и научный сотрудник группы FusionBrain Антон Разжигаев. Соавтором работы выступил управляющий директор по исследованию данных Сбербанка Денис Димитров. Исследователи изучили, как меняются важные свойства эмбеддингов (числовых представлений данных) двух типов архитектур больших языковых моделей, которые, в свою очередь, часто используются в задачах обработки естественного языка. Полученные результаты на следующем этапе исследований помогут дистиллировать языковые модели, то есть уменьшать их размеры, с минимальной потерей качества (с контролем изменения ошибки при дистилляции). Это необходимо для создания новых архитектурных решений в процессе обучения моделей и снижения требуемых для него вычислительных затрат. Тезисы опубликованы на сайте конференции www.aclanthology.org Руководитель команды AGI NLP в R&D SberDevices Алёна Феногенова и NLP ML-инженер Сбербанка Марк Баушенко представили своё исследование о генеративных подходах к исправлению орфографии. В рамках работы над проектом команда разработала методологию коррекции орфографии, выпустила открытую библиотеку SAGE, а также датасеты и семейство генеративных моделей, обученных для задачи исправления орфографии. Лучшая модель опережает по качеству открытые решения (HunSpell, JamSpell) и модели OpenAI (gpt-3.5-turbo-0301, gpt-4-0314, text-davinci-003). Академическая статья доступна на сайте конференции: www.aclanthology.org Источник: www.sberbank.ru
Пост взят с международного финтех-медиа ресурса
ДЛЯ ЛЮДЕЙ