Как с вами связаться

Введите сообщение

Как с вами связаться

Введите сообщение

Аватар сообщества МТС: НОВОСТИ

МТС: НОВОСТИ

МТС: последние новости сегодня

Новость по компании МТС

7
Новость по компании МТС

Новость: нейтральная. Сам себе интеллект. «Яндекс» и МТС разошлись в способах оценки ИИ. Активно развивающийся рынок искусственного интеллекта начинает сталкиваться с проблемами, характерными для развитых отраслей, например, выбора адекватной методики оценки эффективности. Российские разработчики больших языковых моделей (используются, в частности, для создания голосовых ассистентов) выбрали разные инструменты для публичного сравнения с другими разработками. Так, экспериментальная версия YandexGPT оценивается путем парного сравнения на «чатбот-арене», а модели MTS AI — путем решения заранее определенных задач. Участники рынка указывают на возможность использования разных бенчмарков эффективности для разных вопросов. В «Яндексе» “Ъ” рассказали, что предоставляют на русскоязычной платформе для оценки качества больших языковых моделей LLM Arena (создана бывшим техдиректором компании по разметке данных Training Data Романом Куцевым) доступ к своей экспериментальной модели YandexGPT. Сервис работает по принципу «чатбот-арены» — пользователям сервиса предлагается сравнить результат работы двух моделей и выбрать лучший, а на основе полученных оценок формируется рейтинг нейросетей. «Участие в арене — это возможность проверить обновленную нейросеть в реальных условиях на запросах пользователей перед интеграцией в продукты или предоставления доступа по API (для интеграции в сервисы других разработчиков.— “Ъ”)»,— говорят в «Яндексе». Выбор именно такого способа сравнения там обосновали тем, что в участии используются оценки множества пользователей: «Кроме того, среди тестировщиков моделей на аренах много специалистов по машинному обучению, которые могут задавать более сложные, специфические запросы». Исследователи в области искусственного интеллекта (ИИ) уже предпринимали попытки создать способ сравнения русскоязычных LLM. В 2023 году под эгидой Альянса в сфере ИИ (объединяет «Яндекс», VK, Сбербанк, «Газпром-нефть», «Уралхим» и др.) был создан бенчмарк MERA, работающий по другому принципу — оценки навыков в соответствии с фиксированными инструкциями. Модели «Яндекса» не представлены в публичной таблице лидеров MERA. В компании не объяснили, с чем связано решение не участвовать в MERA, но сказали, что «продолжают использовать популярные бенчмарки», а также создали собственную версию международного бенчмарка MMLU. Модели еще одной российской компании, MTS AI, представлены, наоборот, в MERA, но не в LLM Arena. В МТС (MOEX: MTSS) объяснили это тем, что последняя платформа больше рассчитана на тестирование кейсов из потребительского сектора, а модели MTS AI рассчитаны на корпоративный. Модели Сбербанка представлены и на MERA, и на LLM Arena (в Сбербанке не ответили “Ъ”). В Альянсе по развитию ИИ заявили, что бенчмарки и арены «некорректно сравнивать напрямую». В качестве доводов за использование бенчмарков в альянсе отметили то, что они позволяют проверять качество ответов на заранее известные вопросы разной сложности и тематики: «Однако для справедливой оценки модели полезно использовать несколько бенчмарков». В области оценки LLM по качеству решения задач на русском языке «наблюдается некоторая неразбериха», признает директор по продуктам Just AI Глеб Обломский. По его словам, бенчмарк MERA «достаточно представительный по задачам и наборам данных, но совершенно непредставительный по участникам — в таблице лидеров нет разработок от ведущих мировых игроков вроде OpenAI и Anthropic». При этом он отметил, что компаниям не стоит в принципе оценивать пригодность моделей для конкретного решения на основе бенчмарков: «С точки зрения бизнеса, сравнение должно проводиться на основе метрик качества конкретного продукта». Автор: Юрий Литвиненко. Источник: www.kommersant.ru

Пост взят с международного финтех-медиа ресурса

Другие новости сообщества / МТС: последние новости сегодня

EXPRESS NEWS

  • Илон Маск иронично назвал себя «бывшим триллионером» после того, как его состояние снизилось до $719 млрд, согласно опубликованному Bloomberg «Индексу миллиардеров»

  • Контакты между США и Ираном продолжаются, возможно, никакой эскалации конфликта и не будет, заявил Трамп
    Контакты между США и Ираном продолжаются, возможно, никакой эскалации конфликта и не будет, заявил Трамп

  • Министр образования Индии Дхармендра Прадхан подал в отставку на фоне протестов из-за утечки экзаменационных материалов

  • Венесуэла пока не готова к проведению выборов, заявил Трамп, отмечая достижение «большого прогресса»
    Венесуэла пока не готова к проведению выборов, заявил Трамп, отмечая достижение «большого прогресса»

  • Для ЕС стало «неприятным сюрпризом» введение США новых таможенных пошлин, заявила Кая Каллас. Брюссель будет требовать у Вашингтона разъяснений

  • США введут существенные пошлины на товары ЕС за штрафы, выписанные американским технологическим гигантам, заявил Трамп. Он также отметил, что США добьются отмены штрафов
    США введут существенные пошлины на товары ЕС за штрафы, выписанные американским технологическим гигантам, заявил Трамп. Он также отметил, что США добьются отмены штрафов

  • Сергей Лавров встретился с главой китайского МИД Ван И на полях СМИД ШОС, сообщает российское дипведомство

  • Канцелярия Нетаньяху объявила, что он отправится 27 июля с визитом в Вашингтон, на 28 июля у него запланирована встреча с Трампом в Белом доме
    Канцелярия Нетаньяху объявила, что он отправится 27 июля с визитом в Вашингтон, на 28 июля у него запланирована встреча с Трампом в Белом доме

  • Президент Бангладеш подал в отставку из-за болезни. «Я болен, поэтому всё кончено», — приводит его слова новостной бангладешский портал bdnews24

  • Путин поздравил президента Узбекистана с днем рождения, отметив его вклад в упрочение российско-узбекистанского партнерства, сообщает Кремль

  • Трамп заявил, что ущерб, нанесенный торговым судам, будет возмещаться из иранских средств, замороженных в США

  • Иран не готов к договоренности с США, и Вашингтону нужно продолжать боевые действия, считает Трамп
    Иран не готов к договоренности с США, и Вашингтону нужно продолжать боевые действия, считает Трамп

  • Председатель КНР Си Цзиньпин посетит США с визитом 24 сентября, объявил в четверг американский президент Дональд Трамп

  • Президент Бангладеш Шахабуддин Чуппу намерен в пятницу подать в отставку. Об этом со ссылкой на источники сообщил Reuters

  • Сергей Лавров прибыл в Киргизию. 24 июля он примет участие в совещании глав МИД стран ШОС
    Сергей Лавров прибыл в Киргизию. 24 июля он примет участие в совещании глав МИД стран ШОС

  • Рубио заявил, что у него был «хороший, честный разговор» с Лавровым. Также он добавил, что США готовы сыграть конструктивную роль

  • Рубио сообщил, что обсудил с Лавровым отношения между США и РФ
    Рубио сообщил, что обсудил с Лавровым отношения между США и РФ

  • Трамп считает, что Иран очень скоро будет готов к заключению сделки с США. «Каждый раз, когда они согласовывают сделку, они хотят изменить ее. Они не готовы, но очень скоро они будут готовы», — заявил американский лидер

  • Авиаперевозки пассажиров между Россией и Китаем в этом году выросли почти на 50%. Как сообщили РИА Новости в Минтрансе России, в январе-мае они превысили 900 000 человек

  • Встреча с Рубио согласована и состоится 23 июля в первой половине дня. Лавров сообщил, что он поинтересуется у Рубио о словах Трампа относительно возможности скорого урегулирования конфликта на Украине
    Встреча с Рубио согласована и состоится 23 июля в первой половине дня. Лавров сообщил, что он поинтересуется у Рубио о словах Трампа относительно возможности скорого урегулирования конфликта на Украине

  • Тегеран обращался к Вашингтону по поводу переговоров для урегулирования вооруженного конфликта, но США не считают, что Иран настроен серьезно. Об этом заявил американский госсекретарь Марко Рубио

  • Защита и обвинение по делу Мадуро предложили начать суд по существу в июне 2027 года. Об этом говорится в электронной базе суда Нью-Йорка
    Защита и обвинение по делу Мадуро предложили начать суд по существу в июне 2027 года. Об этом говорится в электронной базе суда Нью-Йорка

  • Изоляции РФ на мировой арене нет и даже не предвидится. В «двадцатке» и АТЭС спрос на встречи с Лавровым всегда огромный. Об этом заявил в интервью ТАСС посол по особым поручениям российского МИД Марат Бердыев

  • США транслируют сигнал, что хотят видеть Путина на саммите «двадцатки» в Майами. Об этом заявил в интервью ТАСС посол по особым поручениям МИД РФ. По мнению Марата Бердыева, «это не политический реверанс, а рациональная логика»

  • Затраты США на военную операцию против Ирана составляют к настоящему моменту порядка $37,5 млрд. Об этом заявил американский военный министр Пит Хегсет

  • Трамп утверждает, что Иран стремится к проведению новой встречи с США: «Они отчаянно хотят встретиться. Но пока они не будут готовы значимым образом, у нас даже нет заинтересованности в этом»

  • «Если что-то подобное произойдет, мы об этом позаботимся». США примут меры, если хуситы введут морскую блокаду Саудовской Аравии, заявил Трамп
    «Если что-то подобное произойдет, мы об этом позаботимся». США примут меры, если хуситы введут морскую блокаду Саудовской Аравии, заявил Трамп

  • США могут ввести новые пошлины на импорт из Канады из-за лесных пожаров, сообщил Трамп. Он добавил, что в американском штате Мичиган ранее из-за загрязнения воздуха была нарушена работа некоторых компаний

  • Путин продлил безвизовый въезд для граждан Китая до конца 2027 года
    Путин продлил безвизовый въезд для граждан Китая до конца 2027 года
  • Энди Бернэм вступил в должность премьера Великобритании, получив от Карла III мандат на формирование правительства, сообщает Букингемский дворец
    Энди Бернэм вступил в должность премьера Великобритании, получив от Карла III мандат на формирование правительства, сообщает Букингемский дворец
  • Король Карл III принял отставку Стармера с поста премьера Британии, сообщила королевская пресс-служба
    Король Карл III принял отставку Стармера с поста премьера Британии, сообщила королевская пресс-служба

  • Германия не делала практических шагов для возобновления диалога с Россией, заявил Песков. Он отметил, что Россия остается открытой к диалогу с Европой и никогда не была инициатором сворачивания отношений

  • Россия готова содействовать мирному урегулированию разногласий как между США и Ираном, так и между иранцами и арабами. Об этом замглавы МИД РФ Александр Алимов заявил «Известиям»
    Россия готова содействовать мирному урегулированию разногласий как между США и Ираном, так и между иранцами и арабами. Об этом замглавы МИД РФ Александр Алимов заявил «Известиям»

  • Трамп заявил о поддержке планов Бернэма по наращиванию добычи нефти в Северном море. Нефть "превратит Соединенное Королевство из нищей страны в одно из самых богатых в мире государств", отметил американский президент

  • Дональд Трамп заявил, что его совершенно не волнует приостановка властями Ирана выполнения обязательств по меморандуму о взаимопонимании с США

  • Артистов и спортсменов России ни у кого отменить не получится, заявил в интервью ТАСС американский продюсер Стивен Мао. Он убежден, что «русская культура, русское искусство и русский спорт принадлежат миру»

  • Трамп пригрозил Канаде увеличением таможенных пошлин из-за лесных пожаров, дым от которых окутал несколько крупных городов США
    Трамп пригрозил Канаде увеличением таможенных пошлин из-за лесных пожаров, дым от которых окутал несколько крупных городов США

  • Венесуэла получила доступ к собственным средствам в МВФ в размере $346 млн, которые будут направлены на ликвидацию последствий землетрясения. Об этом сообщила уполномоченный президент боливарианской республики Делси Родригес

  • Глава FIFA и Белый дом обсудят риски проведения финала чемпионата мира по футболу. Об этом сообщил корреспондент Sky News Роб Харрис. Риски связаны с дымом от лесных пожаров в районе Нью-Йорка и Нью-Джерси

  • Apple меньше суток пробыла самой дорогостоящей компанией в мире. Ее обошла Nvidia, свидетельствуют данные торгов

Вы уверены, что хотите выйти из аккаунта?