Как с вами связаться

Введите сообщение

Войти

Как с вами связаться

Введите сообщение

Войти
Аватар сообщества ВК [новости]

ВК [новости]

НОВОСТИ АКЦИЙ РФ

Какую новую языковую модель представила VK?

3 682
Какую новую языковую модель представила VK?

VK выпустила обновленную языковую модель Diona Новая версия требует меньше вычислительных ресурсов, что позволило снизить нагрузку на инфраструктуру и ускорить внутренние процессы. Инвестиции в разработку могли составить 500–800 млн рублей. Новая версия модели Diona разработана с использованием наработок предыдущей, которую обучали на пользовательском контенте ВКонтакте, включая комментарии из открытых групп. Однако также проведено новое базовое обучение на больших объемах текстов. Сумму инвестиций VK не раскрыла. Источник в крупной российской ИТ-компании оценивает затраты в 500–800 млн рублей. Параметры новой модели выросли в 1,5 раза. Теперь диапазон составляет от 4 до 30 млрд внутренних переменных. Это позволяет лучше распознавать и обрабатывать информацию. Обновленная Diona требует меньше ресурсов, что снижает нагрузку на инфраструктуру и ускоряет внутренние процессы. Она открывает новые возможности для инструментов VK и генеративных функций в продуктах холдинга. Модель лучше справляется с инженерными задачами, генерацией и суммаризацией текстов. ИТ-архитектор «1С ПРО Консалтинг» Алексей Ваганов считает, что разработка модели с параметрами до 30 млрд может стоить дороже 800 млн рублей. Вероятно, VK использовала гибридный подход, дообучая open-source модель на собственных данных и инфраструктурных ресурсах. Модели с параметрами от 4 до 30 млрд занимают средний сегмент на мировом рынке ИИ, отмечает независимый эксперт Алексей Лерон. В VK не раскрыли, на каких аппаратных мощностях обучалась модель, лишь упомянув «внутренние вычислительные ресурсы». Старший разработчик систем ИИ Innostage Александр Лебедев считает, что заявленный диапазон параметров подходит для запуска на потребительских видеокартах или доступных серверных GPU-ускорителях. Обычно компании, использующие локальные опенсорсные решения, выбирают модели размером 14 или 32 млрд параметров. Для действительно мощных моделей, демонстрирующих впечатляющие результаты, требуются сотни миллиардов параметров, вплоть до 1 трлн. Diona сможет учитывать контекст объемом до 32 тыс. токенов (минимальных единиц текста), что в восемь раз больше, чем у предыдущей версии. Алексей Лерон считает, что это нереволюционный показатель по меркам передовых моделей. Однако этого достаточно для работы с документами, анализа деловой переписки и обработки корпоративных отчетов. В будущем VK планирует сделать модель мультимодальной, чтобы она могла анализировать видео, аудио и изображения. Это усилит рекомендательные и поисковые алгоритмы компании. Однако сооснователь Chad AI Артур Кольцов считает, что мультимодальные модели требуют иной архитектуры и обучения. Он полагает, что VK сможет реализовать эту функцию через два-три года, когда появятся более эффективные архитектуры и улучшится доступность оборудования. Пост взят с соцсети [M O N D I A R A](https://i.mondiara.com/) 👉 вот ссылка на канал: https://i.mondiara.com/i/c/vk_news Скачать в [App Store](https://apps.apple.com/ru/app/m-o-n-d-i-a-r-a/id6475953453) Скачать в [Google Play](https://play.google.com/store/apps/details?id=com.mondiara.app) Валюта расчёта - Ваши добрые мысли! Спасибо, что с нами! Источник: www.kommersant.ru

Войти

Войдите, чтобы оставлять комментарии

Аватар пользователя 'АДМИНИСТРАТОР'

АДМИНИСТРАТОР

1.jpg
Аватар пользователя 'АДМИНИСТРАТОР'

АДМИНИСТРАТОР

2.jpg
Аватар пользователя 'АДМИНИСТРАТОР'

АДМИНИСТРАТОР

3.jpg

Другие новости сообщества / НОВОСТИ АКЦИЙ РФ

Вы уверены, что хотите выйти из аккаунта?