VK представила RuModernBERT — быструю нейросеть для обработки разговорного русского языка
VK представила RuModernBERT — открытую нейросеть для обработки разговорного русского языка Технологическая команда VK открыла доступ к нейросетевой модели RuModernBERT, предназначенной для работы с современным и разговорным русским языком. Новая модель способна обрабатывать длинные тексты целиком без предварительного разбиения, функционирует локально и не требует подключения к внешним API — это снижает нагрузку на инфраструктуру и делает использование модели более безопасным и эффективным. RuModernBERT может применяться в широком спектре задач: от анализа тональности и извлечения информации до интеллектуального поиска и ранжирования данных. Она подходит для встраивания в приложения и сервисы, а также способна интерпретировать сложные пользовательские запросы, помогая находить наиболее релевантный контент — будь то документы, товары или видео. Модель обучена на 2 трлн токенов на русском и английском языках, а также на программном коде. Контекст модели охватывает до 8192 токенов, что позволяет ей эффективно работать с длинными сообщениями. В обучении использовались разнообразные источники: книги, статьи, посты и комментарии в соцсетях, что сделало RuModernBERT особенно чувствительной к современному языковому стилю и разговорной речи. Доступны две основные версии модели — на 150 млн параметров и облегчённая на 35 млн, а также обновлённые версии USER и USER2. Последняя включает технологию, позволяющую значительно сократить объем обрабатываемых данных при сохранении точности. По сравнению с предшественником ModernBERT, новая модель работает в 2–3 раза быстрее на длинных контекстах и обеспечивает на 10–20% более высокую эффективность обучения и развёртывания. RuModernBERT уже интегрирована в ключевые продукты VK, которыми ежедневно пользуются миллионы пользователей. [Больше новостей находятся в мобильном приложение MONDIARA](https://mondiara.com/) Скачайте бесплатное приложение в [App Store](https://apps.apple.com/ru/app/m-o-n-d-i-a-r-a/id6475953453) или [Google Play](https://play.google.com/store/apps/details?id=com.mondiara.app) Источник: www.cnews.ru
Пост взят с международного финтех-медиа ресурса
ДЛЯ ЛЮДЕЙ