Как с вами связаться

Введите сообщение

Войти

Как с вами связаться

Введите сообщение

Войти
Аватар сообщества ЯНДЕКС [новости]

ЯНДЕКС [новости]

НОВОСТИ АКЦИЙ РФ

Языковая модель

124
Языковая модель

YandexGPT 5 Lite Pretrain: большая языковая модель. Яндекс представил YandexGPT 5 Lite Pretrain — большую языковую модель (LLM) с 8 миллиардами параметров, способную понимать контекст до 32 тысяч токенов. Модель превосходит зарубежные аналоги по качеству ответов и может быть адаптирована под любые задачи. Модель обучалась на русскоязычных и англоязычных текстах, коде, вычислениях и других данных общим объёмом 15 триллионов токенов, что эквивалентно 2,5 миллиардам веб-страниц. На втором этапе использовались высококачественные данные объёмом 320 миллиардов токенов, включая образовательные тексты. Яндекс улучшил метод отбора данных для обогащения модели. Модель компактна и не требует больших вычислительных мощностей, что делает её полезной для разработки, бизнеса и научных исследований. По сравнению с предыдущими версиями, она показывает значительный рост качества в решении математических задач и написании кода, а также лидирует в большинстве типов задач. В 2022 году Яндекс уже публиковал модель YaLM-100B и продолжает делиться открытыми решениями в области ML, включая библиотеку YaFSDP для ускорения обучения LLM до 25%. YandexGPT 5 Lite Pretrain бесплатна на платформе HuggingFace и является частью семейства YandexGPT 5. Модель YandexGPT 5 Pro доступна на облачной платформе Yandex Cloud и в чате с Алисой. Для её обучения использовались методы обучения с подкреплением DPO и PPO, а также модификация LogDPO для повышения стабильности. Оптимизация процесса обучения снизила потребность в вычислительных ресурсах на 25%. Источник: www.yandex.ru

#ии #искусственный интеллект #яндекс #yandexgpt
Войти

Войдите, чтобы оставлять комментарии

Другие новости сообщества / НОВОСТИ АКЦИЙ РФ

Вы уверены, что хотите выйти из аккаунта?