ЯНДЕКС [новости]

НОВОСТИ АКЦИЙ

Браузерный гигант: как проект с открытым исходным кодом позволяет использовать большие языковые модели на обычных компьютерах и смартфонах

2024-12-09T17:29:56+03:00 13

Браузерный гигант: как проект с открытым исходным кодом позволяет использовать большие языковые модели на обычных компьютерах и смартфонах. Владимир Малиновский, исследователь из Яндекса, создал проект с открытым исходным кодом для использования больших языковых моделей с 8 миллиардами параметров на обычных компьютерах и смартфонах через браузер. Это позволяет сократить расходы на вычислительные мощности и делает разработку и использование LLM более доступными. Исходный код проекта доступен на GitHub. Летом 2024 года команда Yandex Research совместно с исследователями из университетов ISTA и KAUST разработала технологию сжатия нейросетей AQLM, которая позволила перенести все вычисления на устройство и отказаться от дорогостоящих графических процессоров. Тестирование проекта доступно по ссылке. Загруженная модель Llama3.1-8B весит всего 2,5 ГБ и может работать без подключения к интернету. Скорость ответов нейросети зависит от производительности устройства, например, на MacBook Pro M1 она составляет 1,5 токена в секунду или 3–4 символа. Программа написана на Rust с использованием технологии WebAssembly, что позволяет запускать проект на любом языке внутри браузера. Модель сжата с помощью комбинации методов AQLM и PV-tuning, уменьшающих размер модели до восьми раз и ускоряющих её работу, а также исправляющих ошибки для сохранения качества. Это позволило сохранить около 80% от первоначального качества ответов Llama3.1-8B. Подробнее о методах сжатия можно узнать из статьи на Habr. Источник: www.yandex.ru