Лаборатория T-Bank AI Research создала новый метод обучения больших языковых моделей
Учёные из T-Bank AI Research улучшили точность и безопасность ИИ-ответов на 15%. Исследователи из лаборатории T-Bank AI Research разработали новую методику обучения больших языковых моделей (LLM), основанную на методах Trust Region, широко используемых в ИИ. Этот подход позволил значительно повысить качество ответов искусственного интеллекта, улучшив их на 15% по пяти ключевым параметрам. Результаты работы были высоко оценены научным сообществом и представлены на конференции ICRL в Сингапуре с 24 по 28 апреля 2025 года. Это одно из ведущих мероприятий в области машинного обучения и ИИ уровня А. Основная идея Современные языковые модели, обучаясь на больших объемах данных, со временем теряют качество из-за долгой тренировки. Исследователи предложили использовать усовершенствованные методы Trust Region, которые позволяют моделям оставаться в заданных рамках и избегать избыточной оптимизации. В экспериментах новый метод был протестирован на метриках Alpaca Eval 2.0 и Arena Hard, оценивающих вежливость, решение сложных задач и обобщение знаний. Результаты показали, что модель с Trust Region улучшила качество ответов с 2.3 до 15.1 процентных пунктов по сравнению с традиционными подходами. Это означает, что виртуальные ассистенты и чат-боты станут более точными и эффективными. При обучении языковых моделей существует риск «заблуждения» из-за избыточной оптимизации. Модель может начать генерировать только вежливые фразы без содержания или сосредоточиться на случайных ошибках. Чтобы избежать этого, учёные предложили периодически обновлять «настройки по умолчанию». Trust Region позволяет моделям отмечать ключевые ориентиры на пути к оптимизации. Это помогает избежать отклонений и быстрее достигать целевой точки. В отличие от стандартных методов, где используются фиксированные параметры, Trust Region применяет два подхода: 1. Мягкое обновление: небольшие изменения на каждом шаге обучения. 2. Жёсткое обновление: полное обновление модели с определённой периодичностью. Эксперименты показали, что эти обновления делают ответы моделей более понятными и безопасными. Например, модели, обученные с Trust Region, сокращали тексты на 10–15% лучше, чем традиционные методы. Они реже путались в сложных задачах и точнее следовали инструкциям пользователей. Метод Trust Region можно применять в различных областях, таких как образование, медицина и другие сферы, где используются виртуальные ассистенты и чат-боты. Это позволит снизить количество непонятных ответов и улучшить качество рекомендаций. Основные преимущества метода: 1. Улучшение качества: тексты, сгенерированные с Trust Region, превосходят традиционные методы по пяти параметрам: точность, связность, стиль, логика и информативность. 2. Снижение эффекта избыточной оптимизации: модели меньше «зацикливаются» на случайных ошибках. 3. Простота реализации: метод легко интегрируется в существующие алгоритмы. В будущем Trust Region станет основой для более эффективных языковых моделей и новой парадигмы в развитии ИИ. Борис Шапошников, руководитель научной группы AI Alignment, лаборатория исследований искусственного интеллекта T-Bank AI Research: «Наш новый подход позволяет сохранять баланс между способностями модели решать новую узкую задачу и общим пониманием картины мира, что открывает возможности для создания более гибких и адаптивных моделей. Это направление еще далеко не исчерпано — у ученых остается большое пространство для дальнейших исследований ИИ и улучшений, которые могут привести к новым прорывам в оптимизации языковых моделей и их применении в реальном мире». Источник: www.tbank.ru*
Пост взят с международного финтех-медиа ресурса
ДЛЯ ЛЮДЕЙ