Как снизить риски ИИ-галлюцинаций: советы экспертов ВТБ по безопасности и точности искусственного интеллекта
Эксперты ВТБ поделились методами снижения рисков ИИ-галлюцинаций. Специалисты ВТБ рассказали о главных способах борьбы с так называемыми «галлюцинациями» искусственного интеллекта — явлением, когда нейросети генерируют правдоподобный, но недостоверный или полностью вымышленный контент. Такие ошибки могут не только дезориентировать пользователей, но и привести к серьезным финансовым и репутационным потерям для компаний. «Иногда ИИ предлагает несуществующие книги или придумывает условия продуктов, которые на самом деле отсутствуют. Модель не проверяет факты, а лишь подбирает наиболее вероятный ответ, из-за чего и возникают подобные заблуждения. Уменьшить число галлюцинаций помогает точная и чёткая формулировка запросов, но самым надёжным остаётся контроль человеком», — пояснил Лев Меркушов, руководитель направления ИИ-решений ВТБ. Алексей Пустынников, глава команды по разработке моделей, отметил, что ошибки в работе языковых моделей бывают разных типов. Поскольку ИИ не осознаёт смысла информации и не проверяет её достоверность в режиме реального времени, «галлюцинации» могут проявляться как неправильное воспроизведение фактов, придумывание данных или некорректное выполнение инструкций. «Существуют фактические галлюцинации — когда модель ошибочно указывает дату или имя, фабрикация фактов — полностью вымышленные сведения, а также ошибки при следовании указаниям: например, неправильное выполнение задачи или логические промахи», — рассказал Пустынников. Причины подобных сбоев кроются в методах обучения моделей, которые основываются на вероятностях, а не на реальном понимании. Недостаток информации, устаревшие данные или искажения в обучающих выборках приводят к тому, что ИИ пытается «догадаться» недостающие сведения. Дополнительно ошибки усиливаются из-за отсутствия проверки в реальном времени и ограниченного доступа к свежей информации. «Особо сложные и абстрактные задачи увеличивают вероятность ошибок, поэтому мы рекомендуем разбивать такие запросы на последовательные этапы — цепочку рассуждений, а также использовать модели, которые перед ответом обращаются к проверенным базам данных. Дообучение на узкоспециализированных данных и внедрение защитных механизмов — AI guardrails — помогают снижать количество неправильных ответов», — отметил Лев Меркушов. В ВТБ применяются каскадные модели, когда несколько алгоритмов последовательно обрабатывают и корректируют результаты друг друга. Такой подход используется в задачах распознавания речи и текста, а также в прогнозировании операций с наличностью. Сейчас ведется работа над каскадными решениями для интеллектуального поиска по корпоративным знаниям. Особое внимание уделяется качеству исходных данных: фильтрация обучающих выборок и проверка источников экспертами значительно повышают надёжность моделей, хотя и увеличивают затраты на обучение, пояснил Алексей Пустынников. Эксперты банка подчёркивают, что успешное применение искусственного интеллекта требует не только технологической зрелости, но и ответственного отношения к контролю качества данных, прозрачности алгоритмов и человеческому надзору. Такой подход помогает создавать надёжные ИИ-системы, которые поддерживают бизнес, минимизируют риски и укрепляют доверие клиентов. Источник: www.vtb.ru
Пост взят с международного финтех-медиа ресурса
ДЛЯ ЛЮДЕЙ