Как с вами связаться

Введите сообщение

Как с вами связаться

Введите сообщение

Аватар сообщества Т-ТЕХНОЛОГИИ: НОВОСТИ

Т-ТЕХНОЛОГИИ: НОВОСТИ

Т-ТЕХНОЛОГИИ: последние новости сегодня

Какие возможности открывает ATGen для быстрой и дешёвой разметки данных в ИИ-проектах?

4 482

    Исследователи R&D-центра Т‑Технологий вместе с российскими разработчиками научились снижать стоимость сбора и разметки данных для ИИ в 3 раза. Российская команда разработчиков из R&D-центра Т-Технологий, AIRI, Высшей школы экономики, университета «Иннополис» и Центра практического искусственного интеллекта Сбера создала ATGen — первый комплексный фреймворк для обучения больших языковых моделей, который значительно упрощает и удешевляет этот процесс. Новый инструмент переосмысливает подход к обучению искусственного интеллекта, делая его доступным для малых команд и компаний с ограниченными бюджетами. Презентация ATGen состоялась на 63-й ежегодной встрече Ассоциации вычислительной лингвистики (ACL 2025) в Вене, крупнейшей международной конференции уровня А. Одной из главных проблем при разработке генеративных ИИ-решений для специфических задач, таких как анализ юридических документов, является необходимость большого объема качественно размеченных данных. Этот процесс требует либо значительных затрат на работу высококвалифицированных специалистов, таких как юристы или врачи, либо крупных расходов на доступ к большим языковым моделям через API. ATGen использует активное обучение, при котором модель сама выбирает, какие данные ей нужны для максимального повышения точности. Этот подход позволяет сократить объем размеченных данных в 2–4 раза, сохраняя или даже улучшая качество конечной модели. ATGen — это не просто набор алгоритмов, а фреймворк, объединяющий передовые методы активного обучения (AL). Он также включает удобный веб-интерфейс для ручной разметки данных, инструменты для оценки моделей по популярным метрикам, интеграцию с большими языковыми моделями, такими как OpenAI и Anthropic, и современные методы эффективного обучения и инференса (PEFT, vLLM, Unsloth и другие). Фреймворк поддерживает: - все современные стратегии активного обучения для задач генерации текстов; - веб-интерфейс для настройки параметров активного обучения, отслеживания процесса обучения и просмотра метрик; - интеграцию с локальными и API-доступными LLM; - OpenAI batch API для дальнейшего сокращения расходов на разметку. Исследователи провели серию экспериментов на четырех задачах генерации: ответы на вопросы (TriviaQA), решение задач (GSM8K), понимание текста (RACE) и суммаризация (AESLC). Они сравнили различные AL-стратегии со случайным выбором данных и обнаружили, что HUDS, HADAS и Facility Location значительно превосходят случайный выбор на всех бенчмарках. Для достижения аналогичного качества модели при активном обучении требуется размечать лишь 33% данных, необходимых при случайной выборке, что сокращает расходы на сбор данных в три раза. ATGen уникален тем, что объединяет лучшие современные методы активного обучения, автоматическую разметку с помощью мощных языковых моделей, удобный веб-интерфейс и продвинутую систему оценки. Все это предназначено для решения задач по генерации естественного языка. Фреймворк ATGen доступен на GitHub под лицензией MIT и подходит для команд любого масштаба, работающих в различных отраслях — от юриспруденции до медицины или создания специализированных ассистентов. Его главное преимущество — значительное сокращение расходов и ускорение вывода ИИ-продуктов на рынок благодаря быстрому получению обучающих данных и разработке кастомизированных моделей. [Больше новостей находятся в нашем мобильном приложении MONDIARA](https://mondiara.com/) Скачайте бесплатное приложение в [App Store](https://apps.apple.com/ru/app/m-o-n-d-i-a-r-a/id6475953453) или [Google Play](https://play.google.com/store/apps/details?id=com.mondiara.app) Источник: www.tbank.ru*

    Пост взят с международного финтех-медиа ресурса

    Другие новости сообщества / Т-ТЕХНОЛОГИИ: последние новости сегодня

    EXPRESS NEWS

    • Кремль не исключает разговора Путина и Трампа по итогам поездки переговорщиков США в Москву и в Киев, сообщил Песков
      Кремль не исключает разговора Путина и Трампа по итогам поездки переговорщиков США в Москву и в Киев, сообщил Песков

    • Трамп в Truth Social назвал Луну собственностью США

    • Старший сын Трампа прибыл в Таллин, пишет газета Postimees. Цель его визита неизвестна. Посольство США в Эстонии в ответ на запросы со стороны Postimees и портала Delfi отказалось комментировать поездку Дональда Трампа-младшего
      Старший сын Трампа прибыл в Таллин, пишет газета Postimees. Цель его визита неизвестна. Посольство США в Эстонии в ответ на запросы со стороны Postimees и портала Delfi отказалось комментировать поездку Дональда Трампа-младшего

    • Факт встречи Путина с Уиткоффом и Кушнером означает атмосферу доверия, по крайней мере, на этом канале общения, отметил Песков в разговоре с журналистом «Вестей» Зарубиным

    • Трехсторонняя встреча лидеров РФ, США и Китая не исключается, заявил ТАСС Рябков
      Трехсторонняя встреча лидеров РФ, США и Китая не исключается, заявил ТАСС Рябков

    • РФ и США надо развивать взаимодействие в тех сферах экономики и бизнеса, где это отвечает взаимным интересам, заявил ТАСС Силуанов

    • Трамп заявил, что США могут «очень скоро» нанести удар по предполагаемому иранскому ядерному объекту близ Натанза под горой Коланг Газ-Ла
      Трамп заявил, что США могут «очень скоро» нанести удар по предполагаемому иранскому ядерному объекту близ Натанза под горой Коланг Газ-Ла

    • Москва в ближайшее время примет ответные меры на закрытие генконсульства РФ в Бонне, заявил посол в Германии Нечаев

    • Председатель Верховного суда России Игорь Краснов прибыл с официальным визитом в Нью-Дели, передает корреспондент ТАСС
      Председатель Верховного суда России Игорь Краснов прибыл с официальным визитом в Нью-Дели, передает корреспондент ТАСС

    • Трамп заявил, что США в ближайшее время возобновят продажи боеприпасов союзникам

    • Пашинян заявил, что Армения не собирается вводить визы для граждан России
      Пашинян заявил, что Армения не собирается вводить визы для граждан России

    • Китай готов развивать обмены с РФ в сферах культуры, туризма и образования, сообщил вице-премьер Госсовета КНР

    • РФ за полноформатное восстановление отношений с США, сообщил Путин. Контакты РФ с администрацией США продолжаются, президент видит позитивный настрой Трампа на конструктивную работу
      РФ за полноформатное восстановление отношений с США, сообщил Путин. Контакты РФ с администрацией США продолжаются, президент видит позитивный настрой Трампа на конструктивную работу

    • Трамп заявил, что для бизнеса было бы отлично поддерживать хорошие отношения с Россией

    • Трамп заявил, что готов провести встречу с Путиным, когда стороны будут готовы заключить мирное соглашение по Украине
      Трамп заявил, что готов провести встречу с Путиным, когда стороны будут готовы заключить мирное соглашение по Украине

    • ВС США уничтожили 28 кораблей в Ормузском проливе в ночь на 1 сентября, заявил Трамп в интервью автору подкаста Lt. Dan Дэну Патрику

    • ЕК предложила включить в 22-й пакет санкций 1600 российских физлиц и компаний, заявила Каллас
      ЕК предложила включить в 22-й пакет санкций 1600 российских физлиц и компаний, заявила Каллас

    • Трамп думает над тем, чтобы назвать Ормузский пролив в свою честь. «Как и сама Америка, Ормузский пролив станет "горячее", чем когда-либо!» — отметил американский президент

    • «Большое число» россиян могут внести в новые санкционные списки ЕС, которые предложила ФРГ. Об этом заявил глава МИД страны Йоханн Вадефуль

    • Добыча нефти в Венесуэле может превысить 1,5 млн баррелей в сутки в первой половине следующего года. Об этом заявил Крис Райт в интервью телеканалу CNBC
      Добыча нефти в Венесуэле может превысить 1,5 млн баррелей в сутки в первой половине следующего года. Об этом заявил Крис Райт в интервью телеканалу CNBC

    • Каллас заявила, что вызвала исполняющего обязанности постпреда России при ЕС в связи с инцидентом в Лейпциге

    • Ушаков опроверг, что Путин не захотел встречаться с главой ЦРУ, и подчеркнул в разговоре с журналистом Life Юнашевым, что таких планов и не было

    • В ФРГ делают всё, чтобы изничтожить всё позитивное, что было накоплено в отношениях с РФ десятилетиями. Об этом заявила Мария Захарова на полях ВЭФ

    • Бессент отметил важность контактов с РФ для урегулирования на Украине
      Бессент отметил важность контактов с РФ для урегулирования на Украине
    • Контакты между спецслужбами осуществляются всегда, заявил Путин, говоря о визите главы ЦРУ
      Контакты между спецслужбами осуществляются всегда, заявил Путин, говоря о визите главы ЦРУ

    • США уничтожат Иран в случае новых ответных атак, утверждает Трамп в интервью Fox News. Он считает, что иранские власти «не останавливаются», и назвал их действия «безумными» и «глупыми»

    • Германия идет по дальнейшему пути эскалации, обвинения в отношении России после инцидента в Лейпциге не подкреплены никакой аргументацией со стороны Берлина, заявил Дмитрий Песков
      Германия идет по дальнейшему пути эскалации, обвинения в отношении России после инцидента в Лейпциге не подкреплены никакой аргументацией со стороны Берлина, заявил Дмитрий Песков

    • США нанесли удар по аэропорту в Джирофте на юге Ирана, сообщила иранская гостелерадиокомпания

    • Пашинян назвал очень хорошей встречу с Путиным в Бишкеке и заявил о намерении в ближайшее время совершить визит в Москву
      Пашинян назвал очень хорошей встречу с Путиным в Бишкеке и заявил о намерении в ближайшее время совершить визит в Москву
    • Трамп заявил, что не за горами проведение крупнейшей атаки на Иран, после которой почти ничего не останется
      Трамп заявил, что не за горами проведение крупнейшей атаки на Иран, после которой почти ничего не останется
    • Встреча Путина и Эрдогана завершилась, продлившись около полутора часов, передает корреспондент ТАСС
      Встреча Путина и Эрдогана завершилась, продлившись около полутора часов, передает корреспондент ТАСС
    • Новым гендиректором Apple стал Джон Тернус
      Новым гендиректором Apple стал Джон Тернус

    • Министры обороны ЕС не приняли никаких конкретных решений о предоставлении ракет для Patriot Киеву, заявила Каллас

    • Уиткофф и Кушнер активизируют переговорные усилия на украинском направлении, сообщил источник ТАСС

    • США применили против Ирана меньше оружия, чем передали Киеву при Байдене, заявил Трамп
      США применили против Ирана меньше оружия, чем передали Киеву при Байдене, заявил Трамп

    • Трамп, говоря о приглашении России на мероприятия G20, заявил, что хочет поладить со всеми: «Одна из причин моего успеха заключается в том, что я со всеми лажу»

    • Лионель Месси завершил выступления за сборную Аргентины по футболу. Об этом он сообщил в соцсетях
      Лионель Месси завершил выступления за сборную Аргентины по футболу. Об этом он сообщил в соцсетях

    • Токаев назначил и. о. вице-премьера Аиду Балаеву зампредом Совета безопасности Казахстана. Секретарь Совбеза Гизат Нурдаулетов освобожден от должности, говорится в указе президента.

    • Токаев подписал указ о назначении Ерлана Карина на пост вице-президента Казахстана, сообщает пресс-служба
      Токаев подписал указ о назначении Ерлана Карина на пост вице-президента Казахстана, сообщает пресс-служба

    • США в течение недели введут санкции против одного из банков для давления на Иран, заявил американский министр финансов Скотт Бессент

    Вы уверены, что хотите выйти из аккаунта?