Как с вами связаться

Введите сообщение

Войти

Как с вами связаться

Введите сообщение

Войти
Аватар сообщества Т-ТЕХНОЛОГИИ [новости]

Т-ТЕХНОЛОГИИ [новости]

НОВОСТИ АКЦИЙ РОССИИ

Какие возможности открывает ATGen для быстрой и дешёвой разметки данных в ИИ-проектах?

4 479

    Исследователи R&D-центра Т‑Технологий вместе с российскими разработчиками научились снижать стоимость сбора и разметки данных для ИИ в 3 раза. Российская команда разработчиков из R&D-центра Т-Технологий, AIRI, Высшей школы экономики, университета «Иннополис» и Центра практического искусственного интеллекта Сбера создала ATGen — первый комплексный фреймворк для обучения больших языковых моделей, который значительно упрощает и удешевляет этот процесс. Новый инструмент переосмысливает подход к обучению искусственного интеллекта, делая его доступным для малых команд и компаний с ограниченными бюджетами. Презентация ATGen состоялась на 63-й ежегодной встрече Ассоциации вычислительной лингвистики (ACL 2025) в Вене, крупнейшей международной конференции уровня А. Одной из главных проблем при разработке генеративных ИИ-решений для специфических задач, таких как анализ юридических документов, является необходимость большого объема качественно размеченных данных. Этот процесс требует либо значительных затрат на работу высококвалифицированных специалистов, таких как юристы или врачи, либо крупных расходов на доступ к большим языковым моделям через API. ATGen использует активное обучение, при котором модель сама выбирает, какие данные ей нужны для максимального повышения точности. Этот подход позволяет сократить объем размеченных данных в 2–4 раза, сохраняя или даже улучшая качество конечной модели. ATGen — это не просто набор алгоритмов, а фреймворк, объединяющий передовые методы активного обучения (AL). Он также включает удобный веб-интерфейс для ручной разметки данных, инструменты для оценки моделей по популярным метрикам, интеграцию с большими языковыми моделями, такими как OpenAI и Anthropic, и современные методы эффективного обучения и инференса (PEFT, vLLM, Unsloth и другие). Фреймворк поддерживает: - все современные стратегии активного обучения для задач генерации текстов; - веб-интерфейс для настройки параметров активного обучения, отслеживания процесса обучения и просмотра метрик; - интеграцию с локальными и API-доступными LLM; - OpenAI batch API для дальнейшего сокращения расходов на разметку. Исследователи провели серию экспериментов на четырех задачах генерации: ответы на вопросы (TriviaQA), решение задач (GSM8K), понимание текста (RACE) и суммаризация (AESLC). Они сравнили различные AL-стратегии со случайным выбором данных и обнаружили, что HUDS, HADAS и Facility Location значительно превосходят случайный выбор на всех бенчмарках. Для достижения аналогичного качества модели при активном обучении требуется размечать лишь 33% данных, необходимых при случайной выборке, что сокращает расходы на сбор данных в три раза. ATGen уникален тем, что объединяет лучшие современные методы активного обучения, автоматическую разметку с помощью мощных языковых моделей, удобный веб-интерфейс и продвинутую систему оценки. Все это предназначено для решения задач по генерации естественного языка. Фреймворк ATGen доступен на GitHub под лицензией MIT и подходит для команд любого масштаба, работающих в различных отраслях — от юриспруденции до медицины или создания специализированных ассистентов. Его главное преимущество — значительное сокращение расходов и ускорение вывода ИИ-продуктов на рынок благодаря быстрому получению обучающих данных и разработке кастомизированных моделей. [Больше новостей находятся в нашем мобильном приложении MONDIARA](https://mondiara.com/) Скачайте бесплатное приложение в [App Store](https://apps.apple.com/ru/app/m-o-n-d-i-a-r-a/id6475953453) или [Google Play](https://play.google.com/store/apps/details?id=com.mondiara.app) Источник: www.tbank.ru*

    Пост взят с международного финтех-медиа ресурса

    Другие новости сообщества / НОВОСТИ АКЦИЙ РОССИИ

    EXPRESS NEWS

    • Новая обложка The Economist
      Новая обложка The Economist

      ❗️ . Если перемирие положит конец войне с Ираном, самым большим проигравшим станет Дональд Трамп

    • ‼️ Трамп объявил о начале блокады Ормузского пролива: США будут задерживать суда и уничтожать иранские мины. Речь идет о задержке судов, которые прошли процедуру согласования на вход/выход с КСИР, то есть с грузами в азиатском направлении сбыта. Турецкие источники сообщают, что вчера на переговорах в Исламабаде Уиткофф и Аракчи чуть не подрались из-за разногласий в отношении Ормуза

    • 🗣 Дни, когда 70 центов с каждого доллара направлялись на военные расходы Соединённых Штатов, закончились, и Оттава больше не будет платить за это, — премьер-министр Канады Карни

    • ⚡️ Два эсминца класса Arleigh Burke Военно-морских сил США попытались пройти через Ормузский пролив, однако после угроз со стороны Корпуса стражей исламской революции Ирана и запуска беспилотника в направлении судов были вынуждены повернуть назад, сообщает Bloomberg

    • ❗️ США нанесли удары по десяткам тысяч целей в Иране, однако иранский потенциал по-прежнему сохраняется, — The Times of Israel

    • 🚨 На фоне стремительного истощения арсеналов США Китай внимательно наблюдает за ситуацией. За считанные недели США израсходовали около 25 процентов всего своего запаса стратегических ракет, которые являются ключевыми для сдерживания Китая в сценарии вокруг Тайваня, — The Washington Post

    • ⚔️ Швеция задержала судно «Hui Yuan» из России. Судно шло из РФ в Испанию под панамским флагом и с китайским названием. Шведские власти обвинили сухогруз в нарушении экологических норм. Основанием для задержания стало то, что с борта в море якобы скидывали уголь

    • 🚨 Президент Турции Реджеп Тайип Эрдоган предупредил, что Турция может провести военную интервенцию против Израиля, аналогичную её операциям в Ливии и Нагорном Карабахе

    • ⚠️ Трамп поделился статьей, в которой говорится, что у него есть возможность ввести морскую блокаду Ирана

    • ❗️ Глава евродипломатии Кая Каллас училась в советской школе, но это была плохая школа. На это обратил внимание пресс-секретарь президента РФ Дмитрий Песков в разговоре с корреспондентом «Вестей» Павлом Зарубиным, передает ТАСС

    • 🗣 «Вина за провал „переговоров“ в Пакистане лежит на США, которые редко ведут переговоры честно, проявляют вероломство и настаивают на выдвижении максималистских требований», — написал он в Х. По его мнению, в ситуации вокруг Тегерана Вашингтон «не заинтересован во взаимных уступках, а стремится только отдавать приказы» — Альфред де Зайас

    • ⚡️ Наследный принц эмирата Абу-Даби (ОАЭ) шейх Халед бен Мухаммед Аль Нахайян нанесет визит в Китай с 12 по 14 апреля. Об этом сообщил МИД КНР. Как уточняется в распространенном сообщении внешнеполитического ведомства, Аль Нахайян посетит Китай по приглашению премьера Госсовета КНР Ли Цяна

    • ⚡️ Иранская делегация покинула Исламабад после переговоров с США. Об этом сообщило агентство Tasnim. «Иранская делегация покинула Пакистан», — отметило оно

    • 🤝 Иран поблагодарил Исламабад за посредничество в переговорах с США и продолжит контакты с Пакистаном после них. Об этом заявил представитель иранского министерства иностранных дел Эсмаил Багаи

    • ✈️ Пресс-пул американского вице-президента Джей Ди Вэнса сообщил о его вылете из Пакистана, где состоялись консультации США и Ирана. Как отмечается в сообщении, Вэнс поднялся по трапу в 05:08 мск

    • 🗣 Американский президент Дональд Трамп считает переговоры между США и Ираном в Пакистане насыщенными, но не готов сейчас прогнозировать, какими будут их итоги. «Мы ведем очень насыщенные переговоры с Ираном», — сказал он журналистам на Южной лужайке Белого дома

    • 🇺🇸🇮🇷 Иран и США достигли понимания по ряду вопросов, но по 2–3 важным темам мнения разошлись, — МИД Ирана. Переговоры с самого начала проходили в атмосфере недоверия и подозрений. Переговоры продолжались 21 час

    • 🗣 Пакистанский посол в Москве Файсал Нияз Тирмизи заявил, что у президента России Владимира Путина всегда есть приглашение посетить Исламабад. «Да, всегда», — сказал он в интервью RTVI, отвечая на соответствующий вопрос. Дипломат подчеркнул, что президента России очень уважают в Пакистане

    • ❗️ Согласно заявлению, эсминцы USS Frank E. Peterson (DDG 121) и USS Michael Murphy (DDG 112) прошли через Ормузский пролив и действовали в Персидском заливе в рамках более широкой миссии по обеспечению полного очищения пролива от морских мин, ранее установленных Корпусом стражей исламской революции Ирана (КСИР)

    • ⚡️ В переговорах США и Ирана объявлен двухчасовой перерыв. По сведениям агентства Tasnim, переговоры, которые сначала планировались как однодневные, могут продолжаться и завтра.

    • 🚫 The Wall Street Journal: эпоха свободных морей подходит к концу, отныне всем придётся платить. «Пошлины» Ирана в Ормузском проливе подорвали многолетнее морское доминирование США. Взимая плату и вводя ограничения, Иран фактически взял под контроль торговые потоки

    • Президент Джибути Исмаил Омар Гелле выиграл выборы на шестой срок
      Президент Джибути Исмаил Омар Гелле выиграл выборы на шестой срок

      ⚡️ , получив 97,81% голосов. Джибути — страна площадью 23 тысячи квадратных километров на северо-востоке Африки с населением около миллиона человек, которая занимает очень важное место в мировой логистике, частично контролируя Баб-эль-Мандебский пролив

    • Встреча премьер-министра Пакистана с иранской делегацией
      Встреча премьер-министра Пакистана с иранской делегацией

    • 🇮🇷 Заседание иранской переговорной делегации в Исламабаде

    • ‼️ Великобритания собирается воевать с западной цивилизацией. Такое мнение выразил спецпредставитель президента РФ по инвестиционно-экономическому сотрудничеству с зарубежными странами, глава РФПИ Кирилл Дмитриев

    • ⚡️ Американский телеканал CBS выступил с утверждением, что консультации в Пакистане с участием делегаций США и Ирана начались. По словам его источников из числа американских должностных лиц, «консультации в Исламабаде начались». «Неясно, во сколько начались переговоры и являются ли они прямыми», — отмечается в сообщении

    • ❌ Соединенные Штаты пока не достигли с Ираном никаких договоренностей по обозначенным исламской республикой красным линиям. Об этом сообщил американский телеканал CBS со ссылкой на источник из числа представителей правительства США

    • ⚡️ Индийское судно Jag Vikram благополучно прошло через Ормузский пролив. Об этом журналистам сообщили в министерстве портов и судоходства Индии. По данным ведомства, на борту судна находится около 20,4 тыс. тонн груза сжиженных углеводородных газов (СУГ), экипаж составляет 24 моряка. Прибытие судна в порт индийского Мумбаи ожидается 15 апреля

    • ⚠️ Премьер-министр Великобритании ненавидит своих граждан и разрушает их жизнь отсутствием топлива и массовой миграцией. Такое мнение выразил спецпредставитель президента РФ по инвестиционно-экономическому сотрудничеству с зарубежными странами, глава РФПИ Кирилл Дмитриев

    • ⚡️ Соединенные Штаты не соглашались на размораживание каких-либо иранских активов. Об этом сообщил американский телеканал CBS со ссылкой на источник в правительстве США. Ранее агентство Reuters со ссылкой на иранский высокопоставленный источник передавало, что Вашингтон согласился разблокировать активы Ирана — CBS

    • 🚨 Сбои в Ормузском проливе привели к росту затрат на строительство и к сокращению глобального предложения жилья. Эти последствия сохранятся даже после окончания конфликта. Пока маршруты морских перевозок остаются нестабильными, рост стоимости строительных материалов, логистики и цепочек поставок может удерживать высокие цены на жильё в мировом масштабе, — The National Interest

    • ⚠️ Эксперты считают, что ракетные и беспилотные удары Ирана по американским базам в регионе резко поставили под сомнение эффективность этих баз и превратили их из инструмента сдерживания в уязвимые цели. Широкое военное присутствие США в регионе не только не гарантирует безопасность стран-хозяев, но и подвергает их риску прямых атак, — Middle East Eye

    • Переговорный стол в Исламабаде
      Переговорный стол в Исламабаде

    • ⚠️ Группа, представляющая интересы аэропортовой отрасли, предупредила, что если Ормузский пролив не будет «существенно и устойчиво» открыт в течение ближайших трёх недель, Европа может столкнуться с системной нехваткой авиационного топлива, - CNN

    • ⚡️ Трамп представил проект новой 76-метровой триумфальной арки, которую он намерен построить в столице США Вашингтоне

    • ‼️ США во время переговоров согласились разблокировать замороженные активы Ирана, - Reuters. Высокопоставленный иранский источник издания сообщил, что шаг «напрямую связан с обеспечением безопасного прохода через Ормузский пролив»

    • ‼️ Иранская делегация на предстоящих в Исламабаде переговорах с США наделена полномочиями для принятия окончательных решений и не обязана дополнительно консультироваться с Тегераном. Об этом сообщила газета The New York Times (NYT) со ссылкой на три высокопоставленных источника в делегации исламской республики

    • ⚡️ Вице-президент США Джей Ди Вэнс прибыл в отель Serena в Исламабаде, где в субботу должны пройти американо-иранские переговоры с участием Пакистана. Об этом сообщила газета The New York Times

    • ❌ Посол Израиля в Вашингтоне Йехиэль Лайтер заявил, что не будет обсуждать с ливанской коллегой Надой Хаммаде-Муаввад прекращение огня с шиитским движением «Хезболлах» на переговорах 14 апреля под эгидой США

    • Переговоры Ирана и США в Исламабаде начнутся после 15:00 по Москве. Делегации США и Ирана находятся в Исламабаде и готовятся к переговорам
      Переговоры Ирана и США в Исламабаде начнутся после 15:00 по Москве. Делегации США и Ирана находятся в Исламабаде и готовятся к переговорам

    Вы уверены, что хотите выйти из аккаунта?