Как с вами связаться

Введите сообщение

Войти

Как с вами связаться

Введите сообщение

Войти
Аватар сообщества АРЕНАДАТА [новости]

АРЕНАДАТА [новости]

НОВОСТИ АКЦИЙ РОССИИ

Россельхозбанк реализовал проект по созданию нового озера данных с использованием продуктов Arenadata

28

    Россельхозбанк реализовал проект по созданию нового озера данных с использованием продуктов Arenadata. АО «Россельхозбанк» завершил успешный проект по импортозамещению зарубежной платформы Корпоративного Озера данных на решения Группы Arenadata, включающие Arenadata Hadoop (ADH) и Picodata. Переход на отечественное программное обеспечение был осуществлён в краткие сроки, что позволило сохранить непрерывность бизнес-процессов банка. Проект «Импортозамещение Озера данных и создание Аналитической платформы оперативных данных» стартовал в апреле 2023 года и был нацелен на замену большого кластера, работающего на решениях американской компании Cloudera. Департамент больших данных РСХБ поставил перед собой задачу найти надежное отечественное решение, которое смогло бы полностью заменить функциональность популярной платформы Cloudera Data Platform (CDP), используемой в аналитическом контуре банка. В результате сравнительного анализа и тестирования различных решений в качестве целевого кластера были выбраны продукты Arenadata Hadoop (ADH) и Picodata, обеспечившие необходимые функциональные возможности для перехода. Методика миграции была разработана таким образом, чтобы осуществить переход на отечественное ПО поэтапно, постепенно уменьшая использование импортных систем и добавляя ресурсы в новый кластер без значительных перебоев в работе. Проект был реализован без необходимости приобретения дополнительного оборудования: команда применяла метод поэтапной миграции, разделяя текущий кластер и перемещая данные с минимальным снижением производительности. Поскольку миграция охватывала сложные функциональные элементы, такие как Hive, Yarn и Impala, в процессе перехода возникли несоответствия в алгоритмах и особенностях работы по сравнению с CDP. Для преодоления этих проблем использовался широкий набор инструментов, включая: - Привлечение консалтинговых специалистов Arenadata, что позволило задействовать их опыт в аналогичных проектах. - Изучение исходного кода как open source решений, так и продуктов Arenadata для стабилизации функций, что подтвердило важность использования открытого исходного кода. - Оптимизация настроек сервисов Озера, что позволило сохранять стандартные функции управления. - Моделирование на внутренних и партнерских стендах для проверки изменений и оценки их влияния. - Интеграционное тестирование, направленное на обеспечение совместимости различных решений с Arenadata Hadoop. В рамках данного проекта РСХБ также подготовил базу для перехода на архитектуру Lakehouse, что поможет объединить функции озера данных и хранилища данных, ускоряя аналитические процессы. После завершения миграции летом 2024 года к кластеру были добавлены дополнительные вычислительные узлы для повышения отказоустойчивости и расшифровки ресурсов для новых аналитических задач. Внедрение новой платформы уже позволяет РСХБ эффективно решать широкий спектр бизнес-задач и открывает возможности для: - Финансовой аналитики и управленческой отчетности: платформа обеспечивает доступ к данным для разработки управленческой отчетности и служит источником данных для нового BI-решения. - Управления качеством данных: это обеспечивает регулярный контроль качества данных, повышая их точность и достоверность для принятия решений. - Операционной аналитики: платформа поддерживает аналитические процессы, помогая подразделениям оперативно реагировать на рыночные изменения. На базе данных Озера функционирует платформа искусственного интеллекта РСХБ (RAISA), используемая более чем 300 сотрудниками. Интеграция системы с Озером улучшила анализ клиентской базы и ускорила маркетинговые кампании, повысив качество и скорость анализа бизнес-процессов. Департамент финансов и планирования также использует новые возможности для быстрой комплексной аналитики, а Департамент рисков эффективнее управляет кредитным портфелем. Основные вопросы реализации проекта были решены в сотрудничестве с командой Arenadata. Все заинтересованные сотрудники РСХБ прошли обучение работе с Arenadata Hadoop в Учебном центре компании. Завершение этапа перемещения Озера на ADH состоялось в декабре 2023 года, последовав новый этап развития проекта. Часть предложений и изменений, поднятых в ходе реализации, вошли в новые релизы ПО Arenadata Hadoop. Александр Сабуров, директор Департамента больших данных РСХБ, отметил, что одной из главных задач остаётся создание импортозамещённого слоя оперативных данных, что позволит сократить время обработки данных и повысить качество их использования. Юлия Ильина, директор департамента Группы Arenadata по работе с финансовым сектором, подчеркнула, что проект РСХБ демонстрирует, как импортозамещение открывает новые горизонты и возможности для финансовых организаций. Команда уже сегодня работает над трансформацией РСХБ в банк будущего, соответствующего самым высоким современным требованиям. Источник: www.arenadata.tech

    Пост взят с международного финтех-медиа ресурса

    Другие новости сообщества / НОВОСТИ АКЦИЙ РОССИИ

    EXPRESS NEWS

    • Новая обложка The Economist
      Новая обложка The Economist

      ❗️ . Если перемирие положит конец войне с Ираном, самым большим проигравшим станет Дональд Трамп

    • ‼️ Трамп объявил о начале блокады Ормузского пролива: США будут задерживать суда и уничтожать иранские мины. Речь идет о задержке судов, которые прошли процедуру согласования на вход/выход с КСИР, то есть с грузами в азиатском направлении сбыта. Турецкие источники сообщают, что вчера на переговорах в Исламабаде Уиткофф и Аракчи чуть не подрались из-за разногласий в отношении Ормуза

    • 🗣 Дни, когда 70 центов с каждого доллара направлялись на военные расходы Соединённых Штатов, закончились, и Оттава больше не будет платить за это, — премьер-министр Канады Карни

    • ⚡️ Два эсминца класса Arleigh Burke Военно-морских сил США попытались пройти через Ормузский пролив, однако после угроз со стороны Корпуса стражей исламской революции Ирана и запуска беспилотника в направлении судов были вынуждены повернуть назад, сообщает Bloomberg

    • ❗️ США нанесли удары по десяткам тысяч целей в Иране, однако иранский потенциал по-прежнему сохраняется, — The Times of Israel

    • 🚨 На фоне стремительного истощения арсеналов США Китай внимательно наблюдает за ситуацией. За считанные недели США израсходовали около 25 процентов всего своего запаса стратегических ракет, которые являются ключевыми для сдерживания Китая в сценарии вокруг Тайваня, — The Washington Post

    • ⚔️ Швеция задержала судно «Hui Yuan» из России. Судно шло из РФ в Испанию под панамским флагом и с китайским названием. Шведские власти обвинили сухогруз в нарушении экологических норм. Основанием для задержания стало то, что с борта в море якобы скидывали уголь

    • 🚨 Президент Турции Реджеп Тайип Эрдоган предупредил, что Турция может провести военную интервенцию против Израиля, аналогичную её операциям в Ливии и Нагорном Карабахе

    • ⚠️ Трамп поделился статьей, в которой говорится, что у него есть возможность ввести морскую блокаду Ирана

    • ❗️ Глава евродипломатии Кая Каллас училась в советской школе, но это была плохая школа. На это обратил внимание пресс-секретарь президента РФ Дмитрий Песков в разговоре с корреспондентом «Вестей» Павлом Зарубиным, передает ТАСС

    • 🗣 «Вина за провал „переговоров“ в Пакистане лежит на США, которые редко ведут переговоры честно, проявляют вероломство и настаивают на выдвижении максималистских требований», — написал он в Х. По его мнению, в ситуации вокруг Тегерана Вашингтон «не заинтересован во взаимных уступках, а стремится только отдавать приказы» — Альфред де Зайас

    • ⚡️ Наследный принц эмирата Абу-Даби (ОАЭ) шейх Халед бен Мухаммед Аль Нахайян нанесет визит в Китай с 12 по 14 апреля. Об этом сообщил МИД КНР. Как уточняется в распространенном сообщении внешнеполитического ведомства, Аль Нахайян посетит Китай по приглашению премьера Госсовета КНР Ли Цяна

    • ⚡️ Иранская делегация покинула Исламабад после переговоров с США. Об этом сообщило агентство Tasnim. «Иранская делегация покинула Пакистан», — отметило оно

    • 🤝 Иран поблагодарил Исламабад за посредничество в переговорах с США и продолжит контакты с Пакистаном после них. Об этом заявил представитель иранского министерства иностранных дел Эсмаил Багаи

    • ✈️ Пресс-пул американского вице-президента Джей Ди Вэнса сообщил о его вылете из Пакистана, где состоялись консультации США и Ирана. Как отмечается в сообщении, Вэнс поднялся по трапу в 05:08 мск

    • 🗣 Американский президент Дональд Трамп считает переговоры между США и Ираном в Пакистане насыщенными, но не готов сейчас прогнозировать, какими будут их итоги. «Мы ведем очень насыщенные переговоры с Ираном», — сказал он журналистам на Южной лужайке Белого дома

    • 🇺🇸🇮🇷 Иран и США достигли понимания по ряду вопросов, но по 2–3 важным темам мнения разошлись, — МИД Ирана. Переговоры с самого начала проходили в атмосфере недоверия и подозрений. Переговоры продолжались 21 час

    • 🗣 Пакистанский посол в Москве Файсал Нияз Тирмизи заявил, что у президента России Владимира Путина всегда есть приглашение посетить Исламабад. «Да, всегда», — сказал он в интервью RTVI, отвечая на соответствующий вопрос. Дипломат подчеркнул, что президента России очень уважают в Пакистане

    • ❗️ Согласно заявлению, эсминцы USS Frank E. Peterson (DDG 121) и USS Michael Murphy (DDG 112) прошли через Ормузский пролив и действовали в Персидском заливе в рамках более широкой миссии по обеспечению полного очищения пролива от морских мин, ранее установленных Корпусом стражей исламской революции Ирана (КСИР)

    • ⚡️ В переговорах США и Ирана объявлен двухчасовой перерыв. По сведениям агентства Tasnim, переговоры, которые сначала планировались как однодневные, могут продолжаться и завтра.

    • 🚫 The Wall Street Journal: эпоха свободных морей подходит к концу, отныне всем придётся платить. «Пошлины» Ирана в Ормузском проливе подорвали многолетнее морское доминирование США. Взимая плату и вводя ограничения, Иран фактически взял под контроль торговые потоки

    • Президент Джибути Исмаил Омар Гелле выиграл выборы на шестой срок
      Президент Джибути Исмаил Омар Гелле выиграл выборы на шестой срок

      ⚡️ , получив 97,81% голосов. Джибути — страна площадью 23 тысячи квадратных километров на северо-востоке Африки с населением около миллиона человек, которая занимает очень важное место в мировой логистике, частично контролируя Баб-эль-Мандебский пролив

    • Встреча премьер-министра Пакистана с иранской делегацией
      Встреча премьер-министра Пакистана с иранской делегацией

    • 🇮🇷 Заседание иранской переговорной делегации в Исламабаде

    • ‼️ Великобритания собирается воевать с западной цивилизацией. Такое мнение выразил спецпредставитель президента РФ по инвестиционно-экономическому сотрудничеству с зарубежными странами, глава РФПИ Кирилл Дмитриев

    • ⚡️ Американский телеканал CBS выступил с утверждением, что консультации в Пакистане с участием делегаций США и Ирана начались. По словам его источников из числа американских должностных лиц, «консультации в Исламабаде начались». «Неясно, во сколько начались переговоры и являются ли они прямыми», — отмечается в сообщении

    • ❌ Соединенные Штаты пока не достигли с Ираном никаких договоренностей по обозначенным исламской республикой красным линиям. Об этом сообщил американский телеканал CBS со ссылкой на источник из числа представителей правительства США

    • ⚡️ Индийское судно Jag Vikram благополучно прошло через Ормузский пролив. Об этом журналистам сообщили в министерстве портов и судоходства Индии. По данным ведомства, на борту судна находится около 20,4 тыс. тонн груза сжиженных углеводородных газов (СУГ), экипаж составляет 24 моряка. Прибытие судна в порт индийского Мумбаи ожидается 15 апреля

    • ⚠️ Премьер-министр Великобритании ненавидит своих граждан и разрушает их жизнь отсутствием топлива и массовой миграцией. Такое мнение выразил спецпредставитель президента РФ по инвестиционно-экономическому сотрудничеству с зарубежными странами, глава РФПИ Кирилл Дмитриев

    • ⚡️ Соединенные Штаты не соглашались на размораживание каких-либо иранских активов. Об этом сообщил американский телеканал CBS со ссылкой на источник в правительстве США. Ранее агентство Reuters со ссылкой на иранский высокопоставленный источник передавало, что Вашингтон согласился разблокировать активы Ирана — CBS

    • 🚨 Сбои в Ормузском проливе привели к росту затрат на строительство и к сокращению глобального предложения жилья. Эти последствия сохранятся даже после окончания конфликта. Пока маршруты морских перевозок остаются нестабильными, рост стоимости строительных материалов, логистики и цепочек поставок может удерживать высокие цены на жильё в мировом масштабе, — The National Interest

    • ⚠️ Эксперты считают, что ракетные и беспилотные удары Ирана по американским базам в регионе резко поставили под сомнение эффективность этих баз и превратили их из инструмента сдерживания в уязвимые цели. Широкое военное присутствие США в регионе не только не гарантирует безопасность стран-хозяев, но и подвергает их риску прямых атак, — Middle East Eye

    • Переговорный стол в Исламабаде
      Переговорный стол в Исламабаде

    • ⚠️ Группа, представляющая интересы аэропортовой отрасли, предупредила, что если Ормузский пролив не будет «существенно и устойчиво» открыт в течение ближайших трёх недель, Европа может столкнуться с системной нехваткой авиационного топлива, - CNN

    • ⚡️ Трамп представил проект новой 76-метровой триумфальной арки, которую он намерен построить в столице США Вашингтоне

    • ‼️ США во время переговоров согласились разблокировать замороженные активы Ирана, - Reuters. Высокопоставленный иранский источник издания сообщил, что шаг «напрямую связан с обеспечением безопасного прохода через Ормузский пролив»

    • ‼️ Иранская делегация на предстоящих в Исламабаде переговорах с США наделена полномочиями для принятия окончательных решений и не обязана дополнительно консультироваться с Тегераном. Об этом сообщила газета The New York Times (NYT) со ссылкой на три высокопоставленных источника в делегации исламской республики

    • ⚡️ Вице-президент США Джей Ди Вэнс прибыл в отель Serena в Исламабаде, где в субботу должны пройти американо-иранские переговоры с участием Пакистана. Об этом сообщила газета The New York Times

    • ❌ Посол Израиля в Вашингтоне Йехиэль Лайтер заявил, что не будет обсуждать с ливанской коллегой Надой Хаммаде-Муаввад прекращение огня с шиитским движением «Хезболлах» на переговорах 14 апреля под эгидой США

    • Переговоры Ирана и США в Исламабаде начнутся после 15:00 по Москве. Делегации США и Ирана находятся в Исламабаде и готовятся к переговорам
      Переговоры Ирана и США в Исламабаде начнутся после 15:00 по Москве. Делегации США и Ирана находятся в Исламабаде и готовятся к переговорам

    Вы уверены, что хотите выйти из аккаунта?