Как с вами связаться

Введите сообщение

Как с вами связаться

Введите сообщение

Аватар сообщества АРЕНАДАТА: НОВОСТИ

АРЕНАДАТА: НОВОСТИ

АРЕНАДАТА: последние новости сегодня

Россельхозбанк реализовал проект по созданию нового озера данных с использованием продуктов Arenadata

32

    Россельхозбанк реализовал проект по созданию нового озера данных с использованием продуктов Arenadata. АО «Россельхозбанк» завершил успешный проект по импортозамещению зарубежной платформы Корпоративного Озера данных на решения Группы Arenadata, включающие Arenadata Hadoop (ADH) и Picodata. Переход на отечественное программное обеспечение был осуществлён в краткие сроки, что позволило сохранить непрерывность бизнес-процессов банка. Проект «Импортозамещение Озера данных и создание Аналитической платформы оперативных данных» стартовал в апреле 2023 года и был нацелен на замену большого кластера, работающего на решениях американской компании Cloudera. Департамент больших данных РСХБ поставил перед собой задачу найти надежное отечественное решение, которое смогло бы полностью заменить функциональность популярной платформы Cloudera Data Platform (CDP), используемой в аналитическом контуре банка. В результате сравнительного анализа и тестирования различных решений в качестве целевого кластера были выбраны продукты Arenadata Hadoop (ADH) и Picodata, обеспечившие необходимые функциональные возможности для перехода. Методика миграции была разработана таким образом, чтобы осуществить переход на отечественное ПО поэтапно, постепенно уменьшая использование импортных систем и добавляя ресурсы в новый кластер без значительных перебоев в работе. Проект был реализован без необходимости приобретения дополнительного оборудования: команда применяла метод поэтапной миграции, разделяя текущий кластер и перемещая данные с минимальным снижением производительности. Поскольку миграция охватывала сложные функциональные элементы, такие как Hive, Yarn и Impala, в процессе перехода возникли несоответствия в алгоритмах и особенностях работы по сравнению с CDP. Для преодоления этих проблем использовался широкий набор инструментов, включая: - Привлечение консалтинговых специалистов Arenadata, что позволило задействовать их опыт в аналогичных проектах. - Изучение исходного кода как open source решений, так и продуктов Arenadata для стабилизации функций, что подтвердило важность использования открытого исходного кода. - Оптимизация настроек сервисов Озера, что позволило сохранять стандартные функции управления. - Моделирование на внутренних и партнерских стендах для проверки изменений и оценки их влияния. - Интеграционное тестирование, направленное на обеспечение совместимости различных решений с Arenadata Hadoop. В рамках данного проекта РСХБ также подготовил базу для перехода на архитектуру Lakehouse, что поможет объединить функции озера данных и хранилища данных, ускоряя аналитические процессы. После завершения миграции летом 2024 года к кластеру были добавлены дополнительные вычислительные узлы для повышения отказоустойчивости и расшифровки ресурсов для новых аналитических задач. Внедрение новой платформы уже позволяет РСХБ эффективно решать широкий спектр бизнес-задач и открывает возможности для: - Финансовой аналитики и управленческой отчетности: платформа обеспечивает доступ к данным для разработки управленческой отчетности и служит источником данных для нового BI-решения. - Управления качеством данных: это обеспечивает регулярный контроль качества данных, повышая их точность и достоверность для принятия решений. - Операционной аналитики: платформа поддерживает аналитические процессы, помогая подразделениям оперативно реагировать на рыночные изменения. На базе данных Озера функционирует платформа искусственного интеллекта РСХБ (RAISA), используемая более чем 300 сотрудниками. Интеграция системы с Озером улучшила анализ клиентской базы и ускорила маркетинговые кампании, повысив качество и скорость анализа бизнес-процессов. Департамент финансов и планирования также использует новые возможности для быстрой комплексной аналитики, а Департамент рисков эффективнее управляет кредитным портфелем. Основные вопросы реализации проекта были решены в сотрудничестве с командой Arenadata. Все заинтересованные сотрудники РСХБ прошли обучение работе с Arenadata Hadoop в Учебном центре компании. Завершение этапа перемещения Озера на ADH состоялось в декабре 2023 года, последовав новый этап развития проекта. Часть предложений и изменений, поднятых в ходе реализации, вошли в новые релизы ПО Arenadata Hadoop. Александр Сабуров, директор Департамента больших данных РСХБ, отметил, что одной из главных задач остаётся создание импортозамещённого слоя оперативных данных, что позволит сократить время обработки данных и повысить качество их использования. Юлия Ильина, директор департамента Группы Arenadata по работе с финансовым сектором, подчеркнула, что проект РСХБ демонстрирует, как импортозамещение открывает новые горизонты и возможности для финансовых организаций. Команда уже сегодня работает над трансформацией РСХБ в банк будущего, соответствующего самым высоким современным требованиям. Источник: www.arenadata.tech

    Пост взят с международного финтех-медиа ресурса

    Другие новости сообщества / АРЕНАДАТА: последние новости сегодня

    EXPRESS NEWS

    • Трамп утверждает, что Иран стремится к проведению новой встречи с США: «Они отчаянно хотят встретиться. Но пока они не будут готовы значимым образом, у нас даже нет заинтересованности в этом»

    • «Если что-то подобное произойдет, мы об этом позаботимся». США примут меры, если хуситы введут морскую блокаду Саудовской Аравии, заявил Трамп
      «Если что-то подобное произойдет, мы об этом позаботимся». США примут меры, если хуситы введут морскую блокаду Саудовской Аравии, заявил Трамп

    • США могут ввести новые пошлины на импорт из Канады из-за лесных пожаров, сообщил Трамп. Он добавил, что в американском штате Мичиган ранее из-за загрязнения воздуха была нарушена работа некоторых компаний

    • Путин продлил безвизовый въезд для граждан Китая до конца 2027 года
      Путин продлил безвизовый въезд для граждан Китая до конца 2027 года
    • Энди Бернэм вступил в должность премьера Великобритании, получив от Карла III мандат на формирование правительства, сообщает Букингемский дворец
      Энди Бернэм вступил в должность премьера Великобритании, получив от Карла III мандат на формирование правительства, сообщает Букингемский дворец
    • Король Карл III принял отставку Стармера с поста премьера Британии, сообщила королевская пресс-служба
      Король Карл III принял отставку Стармера с поста премьера Британии, сообщила королевская пресс-служба

    • Германия не делала практических шагов для возобновления диалога с Россией, заявил Песков. Он отметил, что Россия остается открытой к диалогу с Европой и никогда не была инициатором сворачивания отношений

    • Россия готова содействовать мирному урегулированию разногласий как между США и Ираном, так и между иранцами и арабами. Об этом замглавы МИД РФ Александр Алимов заявил «Известиям»
      Россия готова содействовать мирному урегулированию разногласий как между США и Ираном, так и между иранцами и арабами. Об этом замглавы МИД РФ Александр Алимов заявил «Известиям»

    • Трамп заявил о поддержке планов Бернэма по наращиванию добычи нефти в Северном море. Нефть "превратит Соединенное Королевство из нищей страны в одно из самых богатых в мире государств", отметил американский президент

    • Дональд Трамп заявил, что его совершенно не волнует приостановка властями Ирана выполнения обязательств по меморандуму о взаимопонимании с США

    • Артистов и спортсменов России ни у кого отменить не получится, заявил в интервью ТАСС американский продюсер Стивен Мао. Он убежден, что «русская культура, русское искусство и русский спорт принадлежат миру»

    • Трамп пригрозил Канаде увеличением таможенных пошлин из-за лесных пожаров, дым от которых окутал несколько крупных городов США
      Трамп пригрозил Канаде увеличением таможенных пошлин из-за лесных пожаров, дым от которых окутал несколько крупных городов США

    • Венесуэла получила доступ к собственным средствам в МВФ в размере $346 млн, которые будут направлены на ликвидацию последствий землетрясения. Об этом сообщила уполномоченный президент боливарианской республики Делси Родригес

    • Глава FIFA и Белый дом обсудят риски проведения финала чемпионата мира по футболу. Об этом сообщил корреспондент Sky News Роб Харрис. Риски связаны с дымом от лесных пожаров в районе Нью-Йорка и Нью-Джерси

    • Apple меньше суток пробыла самой дорогостоящей компанией в мире. Ее обошла Nvidia, свидетельствуют данные торгов

    • Трамп пригрозил Канаде увеличением таможенных пошлин из-за лесных пожаров, дым от которых окутал несколько крупных городов США

    • Энди Бернэм объявлен новым лидером Лейбористской партии и 20 июля займет пост премьер-министра Великобритании
      Энди Бернэм объявлен новым лидером Лейбористской партии и 20 июля займет пост премьер-министра Великобритании

    • Россия никогда не вмешивалась во внутренние дела других стран и рассчитывает, что никто не будет вмешиваться в ее, заявил Песков

    • Аналитики продолжают повышать прогнозы по STOXX 600 на конец этого года. Самые большие быки — UBS и Deutsche
      Аналитики продолжают повышать прогнозы по STOXX 600 на конец этого года. Самые большие быки — UBS и Deutsche

    • Журналист Карлсон заявил о риске народной революции в США: «Мы имеем дело с лидерами [страны], которые презирают нас, принимают нас за нечто само собой разумеющееся, которые используют нас, лгут нам, которым в действительности нет дела до нас»

    • Разведка США считала, что Меркель не хотела переизбрания Трампа в 2020 году. Об этом говорится в докладе, рассекреченном Белым домом

    • Ситуация в Мали расценивается как относительно стабильная, заявил ТАСС замминистра иностранных дел РФ Георгий Борисенко

    • Власти США выявили около 278 000 неграждан, зарегистрированных для голосования на федеральных выборах, их может быть еще больше, заявил Трамп
      Власти США выявили около 278 000 неграждан, зарегистрированных для голосования на федеральных выборах, их может быть еще больше, заявил Трамп

    • Трамп заявил, что рассекречивает данные о шокирующей уязвимости систем голосования в США. Он утверждает, что КНР в 2020 году получила несанкционированный доступ к данным 220 млн избирателей в США

    • Причиной введения пошлин США на импорт из Бразилии стали ультимативные требования о беспрепятственном доступе на внутренние рынки южноамериканской республики. Об этом заявил глава МИД Бразилии Мауро Виэйра. «Иными словами, американские власти потребовали от нас капитуляции», — добавил Виэйра

    • Трамп даст прием в честь FIFA в Нью-Йорке и будет присутствовать на финале ЧМ по футболу, заявила пресс-секретарь Белого дома Кэролайн Ливитт
      Трамп даст прием в честь FIFA в Нью-Йорке и будет присутствовать на финале ЧМ по футболу, заявила пресс-секретарь Белого дома Кэролайн Ливитт
    • Мировые акции сильно снижаются на азиатской сессии. В Азии продолжается распродажа акций техов, акции SoftBank падают на 10%, TSMC падает на 5%, несмотря на сильный отчет
      Мировые акции сильно снижаются на азиатской сессии. В Азии продолжается распродажа акций техов, акции SoftBank падают на 10%, TSMC падает на 5%, несмотря на сильный отчет

    • США и Иран продолжают обмениваться ударами. Трамп в обращении к нации заявил, что США скоро начнут получать выгоду от конфликта с Ираном так же, как они уже получают выгоду от Венесуэлы

    • В Нидерландах официально объявили о дефиците воды из-за жары и засухи. Ранее сообщалось, что ЕС разработал план, предусматривающий сокращение странами-членами потребления воды на 10% к 2030 году

    • Nvidia заключила много партнерств в Японии
      Nvidia заключила много партнерств в Японии
    • Уорш пообещал Конгрессу, что инфляция в США не останется высокой
      Уорш пообещал Конгрессу, что инфляция в США не останется высокой

    • Трамп заявил, что Иран в качестве «жеста доброй воли» позволил гражданке США, задержанной в 2024 году, покинуть республику. Президент США написал в соцсети Truth Social, что она была «неправомерно задержана в декабре 2024 года» во время президентского срока Джо Байдена

    • Ормузский пролив останется закрытым до тех пор, пока не будет учтена воля Ирана, заявил представитель Вооруженных сил Ирана Мохаммад Акраминия

    • Трамп считает, что цены на нефть после конфликта с Ираном опустятся до $55 за баррель. При этом он выразил мнение, что «Ирану скоро будет нанесено поражение»

    • Вэнс заявил, что Израиль не шантажирует Трампа, в том числе по вопросу Ирана
      Вэнс заявил, что Израиль не шантажирует Трампа, в том числе по вопросу Ирана
    • Трамп в контексте возможного расширения масштаба ударов по Ирану заявил, что не любит ставить крайних сроков
      Трамп в контексте возможного расширения масштаба ударов по Ирану заявил, что не любит ставить крайних сроков

    • Израиль выведет войска из шести населенных пунктов на юге Ливана, сообщил телеканал Al Jadeed. Населенные пункты расположены на территории района, в котором после ухода израильских сил будут размещены подразделения ливанской армии.

    • VK продает RuStore. Покупатель – гендиректор компании-разработчика магазина приложений Дмитрий Панкрушев
      VK продает RuStore. Покупатель – гендиректор компании-разработчика магазина приложений Дмитрий Панкрушев

    • Американский бизнес за четыре года потерял $200 млрд из-за санкций против России. Об этом РИА Новости заявил главный исполнительный директор Американской торговой палаты в России Роберт Эйджи

    • Глава МИД Лавров: Россия прочно удерживает лидирующие позиции по поставкам нефти и газа в Китай, которые, невзирая на геополитическую турбулентность, неизменно стабильны, надежны и предсказуемы

    Вы уверены, что хотите выйти из аккаунта?