Как с вами связаться

Введите сообщение

Как с вами связаться

Введите сообщение

Аватар сообщества АРЕНАДАТА: НОВОСТИ

АРЕНАДАТА: НОВОСТИ

АРЕНАДАТА - последние новости сегодня - MONDIARA

Россельхозбанк реализовал проект по созданию нового озера данных с использованием продуктов Arenadata

29

    Россельхозбанк реализовал проект по созданию нового озера данных с использованием продуктов Arenadata. АО «Россельхозбанк» завершил успешный проект по импортозамещению зарубежной платформы Корпоративного Озера данных на решения Группы Arenadata, включающие Arenadata Hadoop (ADH) и Picodata. Переход на отечественное программное обеспечение был осуществлён в краткие сроки, что позволило сохранить непрерывность бизнес-процессов банка. Проект «Импортозамещение Озера данных и создание Аналитической платформы оперативных данных» стартовал в апреле 2023 года и был нацелен на замену большого кластера, работающего на решениях американской компании Cloudera. Департамент больших данных РСХБ поставил перед собой задачу найти надежное отечественное решение, которое смогло бы полностью заменить функциональность популярной платформы Cloudera Data Platform (CDP), используемой в аналитическом контуре банка. В результате сравнительного анализа и тестирования различных решений в качестве целевого кластера были выбраны продукты Arenadata Hadoop (ADH) и Picodata, обеспечившие необходимые функциональные возможности для перехода. Методика миграции была разработана таким образом, чтобы осуществить переход на отечественное ПО поэтапно, постепенно уменьшая использование импортных систем и добавляя ресурсы в новый кластер без значительных перебоев в работе. Проект был реализован без необходимости приобретения дополнительного оборудования: команда применяла метод поэтапной миграции, разделяя текущий кластер и перемещая данные с минимальным снижением производительности. Поскольку миграция охватывала сложные функциональные элементы, такие как Hive, Yarn и Impala, в процессе перехода возникли несоответствия в алгоритмах и особенностях работы по сравнению с CDP. Для преодоления этих проблем использовался широкий набор инструментов, включая: - Привлечение консалтинговых специалистов Arenadata, что позволило задействовать их опыт в аналогичных проектах. - Изучение исходного кода как open source решений, так и продуктов Arenadata для стабилизации функций, что подтвердило важность использования открытого исходного кода. - Оптимизация настроек сервисов Озера, что позволило сохранять стандартные функции управления. - Моделирование на внутренних и партнерских стендах для проверки изменений и оценки их влияния. - Интеграционное тестирование, направленное на обеспечение совместимости различных решений с Arenadata Hadoop. В рамках данного проекта РСХБ также подготовил базу для перехода на архитектуру Lakehouse, что поможет объединить функции озера данных и хранилища данных, ускоряя аналитические процессы. После завершения миграции летом 2024 года к кластеру были добавлены дополнительные вычислительные узлы для повышения отказоустойчивости и расшифровки ресурсов для новых аналитических задач. Внедрение новой платформы уже позволяет РСХБ эффективно решать широкий спектр бизнес-задач и открывает возможности для: - Финансовой аналитики и управленческой отчетности: платформа обеспечивает доступ к данным для разработки управленческой отчетности и служит источником данных для нового BI-решения. - Управления качеством данных: это обеспечивает регулярный контроль качества данных, повышая их точность и достоверность для принятия решений. - Операционной аналитики: платформа поддерживает аналитические процессы, помогая подразделениям оперативно реагировать на рыночные изменения. На базе данных Озера функционирует платформа искусственного интеллекта РСХБ (RAISA), используемая более чем 300 сотрудниками. Интеграция системы с Озером улучшила анализ клиентской базы и ускорила маркетинговые кампании, повысив качество и скорость анализа бизнес-процессов. Департамент финансов и планирования также использует новые возможности для быстрой комплексной аналитики, а Департамент рисков эффективнее управляет кредитным портфелем. Основные вопросы реализации проекта были решены в сотрудничестве с командой Arenadata. Все заинтересованные сотрудники РСХБ прошли обучение работе с Arenadata Hadoop в Учебном центре компании. Завершение этапа перемещения Озера на ADH состоялось в декабре 2023 года, последовав новый этап развития проекта. Часть предложений и изменений, поднятых в ходе реализации, вошли в новые релизы ПО Arenadata Hadoop. Александр Сабуров, директор Департамента больших данных РСХБ, отметил, что одной из главных задач остаётся создание импортозамещённого слоя оперативных данных, что позволит сократить время обработки данных и повысить качество их использования. Юлия Ильина, директор департамента Группы Arenadata по работе с финансовым сектором, подчеркнула, что проект РСХБ демонстрирует, как импортозамещение открывает новые горизонты и возможности для финансовых организаций. Команда уже сегодня работает над трансформацией РСХБ в банк будущего, соответствующего самым высоким современным требованиям. Источник: www.arenadata.tech

    Пост взят с международного финтех-медиа ресурса

    Другие новости сообщества / АРЕНАДАТА - последние новости сегодня - MONDIARA

    EXPRESS NEWS

    • Венесуэле нужны новые выборы, но для них требуется создать условия, заявил Рубио: «Эти условия включают свободные и открытые СМИ. Нужно дать время и пространство политическим партиям на организацию и подготовку к этим выборам. Нужен новый избирательный совет»

    • Вашингтонская администрация готова при определенных условиях согласиться с тем, что Иран будет иметь возможность использовать атомную энергию. Об этом заявил госсекретарь США Марко Рубио

    • Трамп заявил, что переговоры США и Ирана продолжаются непрерывно, но их исход неясен: «Сообщения лживых СМИ о том, что Исламская Республика Иран и США прекратили разговаривать несколько дней назад, являются абсолютно ложными и вводят в заблуждение»

    • Идея отмены или смягчения американских санкций в отношении Ирана в обмен на открытие Ормузского пролива не обсуждается. Об этом заявил Рубио

    • Переговоры США и Ирана продолжаются, обсуждаются и аспекты ядерной программы Тегерана, успех может быть достигнут в ближайшие дни, заявил Рубио

    • Президент Танзании Самия Сулуху Хасан 3–5 июня посетит РФ с государственным визитом, сообщил Ушаков

    • Пашинян заявил, что его разговор с Путиным 1 июня был позитивным
      Пашинян заявил, что его разговор с Путиным 1 июня был позитивным

    • Вучич заявил, что не пойдет на новый президентский срок после истечения нынешнего. При этом политик, отвечая на вопрос Bloomberg, заявил, что может занять пост премьер-министра, так как его Сербская прогрессивная партия нуждается в нем

    • Новый премьер Латвии намерен разорвать торговые связи с Россией, сообщил портал Delfi. По информации издания, Андрис Кулбергс при этом признал, что в некоторых отраслях не обойтись без исключений

    • Рубио утверждает, что США не подталкивают Армению к разрыву дружеских связей с другими странами: «Мы лишь хотим, чтобы наши отношения строились не только на мире. Мир важен, но это лишь начало: он открывает возможности в экономической сфере»

    • Журналистка Оуэнс рассказала ТАСС о травле из-за поездки в РФ. Она столкнулась с нападками и обвинениями в причастности к «русскому заговору»: «Они начали врать обо мне, говорить, что я еду сюда работать, сотрудничаю с такими-то людьми, меня финансируют, что я якобы нарушаю законы

    • Марко Рубио допустил продление исключений из санкций США против нефтяного сектора РФ. Однако он отметил, что это «зависит от обстоятельств на тот момент»
      Марко Рубио допустил продление исключений из санкций США против нефтяного сектора РФ. Однако он отметил, что это «зависит от обстоятельств на тот момент»

    • Трамп заявил о назначении главы управления жилищного финансирования Уильяма Пулте и. о. директора Нацразведки США

    • Путин предложил придать статус государственного докладу о языковой политике и готовить его ежегодно
      Путин предложил придать статус государственного докладу о языковой политике и готовить его ежегодно
    • Экс-канцлер ФРГ Шрёдер находится в Москве, сообщает NTV. Корреспондент телеканала в Москве Мунц утверждает, что видел Шрёдера в отеле Kempinski. Не исключено, что экс-канцлер отправился в РФ для участия в ПМЭФ
      Экс-канцлер ФРГ Шрёдер находится в Москве, сообщает NTV. Корреспондент телеканала в Москве Мунц утверждает, что видел Шрёдера в отеле Kempinski. Не исключено, что экс-канцлер отправился в РФ для участия в ПМЭФ

    • Кэндис Оуэнс не будет модератором пленарной сессии ПМЭФ. Журналистка примет участие в ней в качестве гостя, сообщил ТАСС источник

    • Трамп заявил, что Израиль и «Хезболла» приостановят боевые действия. «У меня состоялся очень продуктивный разговор с премьер-министром Израиля Биньямином Нетаньяху. Никакие (израильские — ИФ) войска на Бейрут не пойдут, они вернутся», — написал он в соцсети Truth Social

    • Нетаньяху заявил Трампу, что Израиль атакует Бейрут, если «Хезболлах» не прекратит обстрелы израильской территории, сообщили в канцелярии премьера

    • Трамп заявил, что ждет скорого снижения цен на нефть. «Я думаю, нефть очень скоро упадет камнем, в самом ближайшем будущем», — сказал он CNBC
      Трамп заявил, что ждет скорого снижения цен на нефть. «Я думаю, нефть очень скоро упадет камнем, в самом ближайшем будущем», — сказал он CNBC
    • Россия считает незаконным задержание танкера Францией, шедшего из РФ, это граничит с пиратством. РФ предпримет для обеспечения безопасности своих судов дополнительные меры, заявил Песков
      Россия считает незаконным задержание танкера Францией, шедшего из РФ, это граничит с пиратством. РФ предпримет для обеспечения безопасности своих судов дополнительные меры, заявил Песков

    • Трамп опроверг публикации «лживых» СМИ о том, что соглашение с Ираном не затрагивает ядерную программу. «На самом деле в нем очень четко указано, что Иран не будет обладать ядерным оружием», — написал он в Truth Social

    • Министр обороны Израиля объявил о захвате крепости крестоносцев Бофор на стратегически важной высоте севернее реки Литани в Ливане
      Министр обороны Израиля объявил о захвате крепости крестоносцев Бофор на стратегически важной высоте севернее реки Литани в Ливане
    • Трамп добивается, чтобы в проект соглашения с Ираном были внесены изменения, касающиеся ядерной программы Тегерана. Об этом сообщил портал Axios со ссылкой на источники
      Трамп добивается, чтобы в проект соглашения с Ираном были внесены изменения, касающиеся ядерной программы Тегерана. Об этом сообщил портал Axios со ссылкой на источники
    • Вучич заявил, что Сербия не намерена отменять безвизовый режим с Россией
      Вучич заявил, что Сербия не намерена отменять безвизовый режим с Россией

    • «Честно говоря, мне все равно, закончились ли они». Трамп в интервью CNBC заявил, что на переговоры с Ираном ушло слишком много времени. Вместе с этим президент США написал в Truth Social, что консультации с Ираном продолжаются и продвигаются быстро

    • Американская журналистка Кэндис Оуэнс, ведущая расследование о Макроне, примет участие в ПМЭФ, сообщает источник ТАСС

    • Мадьяр пригрозил президенту Венгрии Шуйоку импичментом, если он откажется добровольно покинуть свой пост. По словам Мадьяра, Шуйок не справился с обязанностями главы государства и не препятствовал злоупотреблениям, которые якобы совершало правительство Орбана

    • Вучич не будет баллотироваться на новый президентский срок, заявил в интервью ТАСС Вулин
      Вучич не будет баллотироваться на новый президентский срок, заявил в интервью ТАСС Вулин
    • Поручение Путина по доступности интернета призвано усовершенствовать систему «белых списков», заявил Песков
      Поручение Путина по доступности интернета призвано усовершенствовать систему «белых списков», заявил Песков

    • Риски заноса лихорадки Эбола в РФ оцениваются как минимальные, сообщила Анна Попова. Она добавила, что эпидемиологическая обстановка в России по всем инфекциям является стабильной

    • Минтранс РФ не фиксирует дефицита авиакеросина на внутреннем рынке, сообщил министр транспорта Андрей Никитин

    • Владимир Путин поручил кабмину и ФСБ гарантировать россиянам бесперебойный доступ в интернет даже в дни ограничений, сообщили в Кремле
      Владимир Путин поручил кабмину и ФСБ гарантировать россиянам бесперебойный доступ в интернет даже в дни ограничений, сообщили в Кремле

    • Полностью победить мошенничество можно, сделав его организацию более затратной, сообщил в интервью ТАСС зампред правления Сбербанка Кузнецов в преддверии ПМЭФ. Однако вывод похищенных денег за рубеж остается слабым местом в борьбе с мошенниками, отметил он. Через дроп-курьеров и криптовалюту в 2025 году аферисты вывели за рубеж около 120 млрд рублей

    • Лукашенко назвал враньем слова Пашиняна об организации транзита газа через Армению. Подобные перспективы остаются неопределенными и вызывают множество вопросов. Россия продает Армении беспошлинно природный газ по цене порядка в несколько раз ниже, чем он стоит на рынке ЕС, подчеркнул президент Белоруссии

    • «Тут почасовой прогноз». Относительно шагов США прогноз может быть только почасовым, сыронизировал Песков. Так он ответил на вопрос журналиста «Вестей» Зарубина, каких действий можно ждать от США на фоне просьб Киева о поставке дополнительных вооружений
      «Тут почасовой прогноз». Относительно шагов США прогноз может быть только почасовым, сыронизировал Песков. Так он ответил на вопрос журналиста «Вестей» Зарубина, каких действий можно ждать от США на фоне просьб Киева о поставке дополнительных вооружений

    • Бесконтрольная иммиграция стала одной из многих ошибок, которую бюрократы ЕС не могут признать и исправить, заявил Дмитриев. Так он прокомментировал публикацию с критикой миграционной политики Европы из-за беспорядков в Париже, вспыхнувших после победы футбольного клуба «Пари Сен-Жермен» в финале Лиги чемпионов

    • Трамп заявил об успешном прохождении медицинского теста на когнитивные способности: «В отличие от других президентов США, ни один из которых никогда не проходил утвержденный когнитивный тест высокой сложности, я набрал идеальные 30 баллов из 30, что считается "выдающимся интеллектом"»

    • Трамп ужесточил условия меморандума США и Ирана и направил Тегерану новые предложения. Об этом сообщила The New York Times со ссылкой на источники. Какие именно изменения внесены в текст потенциального соглашения, неизвестно. Источники издания указали, что Трампа беспокоят положения, касающиеся возможной разморозки иранских активов

    • Гросси выразил обеспокоенность в связи с атакой БПЛА на машинный зал ЗАЭС, сообщили в МАГАТЭ
      Гросси выразил обеспокоенность в связи с атакой БПЛА на машинный зал ЗАЭС, сообщили в МАГАТЭ

    • «Я подумываю привлечь вместо них Главную Звезду Мира». Трамп может заменить ряд выступлений артистов к 250-летию США митингом с его участием. Ранее организация Freedom 250 объявила список звезд, выступления которых запланированы на мероприятии, но большинство из них отказались от участия после публикации, сообщил CBS

    Вы уверены, что хотите выйти из аккаунта?