АРЕНАДАТА [новости]

НОВОСТИ АКЦИЙ

Россельхозбанк реализовал проект по созданию нового озера данных с использованием продуктов Arenadata

2024-12-09T12:51:05+03:00 22

Россельхозбанк реализовал проект по созданию нового озера данных с использованием продуктов Arenadata. АО «Россельхозбанк» завершил успешный проект по импортозамещению зарубежной платформы Корпоративного Озера данных на решения Группы Arenadata, включающие Arenadata Hadoop (ADH) и Picodata. Переход на отечественное программное обеспечение был осуществлён в краткие сроки, что позволило сохранить непрерывность бизнес-процессов банка. Проект «Импортозамещение Озера данных и создание Аналитической платформы оперативных данных» стартовал в апреле 2023 года и был нацелен на замену большого кластера, работающего на решениях американской компании Cloudera. Департамент больших данных РСХБ поставил перед собой задачу найти надежное отечественное решение, которое смогло бы полностью заменить функциональность популярной платформы Cloudera Data Platform (CDP), используемой в аналитическом контуре банка. В результате сравнительного анализа и тестирования различных решений в качестве целевого кластера были выбраны продукты Arenadata Hadoop (ADH) и Picodata, обеспечившие необходимые функциональные возможности для перехода. Методика миграции была разработана таким образом, чтобы осуществить переход на отечественное ПО поэтапно, постепенно уменьшая использование импортных систем и добавляя ресурсы в новый кластер без значительных перебоев в работе. Проект был реализован без необходимости приобретения дополнительного оборудования: команда применяла метод поэтапной миграции, разделяя текущий кластер и перемещая данные с минимальным снижением производительности. Поскольку миграция охватывала сложные функциональные элементы, такие как Hive, Yarn и Impala, в процессе перехода возникли несоответствия в алгоритмах и особенностях работы по сравнению с CDP. Для преодоления этих проблем использовался широкий набор инструментов, включая: - Привлечение консалтинговых специалистов Arenadata, что позволило задействовать их опыт в аналогичных проектах. - Изучение исходного кода как open source решений, так и продуктов Arenadata для стабилизации функций, что подтвердило важность использования открытого исходного кода. - Оптимизация настроек сервисов Озера, что позволило сохранять стандартные функции управления. - Моделирование на внутренних и партнерских стендах для проверки изменений и оценки их влияния. - Интеграционное тестирование, направленное на обеспечение совместимости различных решений с Arenadata Hadoop. В рамках данного проекта РСХБ также подготовил базу для перехода на архитектуру Lakehouse, что поможет объединить функции озера данных и хранилища данных, ускоряя аналитические процессы. После завершения миграции летом 2024 года к кластеру были добавлены дополнительные вычислительные узлы для повышения отказоустойчивости и расшифровки ресурсов для новых аналитических задач. Внедрение новой платформы уже позволяет РСХБ эффективно решать широкий спектр бизнес-задач и открывает возможности для: - Финансовой аналитики и управленческой отчетности: платформа обеспечивает доступ к данным для разработки управленческой отчетности и служит источником данных для нового BI-решения. - Управления качеством данных: это обеспечивает регулярный контроль качества данных, повышая их точность и достоверность для принятия решений. - Операционной аналитики: платформа поддерживает аналитические процессы, помогая подразделениям оперативно реагировать на рыночные изменения. На базе данных Озера функционирует платформа искусственного интеллекта РСХБ (RAISA), используемая более чем 300 сотрудниками. Интеграция системы с Озером улучшила анализ клиентской базы и ускорила маркетинговые кампании, повысив качество и скорость анализа бизнес-процессов. Департамент финансов и планирования также использует новые возможности для быстрой комплексной аналитики, а Департамент рисков эффективнее управляет кредитным портфелем. Основные вопросы реализации проекта были решены в сотрудничестве с командой Arenadata. Все заинтересованные сотрудники РСХБ прошли обучение работе с Arenadata Hadoop в Учебном центре компании. Завершение этапа перемещения Озера на ADH состоялось в декабре 2023 года, последовав новый этап развития проекта. Часть предложений и изменений, поднятых в ходе реализации, вошли в новые релизы ПО Arenadata Hadoop. Александр Сабуров, директор Департамента больших данных РСХБ, отметил, что одной из главных задач остаётся создание импортозамещённого слоя оперативных данных, что позволит сократить время обработки данных и повысить качество их использования. Юлия Ильина, директор департамента Группы Arenadata по работе с финансовым сектором, подчеркнула, что проект РСХБ демонстрирует, как импортозамещение открывает новые горизонты и возможности для финансовых организаций. Команда уже сегодня работает над трансформацией РСХБ в банк будущего, соответствующего самым высоким современным требованиям. Источник: www.arenadata.tech