Переход к единой среде

До запуска DRP аналитическая работа в банке велась в отдельных «песочницах». Переход к централизованной архитектуре был связан и с курсом на импортозамещение. Банку требовалась платформа, которая могла бы быстро работать с большими массивами данных, выдерживать высокую нагрузку и при этом обеспечивать независимость от зарубежных СУБД. В результате в качестве технологического ядра была выбрана Arenadata DB, а координацию проекта взял на себя департамент больших данных РСХБ при участии ИТ-кластера «РСХБ.Цифра».

Как устроена платформа

DRP стала единой средой для аналитиков, где в одном кластере собраны данные из корпоративного хранилища, озера данных, пользовательских песочниц и внешних источников. На платформе работают более 300 аналитиков, а ежедневно обновляется более 5000 объектов из корпоративного хранилища данных, озера данных и внешних систем. Общий объем данных в ежедневной обработке превышает 50 терабайт.

Ядром платформы выступает кластер Arenadata DB объёмом 100 Тбайт с возможностью дальнейшего расширения. Оркестрация загрузки реализована на Airflow, для интеграции с внешними источниками используется PXF, для BI-сценариев задействована отечественная визуализационная платформа, а для ML-задач — собственная ИИ-платформа RAISA. Такой стек позволил собрать в одном решении загрузку, аналитику, визуализацию, документацию и работу с моделями.

Скорость, прозрачность, self-service

Одна из ключевых задач проекта заключалась в создании управляемого self-service для бизнес-подразделений. Теперь аналитики могут работать с витринами, строить ad-hoc-запросы, формировать дашборды и загружать данные в своё пространство по единому регламенту. Для этого в системе реализована ролевая модель доступа, а также механизм квотирования и стандартные шаблоны подключения новых объектов.

Отдельное значение имеет зеркало корпоративного хранилища данных. Оно позволяет бизнесу использовать уже готовые витрины для проверки гипотез и подготовки отчётности без дополнительной нагрузки на основное хранилище. Это снижает эксплуатационную нагрузку, ускоряет получение результата и даёт подразделениям больше самостоятельности.

Благодаря кластерной архитектуре Arenadata DB ускорились ETL-процессы, выросла отказоустойчивость и упростилась эксплуатация платформы. Все процессы загрузки и сопровождения теперь поддерживаются без участия разработчиков, что особенно важно для масштабной банковской аналитики.

Цифры проекта

Проект по созданию DRP реализовывался с сентября 2024 года по сентябрь 2025 года, его трудоемкость составила более 2 тысяч человеко-часов. В платформу перенесли порядка 10 тысяч таблиц из разных источников, приведя их к единому способу загрузки и описания. Более 5 тысяч объектов из пяти систем-источников обновляются чуть больше чем за полтора часа, что для банковской аналитической среды считается высоким показателем.

Сегодня на платформе работает около 600 пользователей, однако в банке ожидают дальнейший рост числа участников и интеграций. Все загруженные объекты описываются и актуализируются в Базе знаний и Бизнес-глоссарии, что обеспечивает единый подход к документированию и упрощает вход для новых команд.

Почему проект важен для банка

Создание DRP стало для Россельхозбанка шагом к единой аналитической архитектуре, где данные хранятся, описываются и используются по общим правилам. Вместо множества отдельных песочниц банк получил одну управляемую платформу, в которой исключены дублирование данных, разрозненные политики доступа и зависимость от устаревших решений.

Проект также заложил основу для дальнейшей интеграции DRP с операционным слоем корпоративного хранилища данных и расширения сценариев работы с неструктурированными данными. По мере роста источников и объектов банк планирует масштабировать кластер Arenadata DB до объёма свыше 100 Тбайт, сохраняя при этом единые стандарты загрузки, описания и доступа.

Источник: TAdviser