Оптимизация расчетов рисков и нормативной отчетности

Проблемы в области нормативной отчетности

В связи с усложнением требований к отчетности, предъявляемых регулирующими органами по всему миру, в последние годы возросли стоимость подготовки нормативной отчетности и затраты соответствующих ресурсов. Чтобы не отставать от постоянных изменений, финансовым компаниям приходится искать способы более эффективного и точного удовлетворения растущих требований к данным, стратегически развивая свою архитектуру данных для повышения производительности и стимулирования роста.

Многие организации, предоставляющие финансовые услуги, по-прежнему тратят значительное количество времени и квалифицированных ресурсов на подготовку нормативной отчетности. Без автоматизированной системы, выполняющей проверки качества данных и устраняющей их разрозненность, банки тратят бесчисленное количество часов на проверку нормативных документов, чтобы гарантировать их точность. Доступ к данным с требуемой степенью детализации — еще одна проблема, поскольку различные системы собирают данные на разных уровнях: например, системы кредитования собирают данные на уровне счетов и транзакций, системы выдачи кредитов — на уровне запросов, а системы кредитных карт — на уровне карт и транзакций. Анализ данных с детализацией на едином уровне дает финансовым учреждениям полное представление об их деятельности, клиентах и рынках. Это позволяет рассматривать данные в контексте и выявлять взаимосвязи, закономерности и тенденции, которые можно упустить, если данные агрегируются или дезагрегируются непоследовательно.

Для решения этих проблем финансовые организации пересматривают свои методики, подходя к расчету рисков, составлению нормативной отчетности и соблюдению нормативных требований как к целостному процессу, и стремятся к сквозной автоматизации и управлению: от сбора и анализа данных до формирования отчетности, включая предоставление готовой документации официальным органам.

Более эффективное управление нормативно-правовым соответствием и рисками за счет машинного обучения и искусственного интеллекта

Приведенная ниже архитектура демонстрирует, как можно объединить компоненты и ресурсы Oracle, в том числе передовую аналитику, искусственный интеллект и машинное обучение, для создания комплексной платформы данных, позволяющей формировать нормативную отчетность и рассчитывать риски, что облегчает интеграцию данных, поддержание их качества, стандартизацию, обработку, контроль происхождения и гибкость. Платформа данных обеспечивает финансовым учреждениям надежную основу для выполнения нормативных требований, создания своевременных и точных отчетов и эффективного расчета рисков.

На этом изображении показано, как платформу данных Oracle для здравоохранения можно использовать для предоставления ценностно-ориентированного лечения с мониторингом эффективности. Платформа содержит пять основных компонентов:

1. 1. Источники данных, обнаружение
2. 2. Импорт, преобразование
3. 3. Сохранение, отбор, создание
4. 4. Анализ, обучение, прогнозирование
5. 5. Измерение, исполнение

Компонент «Источники данных, обнаружение» включает три категории данных.

1. 1. К приложениям Oracle относятся Fusion SaaS, Oracle E-Business Suite и EPM.
2. 2. К данным бизнес-записей (данные первой стороны) относятся данные о транзакциях, доходе и марже.
3. 3. Третьи стороны предоставляют данные об обменных курсах, рыночных котировках и ценах на товары.

Компонент «Импорт, преобразование» содержит четыре ресурса.

1. 1. Массовый перенос предполагает использование OCI FastConnect, OCI Data Transfer, MFT и OCI CLI.
2. 2. Для пакетного импорта используются OCI Data Integration, Oracle Integration Cloud и Data Studio.
3. 3. Для сбора данных об изменениях используются OCI GoldenGate и Oracle Data Integrator.
4. 4. Потоковый импорт предполагает использование OCI Streaming, Kafka Connect и DB Tools.

Все четыре ресурса однонаправленно объединяются с облачным хранилищем в рамках компонента «Сохранение, отбор, создание».

Компонент «Сохранение, отбор, создание» содержит пять ресурсов.

1. 1. В качестве служебного хранилища данных используется Autonomous Data Warehouse.
2. 2. Для вычислительных ферм используют высокопроизводительные вычисления (HPC).
3. 3. В облачном хранилище используется OCI Object Storage.
4. 4. Для пакетной обработки используется OCI Data Flow.
5. 5. Для управления используется OCI Data Catalog.

Эти ресурсы связаны в рамках компонента. Облачное хранилище или озеро данных однонаправленно подключено к служебному хранилищу данных, а также двунаправленно подключено к пакетной обработке и вычислительной ферме.

Компонент «Анализ, обучение, прогнозирование» связывает два ресурса: служебное хранилище данных однонаправленно подключается к ресурсу аналитики и визуализации и двунаправленно — к ресурсу AI Services. Облачное хранилище подключается к ресурсу AI Services.

Компонент «Анализ, обучение, прогнозирование» содержит три ресурса.

1. 1. Для аналитики и визуализации используются GraphStudio, Oracle Analytics Cloud и независимые поставщики ПО (ISV).
2. 2. К сервисам AI Services относятся OCI Anomaly Detection, OCI Language, OCI Forecasting и OCI Vision.
3. 3. Служебное хранилище данных, сервис аналитики и визуализации и объектное хранилище поставляют метаданные в OCI Data Catalog.

Компонент «Измерение, исполнение» описывает, как анализ данных может использоваться для расчета рисков и решения задачи формирования нормативной отчетности. Эти приложения разделяются на две группы.

1. 1. Первая группа «Люди и партнеры» включает в себя обеспечение нормативно-правового соответствия и нормативную отчетность, а также агрегирование рисков и создание отчетов.
2. 2. Вторая группа «Области применения» включает аналитику кредитного и рыночного риска, аналитику рисковой стоимости, аналитику операционных рисков, аналитику риска ликвидности, а также стресс-тестирование и анализ сценариев.

Три центральных компонента — «Импорт, преобразование», «Сохранение, отбор, создание» и «Анализ, обучение, прогнозирование» — поддерживаются инфраструктурой, сетью, средствами безопасности и продуктами IAM.

Существует три основных способа импорта данных в архитектуру, позволяющие финансовым организациям оптимизировать процессы расчета рисков и подготовки нормативной отчетности и при этом повышать их точность.

• Для начала необходимо импортировать данные из систем транзакций и основных банковских приложений. Затем эти данные могут быть дополнены данными о клиентах из сторонних источников, к которым можно отнести, например, неструктурированные данные из социальных сетей. Частые извлечения данных в реальном или близком к реальному времени, требующие сбора данных об изменениях, являются обычным явлением, и данные регулярно импортируются из систем управления транзакциями, рисками и клиентами с помощью Oracle Cloud Infrastructure (OCI) GoldenGate. OCI GoldenGate также является критически важным компонентом развивающихся архитектур Data Mesh, в которых управление «продуктами данных» осуществляется с помощью книг корпоративных данных и многоязычных потоков данных, реализующих процессы непрерывного преобразования и загрузки (вместо пакетных процессов импорта и извлечения, преобразования и загрузки, используемых в монолитных архитектурах).
• После этого можно использовать потоковый импорт для получения данных о торговых операциях в режиме реального времени. Например, при совершении сделки вся информация, связанная с ней, поступает в систему и затем используется для обновления счетов и книг, пересчета рисков и запуска процессов расчета. Эти данные поступают в необработанном (непреобразованном) виде через коннектор HDFS/S3 для долговременного хранения и подвергаются некоторым базовым преобразованиям/агрегированию перед сохранением в облачном хранилище. Параллельно с импортом можно с помощью потоковой аналитики фильтровать, агрегировать, сопоставлять и анализировать большие объемы данных из различных источников в режиме реального времени. Это помогает финансовым учреждениям выявлять угрозы и риски для бизнеса. Коррелирующие события и выявленные закономерности могут быть переданы обратно (вручную), а необработанные данные можно изучить с помощью OCI Data Science. Кроме того, можно генерировать события для запуска определенных действий. Эти действия могут быть ориентированы непосредственно на клиента, например уведомление клиентов о возможном мошенничестве по электронной почте или SMS или блокировка ненадежных дебетовых карт, либо же направлены на оптимизацию внутренних процессов, например путем уведомления группы обеспечения нормативного соответствия о выявлении потенциальной проблемы. OCI GoldenGate Stream Analytics — это технология аналитических вычислений в оперативной памяти на потоковых данных, работающая в реальном времени.
• Для точного понимания и прогнозирования рисков необходим доступ к хронологическим данным о производительности, трендам и закономерностям. Как правило, для этого требуется загрузить большой объем транзакционных данных и других операционных метрик и наборов данных (например, рыночных данных и цен на товары) из локальных хранилищ данных с использованием методов и сервисов массовой передачи данных, таких как OCI Data Transfer Service.
• Несмотря на растущую потребность в обработке в реальном времени, наиболее распространенным способом извлечения данных из основных банковских, клиентских и финансовых систем является пакетный импорт с использованием процесса извлечения, преобразования и загрузки. Пакетный импорт часто используется для получения данных из систем, которые не поддерживают потоковый импорт (например, старые системы мэйнфреймов), или данных, которые необязательно должны анализироваться в реальном времени, например о займах и ипотечных ссудах. Эти данные имеют высокую степень структурированности и качества/целостности и часто обрабатываются транзакционными приложениями/системами в массовом режиме по определенному расписанию, например, в 15 минут каждого часа или ежедневно в полдень (в случае сложных процессов периоды могут быть и длиннее). Наиболее эффективным в плане расходования вычислительных и сетевых ресурсов является массовый импорт после завершения обработки источников данных. Пакетные импорты могут осуществляться часто, даже каждые 10 или 15 минут, но они все равно носят массовый характер, поскольку извлекаются и обрабатываются группы транзакций, а не отдельные транзакции. Инфраструктура OCI предлагает различные сервисы для пакетного импорта, например собственный сервис OCI Data Integration или Oracle Data Integrator, работающий на экземпляре OCI Compute. В зависимости от объемов и типов данные могут загружаться в объектное хранилище или непосредственно в структурированную реляционную базу данных для постоянного хранения.

Сохранение и обработка данных базируются на трех (иногда четырех) компонентах.

• Импортированные необработанные данные хранятся в облачном хранилище для алгоритмических целей; основной уровень персистентности данных обеспечивается с помощью OCI Object Storage. Основным механизмом пакетной обработки данных, например картографических, о транзакциях, местоположении и приложениях, в OCI Data Flow является Spark. Пакетная обработка предполагает выполнение несколько операций, в том числе базовую обработку шумов, управление отсутствующими данными и фильтрацию на основе заданных наборов исходящих данных. Результаты записываются на различные слои объектного хранилища или в постоянный реляционный репозиторий, в зависимости от требуемой обработки и используемых типов данных.
• Эти обработанные наборы данных возвращаются в облачное хранилище для дальнейшего хранения, отбора и анализа и в конечном счете для загрузки в оптимизированном виде в служебное хранилище данных, предоставляемое в данном случае средствами Oracle Autonomous Data Warehouse. Теперь данные сохраняются в оптимизированной реляционной форме для отбора и выполнения запросов. В зависимости от предпочитаемой архитектуры это может быть реализовано с помощью Oracle Big Data Service в виде управляемого кластера Hadoop. В этом случае все данные, необходимые для обучения моделей машинного обучения, поступают в необработанном виде из объектного хранилища. Для обучения моделей исторические шаблоны объединяются с записями на уровне транзакций, что позволяет выявлять и маркировать потенциальные риски. Объединение этих наборов данных с другими, такими как данные устройств и геопространственные данные, позволяет применять методы исследования данных для уточнения существующих и разработки новых моделей с целью более эффективного управления рисками и их прогнозирования. Этот тип персистентности может также использоваться для хранения данных в схемах, являющихся частью хранилищ данных, доступ к которым осуществляется через внешние таблицы и гибридные секции.
• Как упоминалось в разделе, посвященном импорту данных, финансовые организации работают с огромными объемами данных, в том числе с историческими рыночными данными, данными о торговых операциях в реальном времени, экономическими показателями и т. д. Высокопроизводительные вычисления (HPC) обеспечивают эффективную обработку и анализ больших массивов данных, что позволяет проводить комплексную оценку рисков. Прогнозирование финансовых рисков предполагает использование сложных математических и статистических моделей, таких как модели, построенные методом Монте-Карло, модели ценообразования опционов и модели факторов риска. Эти модели требуют значительных вычислительных мощностей для точного и быстрого выполнения расчетов и моделирования. Системы HPC в составе вычислительной фермы предоставляют необходимые вычислительные ресурсы для обработки этих сложных моделей в предельно экономичном режиме за счет использования принципов облачных вычислений.

Способность к анализу, обучению и прогнозированию базируется на трех технологиях.

• Сервисы Аналитики и визуализации, такие как Oracle Analytics Cloud, предоставляют аналитику на основе отобранных данных из служебного хранилища данных. Сюда входит описательная аналитика (описывает текущие тренды посредством гистограмм и диаграмм), прогнозная аналитика (прогнозирует события, выявляет тренды и определяет вероятность неопределенных результатов) и предписывающая аналитика (предлагает подходящие действия, способствующие принятию оптимальных решений). Эти виды аналитики можно использовать, например, для ответа на такой вопрос: как соотносятся выявленные риски в этом периоде и в предыдущих?
• Наряду с расширенной аналитикой разрабатываются, обучаются и развертываются модели машинного обучения. Обученные модели можно запускать как с текущими, так и с историческими данными транзакций, чтобы помочь финансовым организациям лучше прогнозировать и контролировать риски, например, путем сопоставления способов осуществления транзакций и поведенческих характеристик для выявления отмывания денег. Результаты могут быть сохранены в служебном слое и представлены с помощью аналитических инструментов, таких как Oracle Analytics Cloud. Для оптимизации обучения модель и данные также могут быть переданы в системы машинного обучения, такие как OCI Data Science, позволяющие глубже обучить модели с целью более эффективного анализа рисков. Доступ к этим моделям можно получить через интерфейсы API, развернутые в служебном хранилище данных или встроенные в конвейер потоковой аналитики OCI GoldenGate.
• Кроме того, могут использоваться расширенные возможности облачных сервисов искусственного интеллекта.
• 
  
  OCI Anomaly Detection — это сервис искусственного интеллекта, облегчающий построение моделей распознавания аномалий для конкретного варианта применения в бизнесе, сигнализирующих о критически важных инцидентах, что сокращает время их выявления и урегулирования. В данном случае мы будем использовать эти модели для выявления нормативно-правового несоответствия и отслеживания несоблюдения МСФО 9 и МСФО 17, CECL, LDTI, ОЭСР, Basel и других стандартов и требований. Такая идентификация может использоваться вместе с историческими данными урегулирования для исправления ситуации и улучшения процесса. В случае оценки рисков, в том числе кредитных и рыночных рисков, рисков ликвидности, а также рисков, связанных с эффективностью работы предприятия, OCI Anomaly Detection позволяет отслеживать метрики эффективности и убедиться, что текущие показатели и операции не увеличивают общий риск.
• Кроме того, OCI Anomaly Detection можно использовать для отслеживания количества случаев нормативно-правового соответствия/несоответствия по категориям, чтобы определить, не вызывает ли какое-либо конкретное изменение в бизнесе аномальные обострения в аспекте соответствия. Более того, OCI Anomaly Detection может помочь выявить основную причину нормативно-правового несоответствия, контролируя использование правил соответствия на предмет наличия в последних транзакциях признаков необычного использования.
• OCI Forecasting может использоваться для прогнозирования метрик эффективности, а также внешних факторов, таких как состояние рынка и поведение клиентов, с целью анализа вероятности и потенциального выявления надвигающегося риска.
• OCI Language и OCI Vision позволяют импортировать документы и тексты, которые могут дополнить данные для действий по управлению рисками.
• Управление данными — еще один важный компонент. Он предоставляется бесплатным сервисом OCI Data Catalog, обеспечивающим управление данными и метаданными (как техническими, так и бизнес-метаданными) для всех источников данных в экосистеме озерного хранилища. OCI Data Catalog также является критически важным компонентом для запросов из Oracle Autonomous Data Warehouse в OCI Object Storage, поскольку предоставляет способ быстрого поиска данных независимо от метода их хранения. Это позволяет конечным пользователям, разработчикам и специалистам по работе с данными использовать общий язык доступа (SQL) для всех постоянных хранилищ данных в архитектуре.
• Наконец, наши тщательно отобранные, протестированные и управляемые данные и модели высокого качества могут быть представлены в виде продукта данных (API) в архитектуре сети Data Mesh для распространения по всей организации финансовых услуг.

Оптимизация расчетов рисков и нормативной отчетности с помощью подходящей платформы данных

Платформа данных Oracle помогает финансовым организациям идти в ногу со стремительно меняющимся ландшафтом управления рисками и нормативной отчетности, справляться с ужесточающимися требованиями к отчетности со стороны официальных органов по всему миру и обеспечивать доступ к данным с требуемой степенью детализации. Решение Oracle предоставляет интегрированную среду и структуру для управления данными о рисках, что позволяет сократить ценное время и ресурсы, которые организации должны выделять на подготовку нормативной отчетности. Автоматизированное решение, применяющее правила проверки качества и устраняющее разрозненность данных, позволит организациям быть уверенными в своих нормативных отчетах и лучше понимать, контролировать и минимизировать риски.