Тема номера: Компания TOPS BI – партнер Oracle Россия и СНГ

А.А.Хамидуллин,
Директор отдела информационно-аналитических систем
TopS Business Integrator
( www.topsbi.ru).

Комментарии по развитию BI решений

Источник: материал предоставлен компанией TopS BI

Вот и дождались, так можно охарактеризовать современное состояние потребности российских Компаний в Business Intelligent приложениях. Сегодня уже наверно нет ни одного руководителя, который бы не слышал об этих “чудо” приложениях или даже не попробовал их использовать.

Рост количества ИТ компаний, предлагающих сегодня эти решения является ярким отражением роста клиентского спроса. Сегодня только ленивый не обозначает на своих сайтах и своих маркетинговых материалах опыт и высокую квалификацию по реализации проектов данного класса. Вот только когда спрашиваешь, а какую методологию вы используете или знакомы ли Вы с трудами Ральфа Кимбала и Била Инмона, то получаешь уклончивые ответы или ссылки на стандартные методологии разработки прикладных систем.

Чем же обусловлен такой спрос со стороны руководителей компаний сегодня?

В-первую очередь неудовлетворенность от состояния информационной среды внутри компании, которая оказывает сдерживающее влияние на эффективность управления бизнесом. Кусочная автоматизация, неинтегрированные приложения, несогласованность форматов данных, нормативно-справочной информации, ошибки человеческого фактора. Все это является следствием отсутствия качественной информации, необходимой для принятия своевременных, адекватных управленческих решений. Самое главное существующие системы не помогают, а порождают новые проблемы и затраты при проведение управленческого анализа.

Во-вторых, это связано с зависимостью от ИТ специалистов, которые являются исполнителями информационных запросов, а, следовательно, возникает ситуация “испорченного телефона”, связанная с непониманием ИТ специалистами сущности бизнес запроса. Как результат потеря времени в оценке состояния и принятии адекватных управленческих решений.

В-третьих, проблема менталитета. Все мы верим в чудо, в то, что без труда можно получить решение всех проблем. Я называю эту проблему – проблемой одной кнопки. Извечная мечта руководителя – нажатием одной кнопки получить решение всех проблем.

Вот этим третьим ключевым фактором, на мой взгляд, и решили воспользоваться поставщики решений. Мне понравилось, как охарактеризовал данную ситуацию Нейл Рейден (Neil Raden), основатель компании Hired Brains, а именно он называет сложившуюся ситуацию с выбором решения – конкурсом красоты, где выбор производится по принципу “нравится” или “не нравится”, а не на основе четких архитектурных требований.

Несомненно, достоинством предлагаемых сегодня BI приложений являются простота использования, множество панелей различных графических индикаторов, “спидометров”, светофоров и других видов графического представления. Когда идет демонстрация, то все это “блестит и переливается” и производит впечатление “грандиозного” продукта, который способен решить все проблемы. У Клиента возникает подспудное желание приобрести продукт, ведь вот-же он работает и все так красиво и понятно. При этом каждый из производителей приводит массу доводов в пользу своих приложений: самое производительное, самое простое в эксплуатации, самое надежное, самое функциональное т.п. В таких условиях возникает парадоксальная ситуация, когда Клиент покупает всевозможные приложения, пытаясь найти решение своей проблемы, а проблема-то не решается. Более того, производительность и эффективность катастрофически снижаются, а расходы растут с ростом приобретаемых приложений.

В этой “модной” гонке, нагнетаемой сегодня спросом, никто не думает о том, что все хорошо и прекрасно работает во время демонстрации, на небольшом срезе данных, отражающих лишь узкую специфику всего того обширного бизнеса, который присущ современным компаниям. Слабо еще понимание того, что BI приложения – это еще не система поддержки принятия управленческих решений, это только вершина айсберга, это средства конечного пользователя, под которыми должен работать “завод”, производящий качественную информацию, с которой можно эффективно работать как с помощью этих приложений, так и стандартными средствами репортинга. Наличие такого завода обеспечивает решение бизнес-проблем, а BI приложение само по себе – есть просто инструмент, которым надо уметь пользоваться.

Но мода сегодня диктует спрос и понятно стремление поставщиков продавать лицензии на приложения, а не тратить время на построение интегрированных систем, действительно предназначенных на решение проблем.

На мой взгляд, игнорирование задач по решению бизнес-проблем, и следование моде и сиюминутной выгоде приведет к очередному разочарованию бизнес сообщества по отношению к возможностям информационных технологий действительно приносить эффективную помощь.

Основой современной BI системы является, прежде всего, ее архитектурное решение, где на первом плане находится системная архитектура, обеспечивающая покрытие бизнес-требований, обеспечивающая способность системы помогать сотрудникам выполнять свою работу, а именно проводить оценку состояния, прогнозировать и моделировать ситуации, проверять гипотезы и формировать предложения по управленческим решениям. Техническая архитектура и конкретные инструменты – это уже второй аспект, призванный оказать поддержку функционирования системы. При этом проектируемое решение должно быть интегрируемым и масштабируемым. То есть должно обеспечивать единое информационное пространство компании и легко расширяться под новые бизнес потребности, обеспечивая при этом защиту инвестиций. Отсюда мы можем сделать вывод, что современный бизнес сегодня не может существовать без качественной информации, как основного “энергетического” источника функционирования всего сложного организма называемого бизнесом.

Все это напоминает мне производство, на вход подается сырье и за счет технологического процесса данное сырье преобразовывается в продукт “информация”, качество которого определяется благодаря четкому следованию всем этапам и нормативам технологического процесса.

Процесс производства информации включает в себя множество различных операций. В структуре возможных операций с данными можно выделить следующие основные:

• Сбор данных – накопление данных с целью обеспечения достаточной полноты информации для принятия решения в соответствии с требованиями бизнеса
• Формализация данных – приведение данных, поступающих из разных источников, к одинаковой форме, чтобы сделать их сопоставимыми между собой, то есть повысить их уровень доступности
• Фильтрация данных – отсеивание “лишних” данных, в которых нет необходимости для принятия решений; при этом должен уменьшаться уровень “шума”, а достоверность и адекватность данных должны возрастать
• Сортировка данных – упорядочение данных по заданному признаку с целью удобства использования; повышает доступность информации
• Группировка данных – объединение данных по заданному признаку с целью повышения удобства использования; повышает доступность информации
• Архивация данных – организация хранения данных в удобной и легкодоступной форме, служит для снижения экономических затрат на хранение данных и повышает общую надежность информационного процесса в целом
• Защита данных – комплекс мер, направленных на предотвращение утраты, воспроизведение и модификации данных
• Транспортировка данных – прием и передача (доставка и поставка) данных между удаленными участниками информационного процесса; при этом источник данных в информатике принято называть сервером, а потребителя – клиентом;
• Преобразование данных – перевод данных из одной формы в другую или из одной структуры в другую.

Разве это не говорит о том, как опасно пренебрегать производством “информации”, а тем более оказываться от него.

Чтобы стать по-настоящему эффективной BI системой, она должна подняться до уровня современных корпоративных систем, как это произошло в свое время с бухгалтерскими системами.

И так, подводя итог всему выше сказанному можно утверждать, что современным компаниям сегодня просто необходима система, которая должна устранить существующие издержки при принятии решения, а так же предоставить мощный механизм бизнес анализа. А в конечном итоге должна позволять менеджерам различного звена формировать управленческие запросы к бизнес системе и получать адекватные по времени и полные по аналитике ответы на них, что в конечном итоге должно и обеспечить эффективное управление всеми аспектами бизнеса.

Для этого необходимо:

• построить систему производства качественной информации и предоставить конечным потребителям современные инструменты взаимодействия с ней.
• управлять такими проектами должны бизнес потребители, так как они являются основными заказчиками
• обеспечить покрытие бизнес требований, как основного предназначения данной системы
• использовать при реализации данных проектов современные технологии и информационные системы, которые реально позволят обеспечить высокоэффективную информационную поддержку всех операций связанных с формированием информационного пространства компании.
• настраиваться на сложную и кропотливую работу, которая будет продолжаться все время существования компании. Как компания не стоит на месте, так и система данного класс должна постоянно развиваться и совершенствоваться.

Понятно, что основой, ядром таких систем должно являться информационно-аналитическое хранилище данных. Сегодня уже наверно нет желающих строить BI системы используя прямую связь аналитического приложения и операционных систем. Минусы данного подхода настолько очевидны и о них уже много написано, что убеждать в неправильности данного подхода нет необходимости.

Однако, понимая необходимость создания информационно-аналитических хранилищ данных, разработчики начинают игнорировать архитектурные и технологические аспекты проектирования и разработки. В понимании разработчиков прочно засели принципы проектирования операционных хранилищ, где в основе лежит, как правило, третья или вторая нормальные формы, характеризующиеся множеством сложных связей. Перенося данные принципы на проектирование аналитического хранилища данных, получается слепок операционного с элементами частичного улучшения, но ни как не аналитическое. В практике такое хранилище называется Data Stage хранилищем и используется в основном в качестве промежуточного слоя между операционным уровнем и аналитическим. Все это приводит к тому, что не обеспечивается главная задача проекта и бизнес-пользователь начинает разочаровываться, так как отклик информационной системы на его запросы не становится лучше, а порой ничем не отличается от того, что было.

И так, в создании информационно-аналитических хранилищ данных важен архитектурный аспект. Средством обеспечения реализации бизнес-требований в соотвтствиии с требованиями архитектуры должна являться методология, обеспечивающая связь бизнес-требований, логической интерпретацией модели хранилища и ее физической реализацией. Наличие методологии – является одним из признаков качества решений предлагаемых вендором. Но само по себе наличие методологии еще недостаточно для реализации проекта, необходим инструментарий, который несет в себе данную методологию и обеспечивает прозрачный и единый архитектурный стек – от проектирования элементов системы, до управления ими.

Сегодня на рынке не так уж много компаний, готовых предложить единое решение, составляющее собой связь методологии, инструментария и технологий, как целостного инструмента реализации проектов построения информационно-аналитических хранилищ данных.

На мой взгляд, только три несомненных лидера – это компании Oracle, IBM и Informatica. Однако законодателем мод и креативным центром в данной области является все же компания Oracle.

Компания Oracle является одним из лидеров индустрии информационных технологий. На протяжении своей 25-летней истории, является технологическим лидером и регулярно выступают с инновациями, которые затем лишь копируют конкуренты (например, Oracle 9i - это первая СУБД перенесенная на 64-разрядные процессоры, а Oracle 10g - это первая СУБД для распределенных вычислений). Такое положение, очевидно, сохранится и в течение ближайших лет.

Сегодня Oracle является единственной компанией, способной предложить полное решение для создания информационной инфраструктуры интеллектуального бизнеса - как на предприятиях малого и среднего бизнеса, так и в глобальных корпорациях.

Производимые компанией продукты отвечают всем основным требованиям, накладываемым на компоненты инфраструктуры:

• надежность - возможность выполнения своих функций с минимальным количеством отказов и временем простоя;
• масштабируемость - возможность наращивать производительность и функциональные возможности с минимальными затратами и в минимальные сроки;
• открытость - поддержка наиболее широко распространенных стандартов и протоколов;
• управляемость - поддержка широкого спектра протоколов сетевого управления;
• апробированность – наличие опыта успешного внедрения и эксплуатации.

Новые продукты компании Oracle – Oracle 9i/10g Database являются флагманами в своем секторе рынка. Oracle9i/10g Database представляет собой универсальную платформу сбора и интеграции разнородных источников, хранения и обработки данных, которая, помимо собственно сервера баз данных (традиционно сильная сторона Oracle), включает в себя средства OLAP, DataMining, ETL и т.д.

Помимо этого, копания Oracle предоставляет специализированное инструментальное средство – Oracle Warehouse Builder, для проектирования, реализации и управления информационно-аналитическим хранилищем данных. Он представляет собой интегрированную CASE-среду, ориентированную на создание информационно-аналитических систем. Средствами этого продукта можно проектировать, создавать и администрировать хранилища и витрины данных, разрабатывать и генерировать процедуры извлечения, преобразования и загрузки данных из различных источников, эффективно управлять метаданными. Основным достоинством данного продукта является то, что вся его логика строится на основе методологии, которая есть у Oracle в области решения задач построения информационно-аналитических систем. Эта методология называется Data Warehouse Method (DWM) и является частью общего подхода Oracle к проектированию и реализации различных проектов в данной области.

Продукт имеет встроенную библиотеку функций преобразования данных, которую при необходимости можно расширять собственными процедурами на PL/SQL. Встроенная в Oracle Warehouse Builder дополнительная компонента Oracle Pure*Integrate предоставляет мощные средства автоматической очистки данных, включающие алгоритмы нечеткой логики, синтаксический разбор имен и адресов, вероятностные модели и т.д. Эти методики часто применяются для обработки информации о маркетинговых кампаниях и помогают получить интегрированное представление о заказчиках и их категориях.

Таким образом, предлагаемая технологическая платформа позволяет обеспечить эффективное решение задачи.

Рассмотрим более подробно технологические преимущества серверов Oracle 9i/10g Database, направленные на решение указанных задач:

• автоматическое управление памятью (Automatic Memory Management) – администратору базы данных достаточно задать общий объем доступной памяти, далее сервер автоматически в ходе работы будет распределять эту память между процесами;
• автоматическое управление сегментами отката (Automatic Undo Management);
• автоматическое восстановление экземпляра после сбоя (Automatic Instance Crash Recovery;
• мощный стоимостной оптимизатор SQL (Cost-based SQL optimizer) – позволяет, в том числе, проводить оптимизацию так называемых запросов типа “звезда” (star-query) которые наиболее часто встречаются в хранилищах данных;
• разделение больших таблиц на относительно небольшие разделы, для дальнейшего параллельного выполнения запросов (partition options);
• наличие встроенной в СУБД виртуальной машины Java – это позволяет использовать при реализации аналитических систем богатый инструментарий языка Java сторонних производителей (Sun, IBM, Borland и др.);
• богатый набор встроенных хранимых процедур различного назначения (Oracle PL/SQL Supplied Packages);
• встроенный механизм по трансляции исходных текстов хранимых процедур на языках Java и PL/SQL в исходный текст на языке С, с последующей компиляцией в машинный код на целевой платформе, - это позволяет увеличить в 2-14 раз скорость выполнения хранимой на сервере бизнес-логики (хранимые процедуры, функции и триггеры);
• мощные механизмы создания копий базы данных – на основе репликации (Replication Option), и на основе применения журналов повторов (Logical Stand-By);
• единая централизованная консоль управления: Oracle Management Server и Oracle Enterprise Manager.

Помимо технологий общего назначения Oracle9i/10g Database имеет в своем составе ряд компонентов специально предназначенных для реализации и поддержки работы хранилищ данных. Рассмотрим их более подробно.

• Повышение производительности
• Увеличение размеров БД до 8 экзабайт (8 000 000 терабайт)
• Неограниченный размер для LOB-полей
• Средства ASM (снимают ограничения файловых систем)
• Hash Partitioned Global Indexes
• Технология bitmap индексации (Bitmap Join indexes)
• Секционирование (Partitioning)
• Параллельные вычисления
• Автоматическое распределение памяти (Automatic Memory Tuning)
• Специализированные Аналитические расширения
• Расширения SQL для аналитики (аналитические функции: Cube, Rollup, Rank, LAG/LEAD, First/Last, …; средства агрегирования данных (Grouping Sets, Concatenated Grouping Sets)
• SQL – моделирование
• Partitioned Outer Join (Восстановление разреженных данных)
• Статистические и аналитические функции
• Регулярные выражения
• Интеграционные инструменты и ETL средства – набор средств, позволяющих реализовать эффективные механизмы извлечения и обработки информации
• Data Pump
• Транспортируемые таличные пространства
• Oracle Transparent Gateway
• Oracle Com Automation Library
• Oracle XML DK
• Материализованные представления
• Oracle AQ
• Oracle JMS
• Автоматическое определение факта изменения данных во внешних источниках: Change Data Capture;
• Определение таблиц базы данных которые физически расположены вне базы данных (во внешнем источнике данных) – External tables;
• Определение функций, выполняющих преобразования входного набора данных в выходной набор данных, возращаемый в качестве результата- Table-functions.
  Таким образом, в SQL-запросе в качестве источника данных может указываться табличная функция;
• Средства языка SQL были расширены для обеспечения возможности одновременной вставки и модификации данных – команда MERGE;
• Также средства языка SQL были расширены для обеспечения возможности одновременной вставки данных в несколько таблиц: multi-table insert.

Компания Oracle Corporation разработала и уже в течение длительного времени предлагает пользователям семейство продуктов, Oracle Transparent Gateway. Главная идея, положенная в основу технологии шлюзов Oracle, состоит в возможности простой интеграции СУБД и других продуктов ведущих поставщиков ПО в программную среду на основе продуктов Oracle. То есть технология шлюзов Oracle позволяет унифицировать доступ к данным (Oracle SQL) и процедурам, равно как и сетевое взаимодействие на прикладном уровне (Oracle Net) в вычислительной системе со сложной неоднородной архитектурой.

Таким образом, Oracle Transparent Gateway – это группа продуктов (шлюзов), обеспечивающих прозрачный доступ (посредством использования языка запросов SQL) к данным, хранящимся в отличных от Oracle базах данных на всех платформах открытых систем. В настоящий момент поддерживается доступ к следующим базам данных: MS SQLServer, Sybase, Rdb, Ingres, Informix, Teradata, DB2.

Направление хранилищ данных и аналитических систем является сегодня для Oracle одним из самых приоритетных. Будучи поставщиком полного технологического решения, в данной области, Oracle выпускает новые продукты и постоянно совершенствует существующие.

Таким образом, корпорация Oracle обеспечивает полное решение для корпоративной информационно-аналитической системы и позволяет эффективно делать инвестиции в эту область и управлять ими.