Siatka danych w przedsiębiorstwie

Siatka danych to gorący temat w dziedzinie oprogramowania korporacyjnego. Stanowi nowe podejście do myślenia o danych w oparciu o rozproszoną architekturę do zarządzania danymi. Polega na uczynieniu danych bardziej dostępnymi dla użytkowników biznesowych poprzez bezpośrednie połączenie właścicieli, producentów i konsumentów danych. Siatka danych ma na celu poprawę wyników biznesowych rozwiązań ukierunkowanych na dane, a także przyspieszenie wdrażania nowoczesnych architektur danych.

Z biznesowego punktu widzenia siatka danych wprowadza nowe pomysły dotyczące „myślenia o produktach danych”. Innymi słowy jest to traktowanie danych jako produktu spełniającego „zadanie do wykonania”, na przykład w celu usprawnienia procesu podejmowania decyzji, pomocy w wykryciu oszustw lub ostrzegania przedsiębiorstwa o zmianach w statusie łańcucha dostaw. Aby tworzyć produkty o wysokiej wartości, firmy powinny skupić się na zmianach w kulturze i sposobie myślenia, angażując się w bardziej wielofunkcyjne podejście do modelowania domen biznesowych.

Od strony technologicznej, podejście Oracle do siatki danych obejmuje trzy ważne nowe obszary tematyczne w zakresie architektury opartej na danych:

1. Narzędzia dostarczające produkty danych pod postacią kolekcji danych, zdarzeń danych i analiz danych
2. Rozproszone, zdecentralizowane architektury danych, które pomagają organizacjom odchodzącym od monolitycznych architektur w przetwarzaniu w wielu chmurach i chmurach hybrydowych lub organizacjom, które muszą działać w globalnie zdecentralizowany sposób
3. Dane w ruchu dla organizacji, które nie mogą polegać wyłącznie na scentralizowanych, statycznych danych wsadowych, i które zamiast tego przechodzą na oparte na zdarzeniach księgi danych i potoki strumieniowe dla zdarzeń danych w czasie rzeczywistym, zapewniające bardziej aktualne analizy

Inne ważne kwestie, takie jak narzędzia samoobsługowe dla użytkowników nietechnicznych i silne modele zarządzania danymi sfederowanymi, są równie ważne dla architektury siatki danych, jak w przypadku innych, bardziej scentralizowanych i klasycznych metod zarządzania danymi.

Strategia oparta na siatce danych to zmiana podejścia na postrzeganie danych jako produktu. Siatka danych wprowadza zmiany organizacyjne i procesowe, których przedsiębiorstwa będą potrzebowały do zarządzania danymi jako swoimi środkami trwałymi. Perspektywa Oracle dotycząca architektury siatki danych wymaga odpowiedniego dostosowania pomiędzy organizacyjnymi i analitycznymi domenami danych.

Siatka danych ma na celu bezpośrednie powiązanie producentów danych z użytkownikami biznesowymi oraz, w jak największym stopniu, usunięcie pośredniczenia działu IT z projektów oraz procesów przyjmujących, przygotowujących i przekształcających zasoby danych.

Zaangażowanie Oracle w technologię siatki danych skupia się na udostępnieniu naszym klientom platformy spełniającej nowoczesne wymagania technologiczne. Obejmuje to narzędzia dla produktów danych, zdecentralizowane architektury sterowane zdarzeniami oraz wzorce strumieni danych w ruchu. W przypadku modelowania domen produktów danych i innych problemów socjotechicznych, Oracle wykorzystuje wyniki prac prowadzonych przez lidera w dziedzinie technologii siatki danych, Zhamaka Dehghaniego.

Smutna prawda polega na tym, że dotychczasowe monolityczne architektury danych są kłopotliwe, drogie i nieelastyczne. Na przestrzeni lat stało się jasne, że większość czasu i kosztów związanych z cyfrową platformą biznesową, począwszy od aplikacji po analitykę, pochłaniają wysiłki związane z integracją. W rezultacie większość inicjatyw opartych na platformach kończy się porażką.

Chociaż siatka danych nie jest magicznym panaceum dla scentralizowanych, monolitycznych architektur danych, to jej zasady, praktyki i technologie są zaprojektowane w celu rozwiązania najbardziej palących problemów i wyzwań związanych z modernizacją inicjatyw biznesowych opartych na danych.

Oto niektóre trendy technologiczne, które doprowadziły do powstania rozwiązania w postaci siatki danych:

Zmiana sposobu myślenia to najważniejszy i pierwszy krok ku siatce danych. Gotowość na przyjęcie wyuczonych praktyk innowacyjnych jest podstawą skutecznej modernizacji architektury danych.

Te praktyki obejmują:

• Myślenie projektowe — sprawdzona metodologia rozwiązywania „niewyobrażalnych problemów”, stosowana w domenach danych przedsiębiorstwa na potrzeby tworzenia wspaniałych produktów danych.
• Teoria zadań do wykonania — stosowanie procesu innowacji skoncentrowanej na kliencie oraz opartej na wynikach w celu zapewnienia, że produkty danych przedsiębiorstwa rozwiązują rzeczywiste problemy biznesowe.

Metodologie myślenia projektowego oferują sprawdzone techniki, które pomagają w rozbiciu silosów organizacyjnych często blokujących międzyfunkcyjne innowacje. Teoria zadań do wykonania jest niezbędnym fundamentem projektowania produktów danych, które spełniają określone cele klienta końcowego lub zadania do wykonania. Definiuje ona cel produktu.

Mimo że podejście oparte na danych pierwotnie zrodziło się w społeczności danologii, aktualnie stosowane jest dla wszystkich aspektów zarządzania danymi. Zamiast tworzyć monolityczne architektury technologiczne, siatka danych koncentruje się na konsumentach danych i wynikach biznesowych.

Myślenie o produktach danych może być stosowane w innych architekturach danych, stanowi jednak kluczową część siatki danych. Pragmatyczne przykłady stosowania myślenia o danych można znaleźć w szczegółowej analizie doświadczeń zespołu firmy Intuit.

Produkty dowolnego rodzaju, począwszy od surowców po produkty w lokalnym sklepie, są tworzone jako aktywa oferujące wartość, przeznaczone do spożycia i z określonym zadaniem do wykonania. Produkty danych mogą przybierać różne formy, w zależności od domeny biznesowej lub problemu do rozwiązania i mogą obejmować:

• Analizy — raporty i pulpity informacyjne oparte na danych historycznych lub w czasie rzeczywistym.
• Zestawy danych — kolekcje danych w różnych wariantach i formatach.
• Modele — obiekty domen, modele danych, funkcje uczenia maszynowego (ML).
• Algorytmy — modele uczenia maszynowego, oceny, reguły biznesowe.
• Usługi danych i interfejsy API — dokumenty, dane właściwe, tematy, interfejsy API REST itd.

Produkt danych jest tworzony do użytku, zwykle nie należy do działu IT i wymaga śledzenia dodatkowych atrybutów, takich jak:

• Mapa interesariuszy — do kogo należy ten produkt, kto go tworzy i kto z niego korzysta?
• Opakowanie i dokumentacja — jak jest wykorzystywany? W jaki sposób jest oznakowany?
• Cel i wartość — jaka jest ukryta i jawna wartość produktu? Czy produkt ulega amortyzacji w czasie?
• Jakość i spójność — jakie są wskaźniki KPI i umowy SLA dotyczące użytkowania? Czy produkt można zweryfikować?
• Identyfikowalność, cykl życia i zarządzanie — czy istnieje zaufanie do danych i możliwość ich objaśnienia?

Zdecentralizowane systemy IT istnieją tu i teraz, a wraz z popularyzacją aplikacji SaaS i infrastruktury chmury publicznej (IaaS) decentralizacja aplikacji i danych stanie się codziennością. Architektury oprogramowania aplikacji odchodzą od przestarzałych, scentralizowanych monolitów do rozproszonych mikrousług (siatki usług). Architektura danych będzie podążać za tym samym trendem w kierunku decentralizacji, a dane będą coraz bardziej rozproszone między różnymi lokalizacjami fizycznymi i wieloma sieciami. Nazywamy to siatką danych.

Siatka to topologia sieci, która umożliwia płynną współpracę dużej grupy niehierarchicznych węzłów.

Jej powszechne przykłady to:

• WiFiMesh — wiele węzłów współpracujących w celu zapewnienia większego zasięgu.
• ZWave/Zigbee — energooszczędne sieci inteligentnych urządzeń domowych.
• Sieć 5G — bardziej niezawodne i wydajne połączenia komórkowe.
• Starlink — szerokopasmowa sieć satelitarna na globalną skalę.
• Siatka usług — sposób na zapewnienie jednolitej kontroli nad zdecentralizowanymi mikrousługami (oprogramowaniem aplikacji).

Siatka danych jest podobna do tych koncepcji siatki i zapewnia zdecentralizowany sposób dystrybucji danych w wirtualnych lub fizycznych sieciach na duże odległości. Starsze monolityczne architektury integrujące dane, takie jak ETL, narzędzia do federacji danymi, a ostatnio usługi chmury publicznej, takie jak AWS Glue wymagają wysoce scentralizowanej infrastruktury.

Pełne rozwiązanie siatki danych powinno działać w środowisku wielochmurowym, potencjalnie obejmującym systemy lokalne, wiele chmur publicznych, a nawet sieci brzegowe.

W świecie bardzo rozproszonych i zdecentralizowanych danych bezpieczeństwo informacji ma kluczowe znaczenie. W przeciwieństwie do wysoce scentralizowanych monolitów, systemy rozproszone muszą delegować działania niezbędne do uwierzytelniania i autoryzacji różnych użytkowników do różnych poziomów dostępu. Bezpieczne delegowanie zaufania między sieciami nie jest łatwe.

Niektóre związane z tym kwestie to:

• Szyfrowanie danych w spoczynku — jako dane/zdarzenia zapisywane w magazynie
• Uwierzytelnianie rozproszone — dla usług i magazynów danych, takich jak mTLS, certyfikaty, SSO, tajne magazyny i sejfy danych.
• Szyfrowanie podczas trwania procesu — dane/zdarzenia, które znajdują się aktualnie w pamięci.
• Zarządzanie tożsamością — usługi LDAP/IAM, usługi wieloplatformowe.
• Rozproszone autoryzacje — w ramach punktów końcowych usługi w celu redagowania danych
  Na przykład: Open Policy Agent (OPA) do umieszczenia punktu decyzyjnego założenia systemowego (PDP) w klastrze kontenera/K8S, w którym przetwarzany jest punkt końcowy mikrousługi. LDAP/IAM może być dowolną usługą JWT.
• Maskowanie deterministyczne — w celu niezawodnego i spójnego maskowania danych osobowych.

Zapewnienie bezpieczeństwa w każdym systemie IT jest trudne, a zapewnienie wysokiego bezpieczeństwa w systemach rozproszonych jest jeszcze trudniejsze. Nie są to jednak problemy niemożliwe do rozwiązania.

Podstawowym założeniem siatki danych jest pojęcie podziału własności i odpowiedzialności. Najlepszą praktyką jest sfederowanie własności produktów i domen danych do osób w organizacji, które znajdują się najbliżej danych. W praktyce może to być zgodne z danymi źródłowymi (na przykład z nieprzetworzonymi danymi źródłowymi, takimi jak operacyjne systemy rekordów/aplikacji) lub z danymi analitycznymi (na przykład zazwyczaj złożone dane lub zagregowane i sformatowane dane w celu ułatwienia ich wykorzystania przez konsumentów). W obu przypadkach producenci i konsumenci danych są często przypisani do jednostek biznesowych, a nie do organizacji IT.

Stare sposoby organizowania domen danych często wpadają w pułapkę konieczności dostosowania się do rozwiązań technologicznych, takich jak narzędzia ETL, hurtownie danych, jeziora danych lub strukturalna organizacja firmy ( zasoby ludzkie, marketing i inne obszary działalności). Jednak w przypadku danego problemu biznesowego domeny danych są często najlepiej dostosowane do zakresu rozwiązywanego problemu, kontekstu określonego procesu biznesowego lub rodziny aplikacji w konkretnym obszarze problemu. W dużych organizacjach te domeny danych są zazwyczaj wykorzystywane w sposób przekraczający wewnętrzne struktury i hierarchie, również technologiczne.

W siatce danych funkcjonalny rozkład domen danych ma podstawowy priorytet. Różne metody rozkładu danych na potrzeby modelowania domen można dostosować do architektury siatki danych. Dotyczy to klasycznego modelowanie hurtowni danych (np. Kimball i Inmon) lub modelowania repozytorium danych. Najczęściej stosowaną obecnie metodologią w architekturze siatki danych jest projektowanie oparte na domenach (DDD). Metoda DDD wyłoniła się z rozkładu funkcjonalnego mikrousług i jest obecnie stosowana w kontekście siatki danych.

Ważnym elementem dyskusji na temat siatki danych, w ramach którego Oracle zabrało głos, jest zwiększenie znaczenia danych w ruchu jako kluczowego składnika nowoczesnej siatki danych. Dane w ruchu są niezbędne do wyniesienia siatki danych poza przestarzały świat monolitycznego i scentralizowanego przetwarzania wsadowego. Dane w ruchu stanowią odpowiedź na kilka podstawowych pytań dotyczących siatki danych:

• Jak możemy uzyskać dostęp do produktów danych dopasowanych do źródła w czasie rzeczywistym?
• Jakie narzędzia mogą zapewnić przeprowadzanie rozproszonych, zaufanych transakcji danych w fizycznie zdecentralizowanej siatce danych?
• Czego można użyć, jeśli konieczne jest udostępnienie zdarzeń danych jako interfejsy API produktów danych?
• Jak dostosować się do domen danych i zapewnić zaufanie i poprawność w przypadku danych analitycznych, które muszą być stale aktualizowane?

Te pytania nie dotyczą jedynie „szczegółów wdrożenia” — mają centralne znaczenie dla samej architektury danych. Oparty na domenie projekt danych statycznych będzie oparty na innych technikach i narzędziach niż dynamiczne dane w ruchu przetwarzane w ramach tego samego projektu. Na przykład w dynamicznych strukturach danych, zbiór danych jest centralnym źródłem prawdy dla zdarzeń związanych z danymi.

Zbiory stanowią podstawowy element tworzenia funkcji architektury rozproszonych danych. Zbiór danych, tak jak księga rachunkowa, rejestruje mające miejsce transakcje.

Podczas dystrybucji księgi zdarzenia danych stają się „odtwarzalne” w dowolnym miejscu. Niektóre księgi są podobne do lotniczych „czarnych skrzynek”, używanych do zapewnienia wysokiej dostępności danych i odzyskiwania po awarii.

W przeciwieństwie do scentralizowanych i monolitycznych magazynów danych, rozproszone księgi są przeznaczone do śledzenia niepodzielnych zdarzeń i/lub transakcji zachodzących w innych (zewnętrznych) systemach.

Siatka danych nie stanowi tylko jednego rodzaju zbioru. W zależności od przypadków użycia i wymagań, siatka danych może korzystać z różnych typów zbiorów danych opartych o zdarzenia, w tym:

• Księga zdarzeń ogólnego przeznaczenia — np. Kafka lub Pulsar
• Księga zdarzeń danych — rozproszone narzędzia CDC/replikacji
• Oprogramowanie pośredniczące do obsługi wiadomości — w tym ESB, MQ, JMS i AQ
• Rejestr Blockchain — w celu zapewnienia bezpiecznych, niezmiennych, wielokanałowych transakcji

Księgi mogą działać łącznie jako trwały dziennik zdarzeń dla całego przedsiębiorstwa, oferując pełną listę zdarzeń danych odbywających się w systemach zapisu i analiz.

Strumienie danych w wielu językach występują częściej niż kiedykolwiek. Różnią się one pod kątem typów zdarzeń, ładunków oraz semantyki transakcji. Siatka danych powinna obsługiwać niezbędne typy strumieni dla różnych zadań przetwarzania danych korporacyjnych.

Siatka danych ma oczywiście więcej niż trzy atrybuty. Skupiliśmy się na trzech powyższych, aby zwrócić uwagę na atrybuty, które zdaniem Oracle są świeżymi i bardziej unikatowymi aspektami nowoczesnego podejścia do siatki danych.

Inne ważne atrybuty siatki danych obejmują:

• Narzędzia samoobsługowe — siatka danych uwzględnia ogólny trend samoobsługowego zarządzania danymi. Coraz więcej twórców aplikacji będzie wywodzić się szeregów właścicieli danych.
• Zarządzanie danymi — siatka danych uwzględnia również popularny od dawna trend bardziej sformalizowanego, sfederowanego modelu zarządzania, wspierany przez wiele lat przez dyrektorów ds. danych, zarządców danych i dostawców katalogów danych.
• Użyteczność danych — fundamentalne zasady siatki danych zawierają sporo podstaw mających na celu zapewnienie wysoką użyteczność produktów danych. Zasady dotyczące produktów danych będą dotyczyć cennych, użytecznych i możliwych do udostępnienia danych.

Poza migracjami monolitycznych architektur danych do chmury typu „lift and shift”, wiele organizacji stara się również wycofać swoje scentralizowane aplikacje i przejść do bardziej nowoczesnej architektury aplikacji mikrousług.

Przestarzałe monolityczne aplikacje zazwyczaj korzystają z olbrzymich baz danych, co stawia przed planem migracji wyzwania związane z ograniczeniem zaburzeń dostępu, ryzyka i kosztów. Siatka danych może zapewnić ważne operacyjne możliwości informatyczne dla klientów wykonujących stopniowe przejścia z monolitów do architektury siatki. takich jak np.:

• Odciążanie domeny podrzędnej transakcji bazy danych, takich jak filtrowanie danych przez „kontekst powiązany”
• Dwukierunkowa replikacja transakcji na potrzeby migracji fazowych
• Synchronizacja międzyplatformowa, na przykład pomiędzy jednostką główną i DBaaS

W języku architektów mikrousług w tym podejściu używana jest dwukierunkowa skrzynka nadawcza dla transakcji w celu umożliwienia wzorca migracji drzewa figowego w jednym kontekście powiązanym jednocześnie.

Aplikacje o krytycznym znaczeniu wymagają bardzo wysokich wskaźników KPI i umów SLA w zakresie odporności i ciągłości. Bez względu na to, czy są to aplikacje monolityczne, mikrousługowe czy też mieszane, nie mogą przestać działać!

W przypadku systemów o krytycznym znaczeniu rozproszony model danych zapewniający końcową spójność danych jest zazwyczaj niedopuszczalny. Takie aplikacje muszą jednak działać w wielu centrach danych jednocześnie. Pojawia się więc pytanie o ciągłość biznesową: „jak uruchomić swoje aplikacje w więcej niż jednym centrum danych, a jednocześnie zagwarantować poprawność i spójność danych?”

Bez względu na to, czy w architekturach monolitycznych są używane „odłamkowe zbiory danych”, czy konfigurowane mikrousługi zapewniające wysoką dostępność między lokalizacjami, siatka danych oferuje poprawne, szybkie dane na dowolną odległość.

Siatka danych może stanowić podstawę zdecentralizowanych, ale poprawnych w 100% danych w różnych lokalizacjach. takich jak np.:

• Transakcje logiczne o minimalnych opóźnieniach (między platformami)
• Gwarancje poprawności danych zgodne z ACID
• Wieloaktywne, dwukierunkowe i rozstrzygające konflikty

Nowoczesna platforma w stylu siatki usług wykorzystuje zdarzenia do wymiany danych. Zamiast polegania na przetwarzaniu wsadowym w warstwie danych, ładunki danych przepływają w sposób ciągły, gdy zdarzenia mają miejsce w aplikacji lub magazynie danych.

W przypadku niektórych architektur mikrousługi muszą wzajemnie wymieniać się ładunkami danych. Inne wzorce wymagają wymiany między monolitycznymi aplikacjami lub magazynami danych. Nasuwa się pytanie: „w jaki sposób można niezawodnie wymieniać ładunki danych z mikrousług między aplikacjami i magazynami danych?”

Siatka danych może stanowić fundament technologiczny do rozwiązania wymiany danych stworzonego z myślą o mikrousługach. takich jak np.:

• Mikrousługa do mikrousługi w kontekście
• Mikrousługa do mikrousługi w różnych kontekstach
• Monolit do/z mikrousługi

Wzorce mikrousług, takie jak pozyskiwanie zdarzeń, CQRS i skrzynka nadawcza dla transakcji, są powszechnie pojmowanymi rozwiązaniami. Siatka danych oferuje narzędzia i struktury sprawiające, że te wzorce są powtarzalne i niezawodne na dowolną skalę.

Poza wzorcami projektowania mikrousług potrzeba integracji przedsiębiorstwa rozciąga się na inne systemy IT: bazy danych, procesy biznesowe, aplikacje i urządzenia fizyczne każdego rodzaju. Siatka danych oferuje podstawę do integracji danych w ruchu.

Dane w ruchu są zazwyczaj oparte na zdarzeniach. Zdarzenie z ładunkiem danych może zostać zainicjowane przez czynność użytkownika, zdarzenie urządzenia, etap procesu lub zatwierdzenie magazynu danych. Te dane mają kluczowe znaczenie dla integracji systemów Internet of Things (IoT), procesów biznesowych i baz danych, hurtowni danych i jezior danych.

Siatka danych udostępnia podstawową technologię, umożliwiającą integrację w czasie rzeczywistym w całym przedsiębiorstwie. takich jak np.:

• Łączenie rzeczywistych zdarzeń urządzeń z systemami IT
• Integracja procesów biznesowych pomiędzy systemami ERP
• Dopasowywanie operacyjnych baz danych do analitycznych magazynów danych

Duże organizacje będą korzystały z kombinacji starych i nowych systemów, monolitów i mikrousług, operacyjnych i analitycznych magazynów danych. Siatka danych może pomóc zunifikować te zasoby w różnych domenach biznesowych i domenach danych.

Analitycznymi magazynami danych mogą być składnice danych, hurtownie danych, kostki OLAP, jeziora danych i technologie repozytorium danych.

Zazwyczaj są dostępne tylko dwa sposoby wprowadzania danych do tych analitycznych magazynów danych:

• Ładowanie wsadowe/mikropartii z harmonogramem czasowym
• Odbieranie strumienia z ciągłym ładowaniem zdarzeń danych

Siatka danych stanowi podstawę przyjmowania funkcjonalności ocbierania strumienia danych. takich jak np.:

• Zdarzenia danych z baz danych lub magazynów danych
• Zdarzenia urządzeń z fizycznej telemetrii urządzenia
• Rejestrowanie zdarzeń aplikacji lub transakcji biznesowych

Odbieranie zdarzeń ze strumienia może zmniejszyć obciążenie systemów źródłowych, poprawić rzetelność danych (co jest ważne dla analityki danych) i umożliwić analizy w czasie rzeczywistym.

Po przyjęciu danych do analitycznych magazynów danych zazwyczaj istnieje potrzeba przygotowania i transformacji danych przez potoki danych na różnych etapach lub w różnych strefach. Taki proces udoskonalania danych jest często niezbędny dla produktów danych analitycznych na późniejszych etapach.

Siatka danych może zapewnić niezależnie zarządzaną warstwę potoku danych, która współpracuje z analitycznymi magazynami danych, zapewniając następujące usługi podstawowe:

• Samoobsługowe wykrywanie i przygotowywanie danych
• Zarządzanie zasobami danych w różnych domenach
• Przygotowywanie i przekształcanie danych w wymagane formaty produktów danych
• Weryfikacja danych według zasad zapewniających ich spójność

Te potoki powinny być zdolne do pracy z różnymi fizycznymi magazynami danych (takimi jak składnice, hurtownie czy jeziora) lub jako „strumień danych pushdown” w analitycznych platformach danych obsługujących przesyłanie strumieniowe danych, takich jak Apache Spark lub inne technologie repozytorium danych.

Zdarzenia mają miejsce cały czas. Analiza zdarzeń w strumieniu może mieć kluczowe znaczenie dla zrozumienia tego, co się dzieje w danym momencie.

Tego rodzaju analizy strumieni zdarzeń w czasie rzeczywistym oparte na szeregach czasowych mogą być ważne dla danych fizycznych urządzeń IoT i dla zrozumienia, co dzieje się w centrach danych IT lub w transakcjach finansowych, na przykład w ramach wykrywania oszustw.

W pełni funkcjonalna siatka danych będzie zawierać możliwości analizy zdarzeń wszystkich rodzajów, w wielu różnych typach okien czasowych zdarzeń. takich jak np.:

• Prosta analiza strumienia zdarzeń (zdarzenia internetowe)
• Monitorowanie zadania biznesowego (zdarzenia SOAP/REST)
• Przetwarzanie zdarzeń złożonych (korelacja wielostrumieniowa)
• Analiza zdarzeń danych (w transakcjach DB/ACID)

Podobnie jak w przypadku potoków danych, analizy strumieniowe mogą działać w ustanowionej infrastrukturze repozytorium danych, lub osobno, jako usługi natywne w chmurze.

Liderzy integracji danych pragną operacyjnej i analitycznej integracji danych w czasie rzeczywistym z różnorodnych i odpornych zbiorów danych. Innowacyjna architektura danych bezustannie i szybko ewoluuje w stronę analityki strumieniowej. Wysoka dostępność operacyjna doprowadziła do analiz w czasie rzeczywistym, a automatyzacja inżynierii danych upraszcza przygotowywanie danych, umożliwiając badaczom danych i analitykom korzystanie z narzędzi samoobsługowych.