Enterprise Data Mesh

Siatka danych to gorący temat w dziedzinie oprogramowania korporacyjnego i stanowi nowe podejście do myślenia o danych w oparciu o rozproszoną architekturę do zarządzania danymi. Chodzi o to, aby dane były bardziej dostępne dla użytkowników biznesowych dzięki bezpośredniemu połączeniu właścicieli danych, producentów danych i konsumentów danych. Siatka danych ma na celu poprawę wyników biznesowych rozwiązań ukierunkowanych na dane, a także przyspieszenie wdrażania nowoczesnych architektur danych.

Z biznesowego punktu widzenia siatka danych wprowadza nowe pomysły dotyczące „myślenia na temat danych jako produktach”. Innymi słowy, jest to myślenie o danych jako o produkcie, który spełnia swoje „zadanie do wykonania”, na przykład w celu usprawnienia procesu podejmowania decyzji, pomocy w wykrywaniu oszustw lub ostrzegania przedsiębiorstwa o zmianach w warunkach łańcucha dostaw. Aby tworzyć produkty o wysokiej wartości, firmy muszą uwzględnić zmiany w kulturze i sposobie myślenia i zaangażować się w bardziej wielofunkcyjne podejście do modelowania domen biznesowych.

Od strony technologicznej, Oracle postrzega siatki danych skupiając się na trzech ważnych nowych obszarach tematycznych poświęconych tej architekturze:

1. Narzędzia dostarczające produkty w postaci danych jako kolekcje danych, zdarzenia danych i analizy danych
2. Rozproszone, zdecentralizowane architektury danych, które pomagają organizacjom, które odchodzą od architektur monolitycznych, ku przetwarzaniu w wielu rozwiązaniach chmurowych i chmurach hybrydowych lub organizacjom, które muszą działać w sposób globalnie zdecentralizowany
3. Przetwarzanie danych w czasie trwania procesu może być zastosowane w przypadku organizacji, które nie mogą korzystać wyłącznie ze scentralizowanych, statycznych danych wsadowych, i które zamiast tego potrzebują przejść na oparte na zdarzeniach zestawy danych i potoki strumieniowe w celu przetwarzania danych w czasie rzeczywistym, co zapewnia bardziej trafne analizy

Inne ważne kwestie, takie jak narzędzia umożliwiające samoobsługę dla użytkowników nietechnicznych i silne modele odgórnego zarządzania danymi, są równie ważne dla architektury siatki danych, tak jak dla innych, bardziej scentralizowanych i klasycznych metod zarządzania danymi.

Strategia oparta na siatce danych to zmiana podejścia do postrzegania danych jako produktu. Siatka danych wprowadza zmiany organizacyjne i procesowe, których przedsiębiorstwa będą potrzebowały, aby zarządzać danymi jako materialnym kapitałem przedsiębiorstwa. Perspektywa Oracle dotycząca architektury siatek danych wymaga odpowiedniego dostosowania we wszystkich organizacyjnych i analitycznych domenach danych.

Siatka danych ma na celu bezpośrednie powiązanie producentów danych z użytkownikami biznesowymi oraz, w możliwie największym stopniu, usunięcie pośrednika IT z projektów i procesów, które przyjmują, przygotowują i przekształcają zasoby danych.

Firma Oracle skupiła się na siatce danych, udostępniając naszym klientom platformę, która spełnia te nowe wymagania technologiczne. Obejmuje to narzędzia dla produktów danych, zdecentralizowane architektury sterowane zdarzeniami oraz wzorce strumieniowania przesyłanych danych. W przypadku modelowania domen produktów danych i innych problemów socjotechnicznych, Oracle wykorzystuje wyniki prac prowadzonych przez lidera w dziedzinie technologii siatki danych, Zhamaka Dehghaniego.

Smutna prawda jest taka, że monolityczne architektury danych stosowane dotychczas są kłopotliwe, kosztowne i nieelastyczne. Z biegiem lat staje się jasne, że większość czasu i kosztów związanych z cyfrową platformą biznesową, począwszy od zastosowań po analizę jest związana z integracją. W rezultacie większość inicjatyw opartych na platformie kończy się niepowodzeniem.

Pomimo tego, że siatka danych nie rozwiąże problemów związanych ze scentralizowanymni, monolitycznymi architekturami danych, zasady, praktyki i technologie strategii siatki danych są zaprojektowane w celu rozwiązania niektórych pilnych i nierozwiązanych celów modernizacji w ramach inicjatyw biznesowych opartych na danych.

Do trendów technologicznych, które doprowadziły do powstania siatki danych jako rozwiązania, należą:

Zmiana sposobu myślenia jest najważniejszym pierwszym krokiem ku implementacji siatki danych. Gotowość do przyjęcia wyuczonych praktyk z zakresu innowacji jest podstawą do skutecznej modernizacji architektury danych.

Wyuczone obszary praktyki obejmują:

• Myślenie projektowe — sprawdzona metodologia rozwiązywania „złożonych problemów”, stosowana w domenach danych przedsiębiorstwa na potrzeby tworzenia produktów zawierających duże ilości danych.
• Teoria zadań do wykonania — stosowanie procesu innowacji skoncentrowanej na kliencie i innowacji opartej na wynikach w celu zapewnienia, że dane w postaci produktów przedsiębiorstwa rozwiązują rzeczywiste problemy biznesowe.

Teoria zadań do wykonania jest kluczowym fundamentem projektowania danych w postaci produktu, które spełniają określone cele klienta końcowego lub definiują cel produktu. Teoria zadań do wykonania jest kluczowym fundamentem projektowania danych w postaci produktu, które spełniają określone cele klienta końcowego lub zadania do wykonania, definiuje cel produktu.

Mimo że podejście oparte na danych w postaci produktu początkowo pojawiło się we społeczności analityków danych, jest ono obecnie stosowane we wszystkich aspektach zarządzania danymi. Zamiast tworzyć monolityczne architektury technologiczne, siatka danych koncentruje się na konsumentach danych i wynikach biznesowych.

Myślenie o produktach danych może być stosowane w innych architekturach danych, stanowi jednak istotną część siatki danych. Aby przedstawić pragmatyczne przykłady stosowania myślenia o danych w formie produktu, zespół firmy Intuit przeanalizował szczegółowo swoje doświadczenia.

Produkty dowolnego rodzaju, począwszy od surowców po produkty w lokalnym sklepie są produkowane jako aktywa posiadające wartość, są przeznaczone do spożycia i mają określone zadanie do wykonania. Dane w formie produktu mogą przybierać różne formy, w zależności od domeny biznesowej lub problemu, który ma zostać rozwiązany, i mogą obejmować:

• Analityka — historyczne/czasowe raporty i pulpity informacyjne.
• Zbiory danych — kolekcje danych w różnych wariantach i formatach.
• Modele — obiekty domen, modele danych, funkcje uczenia maszynowego.
• Algorytmy - modele uczenia maszynowego, ocena, reguły biznesowe.
• Usługi danych i interfejsy API — dokumenty, zadania przetwarzania, tematy, interfejsy API REST itd.

Dane w formie produktu są tworzone do użytku, zwykle nie należą do działu IT i wymagają śledzenia dodatkowych atrybutów, takich jak:

• Mapa interesariuszy — kto jest właścicielem tego produktu, kto go tworzy i kto z niego korzysta?
• Opakowanie i dokumentacja — jak dane są wykorzystywane? Jaką noszą nazwę?
• Cel i wartość — jaka jest ukryta/jawna wartość produktu? Czy produkt ulega amortyzacji w czasie?
• Jakość i spójność — jakie są wskaźniki KPI i umowy SLA dotyczące użytkowania produktu? Czy produkt można zweryfikować?
• Weryfikacja, cykl życia i zarządzanie — czy istnieje zaufanie do danych i możliwość ich objaśnienia?

Zdecentralizowane systemy IT stanowią nowoczesną rzeczywistość, a wraz z pojawieniem się aplikacji SaaS i infrastruktury chmury publicznej (IaaS) decentralizacja aplikacji i danych pozostanie na pierwszym miejscu. Architektury oprogramowania aplikacji odchodzą od scentralizowanych monolitów przeszłości i przechodzą do rozproszonych mikrousług (siatki usług). Architektura danych będzie podążać za tym samym trendem w kierunku decentralizacji, a dane będą coraz bardziej rozproszone między różnymi lokalizacjami fizycznymi i wieloma sieciami. Takie pojęcie określamy siatką danych.

Siatka to topologia sieci, która umożliwia wspólną pracę dużej grupy węzłów niehierarchicznych.

Niektóre powszechne przykłady techniczne obejmują:

• WiFiMesh —węzły współpracujące ze sobą w celu zapewnienia większego zasięgu
• ZWave/Zigbee — energooszczędne sieci inteligentnych urządzeń domowych
• Siatka 5G — bardziej niezawodne i wydajne połączenia komórkowe
• Starlink — szerokopasmowa sieć satelitarna na skalę globalną
• Siatka usług — sposób na zapewnienie ujednoliconej kontroli nad zdecentralizowanymi mikrousługami (oprogramowaniem aplikacji)

Siatka danych jest dostosowana do takich koncepcji siatki i zapewnia zdecentralizowany sposób dystrybucji danych w sieciach wirtualnych/fizycznych i na duże odległości. Starsze architektury monolityczne do integracji danych, takie jak ETL, narzędzia do zarządzania danych, a ostatnio usługi chmury publicznej, takie jak AWS Glue wymagają wysoce scentralizowanej infrastruktury.

Kompletne rozwiązanie w zakresie siatki danych powinno być w stanie działać w środowisku wielochmurowym, potencjalnie obejmującym systemy lokalne, różne chmury publiczne, a nawet sieci brzegowe.

W świecie, w którym dane są bardzo rozproszone i zdecentralizowane, znaczenie bezpieczeństwa informacji ma kluczowe znaczenie. W przeciwieństwie do wysoce scentralizowanych monolitów, systemy rozproszone muszą delegować działania niezbędne do uwierzytelniania i autoryzacji różnych użytkowników do różnych poziomów dostępu. Bezpieczne delegowanie zaufania między sieciami jest trudne do wykonania.

Oto kilka kwestii:

• Szyfrowanie danych w stanie spoczynku — jako dane/zdarzenia zapisywane w magazynie
• Uwierzytelnianie rozproszone — dla usług i magazynów danych, takich jak mTLS, certyfikaty, SSO, tajne magazyny i sejfy danych.
• Szyfrowanie podczas trwania procesu — dane/zdarzenia, które znajdują się aktualnie w pamięci
• Zarządzanie tożsamością - usługi LDAP/IAM, usługi wieloplatformowe
• Rozproszone autoryzacje — w ramach punktów końcowych usługi w celu redagowania danych
  Na przykład: Open Policy Agent (OPA) do umieszczenia punktu decyzyjnego założenia systemowego (PDP) w klastrze kontenera/K8S, w którym przetwarzany jest punkt końcowy mikrousługi. LDAP/IAM może być dowolną usługą JWT.
• Maskowanie deterministyczne — w celu niezawodnego i spójnego maskowania danych osobowych.

Bezpieczeństwo w każdym systemie IT może być trudne, a zapewnienie wysokiego poziomu bezpieczeństwa w systemach rozproszonych jest jeszcze trudniejsze. Są to jednak problemy, które można rozwiązać.

Podstawowym założeniem siatki danych jest pojęcie podziału własności i odpowiedzialności. Najlepszą praktyką jest sfederowanie własności produktów i domen danych do osób w organizacji, które znajdują się najbliżej danych. W praktyce może to być zgodne z danymi źródłowymi (na przykład z nieprzetworzonymi danymi źródłowymi, takimi jak operacyjne systemy rekordów/aplikacji) lub z danymi analitycznymi (na przykład zazwyczaj złożone dane lub zagregowane i sformatowane dane w celu ułatwienia ich wykorzystania przez konsumentów). W obu przypadkach producenci i konsumenci danych są często przypisani do jednostek biznesowych, a nie do organizacji IT.

Stare sposoby organizowania domen danych często wpadają w pułapkę konieczności dostosowania się do rozwiązań technologicznych, takich jak narzędzia ETL, hurtownie danych, jeziora danych lub strukturalna organizacja firmy (zasoby ludzkie, marketing i inne obszary działalności). Jednak w przypadku danego problemu biznesowego domeny danych są często najlepiej dostosowane do zakresu rozwiązywanego problemu, kontekstu określonego procesu biznesowego lub rodziny aplikacji w konkretnym obszarze problemu. W dużych organizacjach takie domeny danych są zazwyczaj wykorzystywane w wewnętrznych organizacjach i działach technologicznych.

Funkcjonalny rozkład domen danych ma wysoki priorytet pierwszej klasy w siatce danych. Różne metody rozkładu danych na potrzeby modelowania domen można uzupełnić o architekturę siatki danych, w tym klasyczne modelowanie hurtowni danych (takie jak Kimball i Inmon) lub modelowanie repozytorium danych, ale najczęściej stosowaną obecnie metodologią w architekturze siatki danych jest projektowanie oparte na domenie (DDD). Podejście DDD wyłoniło się z rozkładu funkcjonalnego mikrousług i jest obecnie stosowane w kontekście siatki danych.

Ważnym obszarem, w którym firma Oracle włączyła się do dyskusji na temat siatki danych, jest zwiększenie znaczenia danych pozyskiwanych w trakcie trwania procesu jako kluczowego składnika nowoczesnej siatki danych. Dane pozyskiwane w trakcie trwania procesu są fundamentalnie niezbędne do wyłączenia siatki danych ze starszego świata monolitycznego, scentralizowanego, wsadowego przetwarzania. Możliwości przesyłania danych odpowiadają na kilka podstawowych pytań dotyczących siatki danych, takich jak:

• Jak możemy uzyskać dostęp do danych źródłowych w formie produktu dopasowanych w czasie rzeczywistym?
• Jakie narzędzia mogą zapewnić środki do rozproszonych, zaufanych transakcji danych w fizycznie zdecentralizowanej siatce danych?
• W przypadku, gdy należy udostępnić zdarzenia danych jako interfejsy API danych w postaci produktu, czego można użyć?
• W przypadku danych analitycznych w postaci produktu, które muszą pozostać aktualne, jak dostosować się do domen danych i zapewnić zaufanie i poprawność?

Te pytania stanowią nie tylko kwestię „szczegółów wdrożenia” ponieważ mają również centralne znaczenie dla samej architektury danych. Oparta na domenie konstrukcja danych statycznych będzie wykorzystywać inne techniki i narzędzia niż dynamiczne dane pozyskiwane podczas trwania procesu w tym samym modelu. Na przykład w dynamicznych architekturach danych, rejestr danych stanowi centralne źródło prawdy dla zdarzeń związanych z danymi.

Zbiory stanowią podstawowy element tworzenia funkcji architektury rozproszonych danych. Podobnie jak w przypadku księgi rachunkowej, zbiory danych rejestrują transakcje w miarę ich występowania.

Podczas dystrybucji księgi zdarzenia danych stają się „odtwarzalne” w dowolnym miejscu. Niektóre zbiory są trochę jak rejestrator lotu samolotu, który jest używany do zapewnienia wysokiej dostępności i odzyskiwania po awarii.

W przeciwieństwie do scentralizowanych i monolitycznych magazynów danych, rozproszone zbiory są specjalnie zaprojektowane pod kątem śledzenia niepodzielnych zdarzeń lub transakcji zachodzących w innych (zewnętrznych) systemach.

Siatka danych nie stanowi tylko jednego rodzaju zbioru. W zależności od przypadków użycia i wymagań, siatka danych może korzystać z różnych typów zbiorów danych w oparciu o zdarzenia, w tym:

• Księga zdarzeń ogólnego przeznaczenia, na przykład Kafka lub Pulsar
• Księga zdarzeń danych — rozproszone narzędzia CDC/replikacji
• Oprogramowanie pośredniczące do obsługi wiadomości — w tym ESB, MQ, JMS i AQ
• Księga Blockchain — w celu zapewnienia bezpiecznych, niezmiennych, wielokanałowych transakcji

Łącznie takie zbiory mogą działać jako swego rodzaju trwały dziennik zdarzeń dla całego przedsiębiorstwa, udostępniając uruchomioną listę zdarzeń danych odbywających się w systemach rekordów i systemach analiz.

Strumienie danych w wielu językach występują teraz częściej niż kiedykolwiek. Różnią się one w zależności od typów zdarzeń, danych i innej semantyki transakcji. Siatka danych powinna obsługiwać niezbędne typy strumieni dla różnych zadań przetwarzania danych firmowych.

Oczywiście istnieje więcej niż trzy atrybuty siatki danych. Skupiliśmy się na powyższych trzech aspektach, aby zwrócić uwagę na atrybuty, które zdaniem Oracle są niektórymi z unikatowych aspektów nowego, nowoczesnego podejścia do siatki danych.

Inne ważne atrybuty siatki danych obejmują:

• Narzędzia samoobsługowe — siatka danych uwzględnia ogólny trend zarządzania danymi związany z samoobsługą. Twórcy aplikacji społecznych muszą w coraz większym stopniu być także właścicielami danych.
• Zarządzanie danymi — siatka danych obejmuje również długoletni trend w kierunku bardziej sformalizowanego, sfederowanego modelu zarządzania, wspieranego przez wiele lat przez dyrektorów ds. danych, zarządców danych i dostawców katalogów danych.
• Użyteczność danych — zagłębiając się w zasady siatki danych, istnieje sporo fundamentalnych działań,zapewniających wysoką użyteczność danych w formie produktu. Zasady dotyczące danych w postaci produktu będą dotyczyć danych, które są cenne, użyteczne i możliwe do udostępnienia.

Oprócz migracji do chmury „lift and shift” monolitycznych architektur danych, wiele organizacji stara się również wycofać swoje scentralizowane aplikacje i przejść na bardziej nowoczesną architekturę aplikacji mikrousług.

Monolity z dotychczasowych aplikacji zazwyczaj zależą od ogromnych baz danych, stąd pojawia się pytanie, jak wdrożyć plan migracji w celu zmniejszenia zakłóceń, zagrożeń i powstawania kosztów. Siatka danych może zapewnić ważne operacyjne możliwości informatyczne dla klientów wykonujących stopniowe przejścia od monolitów po architekturę siatki. takich jak np.:

• Odciążanie poddomeny transakcji bazy danych, takich jak filtrowanie danych przez „kontekst powiązany”
• Dwukierunkowa replikacja transakcji w ramach migracji fazowych
• Synchronizacja międzyplatformowa, taka jak z jednostki głównej do DBaaS

W języku architektów mikrousług takie podejście wykorzystuje dwukierunkową skrzynkę odbiorczą transakcji, aby umożliwić wzorzec migracji figowej w jednym kontekście powiązanym.

Aplikacje o krytycznym dla firmy znaczeniu wymagają bardzo wysokich wskaźników KPI i umów SLA w zakresie odporności i ciągłości. Bez względu na to, czy są to aplikacje monolityczne, mikrousługi czy coś pomiędzy nimi, nie mogą one przestać działać!

W przypadku systemów o znaczeniu krytycznym rozproszony model danych zapewniający spójność zdarzeń jest zazwyczaj nie do zaakceptowania. Takie aplikacje muszą jednak działać w wielu centrach danych. Pojawia się pytanie o ciągłość działania, „Jak uruchomić swoje aplikacje w więcej niż jednym centrum danych, zapewniając jednocześnie poprawność i spójność danych”

Bez względu na to, czy architektura monolityczna korzysta z „zestawów danych z podziałem na partycje shard”, czy też konfigurowane są mikrousługi zapewniające wysoką dostępność między lokalizacjami, siatka danych oferuje poprawne, szybkie dane w dowolnej odległości.

Siatka danych może stanowić podstawę zdecentralizowanych, ale poprawnych w 100% danych w różnych witrynach. takich jak np.:

• Transakcje logiczne o bardzo niskim opóźnieniu (międzyplatformowe)
• Gwarancje poprawności danych zgodne z ACID
• Wieloaktywne, dwukierunkowe i rozstrzygające konflikty

Nowoczesna platforma typu „serwis” wykorzystuje zdarzenia do wymiany danych. Zamiast przetwarzania wsadowego w warstwie danych, dane przepływają w sposób ciągły, gdy zdarzenia występują w aplikacji lub magazynie danych.

W przypadku niektórych architektur mikrousługi muszą wzajemnie wymieniać się danymi. Inne wzorce wymagają wymiany między monolitycznymi aplikacjami lub magazynami danych. Nasuwa się pytanie: Jak niezawodnie wymieniać dane z mikrousług między aplikacjami i magazynami danych?

Siatka danych może służyć jako podstawa wymiany danych oparta na mikrousługach. takich jak np.:

• Mikrousługa do mikrousługi w kontekście
• Mikrousługa do mikrousługi w różnych kontekstach
• Monolit do/z mikrousługi

Wzorce mikrousług, takie jak pozyskiwanie zdarzeń, CQRS i skrzynka nadawcza transakcji, są powszechnie rozumianymi rozwiązaniami; a siatka danych zawiera narzędzia i struktury, dzięki którym takie wzorce są powtarzalne i niezawodne na dużą skalę.

Poza wzorcami projektowania mikrousług potrzeba integracji przedsiębiorstwa rozciąga się na inne systemy IT, takie jak bazy danych, procesy biznesowe, aplikacje i urządzenia fizyczne każdego rodzaju. Siatka danych stanowi podstawę integracji danych pozyskiwanych w trakcie trwania procesu.

Dane pozyskiwane w trakcie trwania procesu są zazwyczaj oparte na zdarzeniach. Czynność użytkownika, zdarzenie urządzenia, etap procesu lub zatwierdzenie magazynu danych mogą inicjować zdarzenie generujące dane. Te dane są kluczowe do przeprowadzenia integracji systemów Internet of Things (IoT), procesów biznesowych i baz danych, hurtowni danych i repozytoriów „data lake”.

Siatka danych udostępnia podstawową technologię, umożliwiającą integrację w czasie rzeczywistym w całym przedsiębiorstwie. takich jak np.:

• Łączenie rzeczywistych zdarzeń urządzeń z systemami IT
• Integracja procesów biznesowych w systemach ERP
• Dopasowywanie operacyjnych baz danych do analitycznych magazynów danych

Duże organizacje będą w oczywisty sposób posiadały kombinację starych i nowych systemów, monolitów i mikrousług, operacyjnych i analitycznych magazynów danych; a siatka danych może pomóc ujednolicić te zasoby w różnych domenach biznesowych i danych.

Magazyny danych analitycznych mogą obejmować składnicę danych, hurtownie danych, kostki OLAP, jeziora danych i technologie repozytorium danych.

Ogólnie rzecz biorąc, istnieją tylko dwa sposoby wprowadzania danych do tych analitycznych magazynów danych:

• Ładowanie wsadowe/mikropartii z harmonogramem czasowym
• Odbieranie strumienia — ciągłe ładowanie zdarzeń danych

Siatka danych stanowi podstawę przyjmowania danych strumieniowych. takich jak np.:

• Zdarzenia danych z baz danych lub magazynów danych
• Zdarzenia urządzeń z fizycznej telemetrii urządzenia
• Rejestrowanie zdarzeń aplikacji lub transakcji biznesowych

Przyjmowanie zdarzeń przez strumień może zmniejszyć wpływ na systemy źródłowe, poprawić rzetelność danych (ważne dla analityki danych) i włączyć dokonywanie analiz w czasie rzeczywistym.

Po przyjęciu danych do analitycznych magazynów są zazwyczaj wymagane potoki danych do przygotowania i transformacji danych na różnych etapach lub w ich różnych strefach. Taki proces udoskonalania danych jest często niezbędny dla produktów danych analitycznych na dalszych etapach.

Siatka danych może zapewnić niezależnie zarządzaną warstwę potoku danych, która współpracuje z analitycznymi magazynami danych, zapewniając następujące usługi podstawowe:

• Samodzielne wykrywanie i przygotowywanie danych.
• Zarządzanie zasobami danych w różnych domenach
• Przygotowywanie i przekształcanie danych w wymagane formaty danych w postaci produktu
• Weryfikacja danych na podstawie zasad zapewniających spójność

Takie potoki powinny być zdolne do pracy z różnymi fizycznymi magazynami danych (takimi jak składnice, hurtownie czy jeziora) lub jako „strumień danych pushdown” w obrębie analitycznych platform danych obsługujących przesyłanie strumieniowe danych, takich jak Apache Spark i inne technologie repozytorium danych.

Zdarzenia mają miejsce na bieżąco. Analiza zdarzeń w strumieniu może mieć kluczowe znaczenie dla zrozumienia tego, co się dzieje i w jakim czasie.

Tego rodzaju analizy strumieni zdarzeń w czasie rzeczywistym oparte na szeregach czasowych mogą być ważne dla rzeczywistych danych urządzeń IoT i dla zrozumienia tego, co dzieje się w centrach danych IT lub w transakcjach finansowych, takich jak monitorowanie oszustw.

W pełni funkcjonalna siatka danych będzie zawierać podstawowe możliwości analizy zdarzeń wszelkiego rodzaju, w wielu różnych oknach czasowych zdarzeń. takich jak np.:

• Prosta analiza strumienia zdarzeń (zdarzenia internetowe)
• Monitorowanie aktywności biznesowej (zdarzenia SOAP/REST)
• Przetwarzanie zdarzeń złożonych (korelacja wielostrumieniowa)
• Analiza zdarzeń danych (w transakcjach DB/ACID)

Podobnie jak w przypadku potoków danych, analizy strumieniowe mogą działać w ramach ustanowionej infrastruktury repozytorium danych, lub osobno, jako usługi natywne w chmurze.

Firmy, które znajdują się w czołówce integracji danych, poszukują operacyjnej i analitycznej integracji danych w czasie rzeczywistym z różnorodnych zbiorów trwałych magazynów danych. Innowacje są wprowadzane bezustannie i w szybkim tempie ponieważ architektura danych ewoluuje w analitykę strumieniową. Wysoka dostępność operacyjna doprowadziła do przeprowadzania analiz w czasie rzeczywistym, a automatyzacja inżynierii danych upraszcza przygotowywanie danych, umożliwiając badaczom danych i analitykom korzystanie z narzędzi samoobsługowych.