Enterprise Data Mesh

Un subiect fierbinte în software-ul de întreprindere, rețelele de date reprezintă o nouă abordare a modului de gândire a datelor pe baza unei arhitecturi distribuite pentru administrarea datelor. Ideea constă în a face datele mai accesibile și mai disponibile pentru utilizatorii business, prin conectarea directă a proprietarilor de date, a producătorilor de date și a consumatorilor de date. Rețelele de date urmăresc îmbunătățirea rezultatelor de afaceri ale soluțiilor axate pe date și stimularea adoptării arhitecturilor de date moderne.

Din punct de vedere al afacerii, rețeaua de date introduce idei noi despre „conceperea produselor de date”. Cu alte cuvinte, să te gândești la date ca la un produs care îndeplinește o „sarcină de lucru”, de exemplu, pentru a îmbunătăți procesul de luare a deciziilor, pentru a ajuta la detectarea fraudelor sau pentru a avertiza întreprinderea cu privire la schimbările survenite în condițiile lanțului de aprovizionare. Pentru a crea produse de date de mare valoare, companiile trebuie să abordeze schimbările de cultură și de mentalitate și să se angajeze într-o abordare interfuncțională a modelării domeniului de afaceri.

Din punct de vedere tehnologic, perspectiva Oracle cu privire la rețeaua de date implică trei noi domenii importante pentru arhitectura bazată pe date:

1. Instrumente care oferă produse de date drept colecții de date, evenimente de date și analize de date
2. Arhitecturi de date distribuite, descentralizate, care ajută organizațiile care aleg să renunțe la arhitecturile monolitice sau la calculul multi-cloud și hibrid, ori care trebuie să funcționeze în mod descentralizat la nivel global
3. Datele în mișcare pentru organizațiile care nu pot depinde doar de date centralizate, statice, orientate pe loturi și care se îndreaptă, în schimb, către registre de date bazate pe evenimente și canale axate pe streaming pentru evenimente de date în timp real, care oferă analize mai complexe

Alte probleme importante, cum ar fi instrumentele de autoservire pentru utilizatorii non-tehnici și modelele puternice de guvernanță distribuită a datelor, sunt la fel de importante pentru arhitectura rețelelor de date ca și pentru alte metodologii de management al datelor, centralizate și consacrate.

O abordare a rețelelor de date presupune o schimbare de paradigmă în abordarea datelor ca produs. Rețeaua de date introduce schimbările organizaționale și de proces pe care companiile vor trebui să le gestioneze ca pe un activ de capital tangibil al afacerii. Perspectiva Oracle asupra arhitecturii rețelelor de date necesită alinierea între domeniile de date organizaționale și analitice.

O rețea de date urmărește să conecteze producătorii de date direct cu utilizatorii de afaceri și, în cea mai mare măsură posibilă, să elimine intermediarii IT din proiectele și procesele care introduc, pregătesc și transformă resursele de date.

Oracle s-a axat pe rețeaua de date pentru a le oferi clienților noștri o platformă care să poată răspunde acestor cerințe tehnologice emergente. Acest aspect include instrumente pentru produse de date; arhitecturi descentralizate, bazate pe evenimente; și modele de streaming pentru date în mișcare. În ceea ce privește modelarea domeniului produselor de date și alte preocupări sociotehnice, Oracle se aliniază cu activitatea desfășurată de Zhamak Dehghani, liderul de opinie în domeniul rețelelor de date.

Adevărul trist este că arhitecturile de date monolitice din trecut sunt greoaie, costisitoare și inflexibile. De-a lungul anilor, a devenit clar că majoritatea timpului și costurilor pentru platforma de afaceri digitală, de la aplicații la analize, sunt implicate în eforturile de integrare. Prin urmare, majoritatea inițiativelor privind platformele eșuează.

Deși rețeaua de date nu reprezintă un remediu pentru arhitecturile de date centralizate și monolitice, principiile, practicile și tehnologiile strategiei de rețea de date sunt concepute pentru a rezolva unele dintre cele mai presante și neabordate obiective de modernizare pentru inițiativele de afaceri bazate pe date.

Unele dintre tendințele tehnologice care au dus la apariția rețelei de date ca soluție au în vedere următoarele aspecte:

Schimbarea mentalității este cel mai important prim pas către o rețea de date. Dorința de a îmbrățișa practicile învățate ale inovației este trambulina spre modernizarea cu succes a arhitecturii de date.

Aceste domenii de practică învățate includ:

• Gândirea designului – o metodologie dovedită pentru rezolvarea „problemelor dificile”, aplicată domeniilor de date ale întreprinderilor pentru a construi produse de date excelente
• Teoria lucrurilor de făcut – aplicarea unui proces de inovare axat pe client și a unui proces de inovare axat pe rezultate pentru a ne asigura că produsele de date de întreprindere rezolvă probleme reale de afaceri

Metodologiile de proiectare a conceptului oferă tehnici dovedite care contribuie la desființarea silozurilor organizaționale care blochează frecvent inovarea interfuncțională. Teoria sarcinilor de îndeplinit este fundamentul critic pentru proiectarea produselor de date care îndeplinesc obiective specifice ale consumatorului final – sau sarcini de îndeplinit – și definește scopul produsului.

Deși abordarea bazată pe produse de date a apărut inițial în cadrul comunității de știință a datelor, ea este acum aplicată la toate aspectele managementului datelor. În loc să construiască arhitecturi tehnologice monolitice, rețeaua de date se concentrează pe consumatorii de date și pe rezultatele de afaceri.

Deși concepția privind produsele de date poate fi aplicată la alte arhitecturi de date, aceasta este o parte esențială a unei rețele de date. Pentru exemple pragmatice de aplicare a concepției produselor de date, echipa Intuit a relatat o analiză detaliată a experiențelor lor.

Produsele de orice fel – de la produsele brute la articolele din magazinul local – sunt produse ca active de valoare, destinate să fie consumate, și au un anumit rol de îndeplinit. Produsele de date pot lua o varietate de forme, în funcție de domeniul de activitate sau de problema care trebuie rezolvată, și pot include:

• Analize – rapoarte și panouri de bord istorice/în timp real
• Seturi de date – colecții de date în diferite configurații/formate
• Modele – obiecte de domeniu, modele de date, caracteristici de machine learning (ML)
• Algoritmi – Modele ML, evaluare, reguli de business
• Servicii de date și API-uri – documente, payloaduri, subiecte, API-uri REST și multe altele

Un produs de date este creat pentru consum, de obicei este deținut în afara domeniului IT și necesită urmărirea unor atribute suplimentare, cum ar fi:

• Harta acționarilor – Cine deține, creează și consumă acest produs?
• Împachetare și documentație – Cum se consumă? Cum este etichetat?
• Scop și valoare – Care este valoarea implicită/explicită a produsului? Există depreciere în timp?
• Calitate și consecvență – Care sunt KPI-urile și SLA-urile de utilizare? Este verificabil?
• Proveniență, ciclu de viață și guvernanță – Există încredere și fezabilitate a datelor?

Sistemele IT descentralizate sunt o realitate modernă, iar odată cu apariția aplicațiilor SaaS și a infrastructurii cloud publice (IaaS), descentralizarea aplicațiilor și a datelor este făcută să persiste. Arhitecturile software de aplicații trec de la monoliturile centralizate din trecut la microservicii distribuite (o rețea de servicii). Arhitectura datelor va urma aceeași tendință spre descentralizare, datele ajungând să fie distribuite pe o varietate mai largă de site-uri fizice și în multe rețele. Aceasta este o rețea de date.

O rețea este o topologie de conexiune care permite unui grup mare de noduri neierarhice să lucreze împreună în mod colaborativ.

Exemplele de tehnologie uzuale includ:

• WiFiMesh – mai multe noduri care colaborează pentru o acoperire mai bună
• ZWave/Zigbee – rețele de dispozitive inteligente, cu consum redus de energie
• rețea 5G – conexiuni celulare mai fiabile și mai rezistente
• Starlink – rețea în bandă largă prin satelit, la scară globală
• Rețea de servicii – o modalitate de a oferi controale unificate asupra microserviciilor descentralizate (software de aplicații)

Rețelele de date sunt aliniate la aceste concepte și oferă o modalitate descentralizată de distribuire a datelor în rețele virtuale/fizice și pe distanțe mari. Arhitecturile monolitice de integrare a datelor moștenite, cum ar fi instrumentele ETL și de distribuire a datelor – și, mai recent, serviciile cloud publice, cum ar fi AWS Glue, necesită o infrastructură centralizată.

O soluție completă de rețea de date ar trebui să fie capabilă să funcționeze într-un cadru multicloud, putând să se extindă de la sistemele locale, la mai multe rețele publice și chiar la rețelele periferice.

Într-o lume în care datele sunt distribuite și descentralizate, rolul securității informațiilor este esențial. Spre deosebire de monoliturile centralizate, sistemele distribuite trebuie să delege activitățile necesare pentru autentificarea și autorizarea diferiților utilizatori la diferite niveluri de acces. Delegarea sigură a încrederii între rețele este dificil de realizat în mod optim.

Unele considerente includ:

• Criptarea în repaus – ca date/evenimente scrise în spațiul de stocare
• Autentificarea distribuită – pentru servicii și baze de date, cum ar fi mTLS, certificate, SSO, baze de date secrete și seifuri de date
• Criptarea în mișcare – ca date/evenimente care circulă în memorie
• Managementul identității – servicii de tip LDAP/IAM, între platforme
• Autorizații distribuite – pentru punctele finale ale serviciului pentru corectarea datelor
  De exemplu: sidecar Open Policy Agent (OPA) pentru plasarea punctului de decizie pentru politică (PDP) în containerul/clusterul K8S unde se procesează punctul final pentru microserviciu. LDAP/IAM poate fi orice serviciu capabil de JWT.
• Mascare deterministă – pentru a analiza în mod fiabil și consecvent datele PII

Securitatea în cadrul oricărui sistem IT poate fi dificilă și este și mai dificil să se asigure o securitate sporită în cadrul sistemelor distribuite. Cu toate acestea, acestea sunt probleme soluționabile.

Un principiu de bază al rețelelor de date este noțiunea de distribuție a proprietății și a responsabilității. Cea mai bună practică este de a transfera proprietatea asupra produselor de date și a domeniilor de date către persoanele din organizație care sunt cele mai apropiate de date. În practică, aceasta se poate alinia la datele sursă (de exemplu, sursele de date brute, cum ar fi sistemele operaționale de înregistrare/aplicațiile) sau la datele analitice (de exemplu, date compuse sau agregate formatate pentru a fi ușor de consumat de către consumatorii de date). În ambele cazuri, producătorii și consumatorii de date sunt adesea aliniați mai degrabă la unitățile de afaceri decât la organizațiile IT.

Vechile modalități de organizare a domeniilor de date cad adesea în capcana alinierii la soluțiile tehnologice, cum ar fi instrumentele ETL, depozitele de date, lacurile de date sau organizarea structurală a unei companii (resurse umane, marketing și alte linii de afaceri). Cu toate acestea, pentru o anumită problemă de afaceri, domeniile de date sunt adesea cel mai bine aliniate la domeniul de aplicare al problemei care se rezolvă, la contextul unui anumit proces de afaceri sau la familia de aplicații dintr-un anumit domeniu de probleme. În cazul organizațiilor mari, aceste domenii de date se extind, de obicei, la nivelul organizațiilor interne și al amprentei tehnologice.

Descompunerea funcțională a domeniilor de date dobândește o prioritate ridicată, de primă clasă, în cadrul rețelei de date. Diferite metodologii de descompunere a datelor pentru modelarea domeniului pot fi adaptate la arhitectura de rețea de date, inclusiv modelarea clasică a depozitului de date (cum ar fi Kimball și Inmon) sau modelarea seifului de date, dar cea mai comună metodologie încercată în prezent în arhitectura de rețea de date este proiectarea bazată pe domeniu (DDD). Abordarea DDD a apărut din descompunerea funcțională a microserviciilor și este aplicată acum într-un context de rețea de date.

Un domeniu important în care Oracle a contribuit la discuția despre rețeaua de date este acela de a ridica importanța datelor în mișcare ca element cheie al unei rețele de date moderne. Datele în mișcare sunt esențiale pentru a scoate rețeaua de date din sfera tradițională a procesării monolitice, centralizate și pe loturi. Funcțiile datelor în mișcare răspund la mai multe întrebări de bază ale rețelei de date, cum ar fi:

• Cum putem accesa produsele de date aliniate la sursă în timp real?
• Ce instrumente pot oferi mijloacele de distribuire a tranzacțiilor de date de încredere în cadrul unei rețele de date descentralizate fizic?
• Ce pot folosi atunci când trebuie să pun la dispoziție evenimente de date ca API-uri de produse de date?
• Pentru produsele de date analitice care trebuie să fie actualizate în permanență, cum aș putea să mă aliniez la domeniile de date și să asigur încrederea și validitatea?

Aceste întrebări nu sunt doar o chestiune de „detalii de implementare”, ci au o importanță centrală pentru arhitectura de date în sine. O proiectare axată pe domeniu pentru date statice va utiliza tehnici și instrumente diferite față de un proces dinamic, cu date în mișcare, al aceleiași proiectări. De exemplu, în arhitecturile de date dinamice, registrul de date este sursa centrală de informații reale pentru evenimentele de date.

Registrele sunt o componentă fundamentală a realizării unei funcții de arhitectură a datelor distribuite. La fel ca în cazul unui registru contabil, un registru de date înregistrează tranzacțiile pe măsură ce se derulează.

Atunci când distribuim registrul, evenimentele de date devin reutilizabile în orice loc. Unele registre de evidență se aseamănă mai degrabă cu un aparat de înregistrare a zborurilor de avion care este utilizat pentru disponibilitate ridicată și recuperare în caz de dezastru.

Spre deosebire de depozitele de date centralizate și monolitice, registrele distribuite sunt create special pentru a ține evidența evenimentelor atomice și/sau a tranzacțiilor care au loc în alte sisteme (externe).

O rețea de date nu este un singur tip de registru. În funcție de cazurile de utilizare și de cerințe, o plasă de date poate utiliza diferite tipuri de registre de date bazate pe evenimente, inclusiv următoarele:

• Registru de evenimente de uz general – cum ar fi Kafka sau Pulsar
• Registrul de evenimente de date – instrumente CDC/replicare distribuite
• Middleware pentru mesagerie—inclusiv ESB, MQ, JMS și AQ
• Registrul blockchain – pentru tranzacții securizate, imuabile, în mai multe părți

Împreună, aceste registre pot funcționa ca un fel de jurnal de evenimente de durată pentru întreaga întreprindere, furnizând o listă curentă a evenimentelor de date care au loc în sistemele de înregistrare și în sistemele de analiză.

Fluxurile de date poliglot sunt mai răspândite ca niciodată. Acestea variază în funcție de tipurile de evenimente, de sarcinile utile și de diferitele semantici ale tranzacțiilor. O rețea de date ar trebui să susțină tipurile de fluxuri necesare pentru o varietate de sarcini de lucru cu date de întreprindere.

Desigur, există mai mult de trei atribute ale unei rețele de date. Ne-am concentrat pe cele trei elemente de mai sus ca o modalitate de a atrage atenția asupra atributelor pe care Oracle le consideră a fi unele dintre aspectele noi și unice ale abordării moderne emergente a rețelei de date.

Alte atribute importante pentru rețeaua de date includ:

• Instrumente autonome – rețeaua de date îmbrățișează tendința generală de management al datelor către autonomie, dezvoltatorii vor trebui să provină din ce în ce mai mult din rândurile proprietarilor de date
• Guvernanța datelor – rețeaua de date a îmbrățișat, de asemenea, tendința de lungă durată către un model de guvernanță mai formală, așa cum au susținut ofițerii de date, administratorii de date și furnizorii de cataloage de date timp de mulți ani.
• Utilizarea datelor – respectarea principiilor privind rețelele de date; în plus, există destul de multe avantaje legate de utilizarea produselor de date. Principiile pentru produsele de date se vor referi la date care sunt valoroase, utilizabile și fezabile pentru partajare.

Privind dincolo de migrările de tip „ridicare și mutare” a arhitecturilor de date monolitice în cloud, multe organizații caută, de asemenea, să își retragă aplicațiile centralizate din trecut și să se orienteze către o arhitectură de aplicații mai modernă de tip microservicii.

Dar aplicațiile moștenite de tip monolit depind de obicei de baze de date masive, ceea ce ridică problema modului în care se poate etapiza planul de migrare pentru a reduce disfuncționalitățile, riscurile și costurile. O rețea de date poate oferi o importantă capacitate operațională IT pentru clienții care fac tranziții treptate de la arhitectura monolitică la cea de tip rețea. De exemplu:

• Descărcarea în subdomeniu a tranzacțiilor din baza de date, cum ar fi filtrarea datelor în funcție de „contextul delimitat”.
• Replicare bidirecțională a tranzacțiilor pentru migrări etapizate
• Sincronizare între platforme, cum ar fi de la mainframe la DBaaS

În limbajul arhitecților de microservicii, această abordare utilizează o rețea de tranzacții bidirecțională pentru a activa schema de migrare strangler, un context limitat la un moment dat.

Aplicațiile esențiale pentru desfășurarea activității necesită indicatori KPI și SLA foarte importanți în ceea ce privește rezistența și continuitatea. Indiferent dacă aceste aplicații sunt monolitice, de tip microserviciu sau intermediare, nu pot da eroare!

Pentru sistemele critice, un model de date distribuit, de consistență interpretabilă nu este, de obicei, acceptabil. În orice caz, aceste aplicații trebuie să funcționeze în mai multe centre de date. Acest lucru generează întrebarea de continuitate a afacerii: „Cum îmi pot rula aplicațiile în mai multe centre de date, garantând în același timp date corecte și coerente”.

Indiferent dacă arhitecturile monolitice utilizează seturi de date „partajate” sau microserviciile sunt configurate pentru disponibilitate ridicată între site-uri, rețeaua de date oferă date corecte și de mare viteză la orice distanță.

O rețea de date poate oferi baza pentru date descentralizate, dar 100% corecte pentru toate site-urile. De exemplu:

• Tranzacții logice cu latență foarte scăzută (între platforme)
• Garanții ACID pentru date corecte
• Soluționarea multiactivă, bidirecțională și a conflictelor

O platformă modernă, în stil de rețea, ce utilizează evenimente pentru schimbul de date. În loc să depindă de procesarea pe loturi la nivelul de date, sarcinile utile de date circulă în mod continuu atunci când au loc evenimente în aplicație sau în depozitul de date.

În cazul anumitor arhitecturi, microserviciile trebuie să facă schimb de sarcini utile de date între ele. Alte modele necesită schimburi între aplicații monolitice sau depozite de date. Acest lucru generează întrebarea „Cum pot schimba în mod fiabil sarcinile utile de date ale microserviciilor între aplicațiile și depozitele mele de date?”

O rețea de date poate furniza tehnologia de bază pentru schimbul de date centrat pe microservicii. De exemplu:

• Microservicii la microservicii în context
• Microservicii la microservicii în mai multe contexte
• Monolit către/de la microserviciu

Modelele de microservicii, cum ar fi sursa de evenimente, CQRS și soluționarea tranzacțiilor, sunt soluții înțelese în mod obișnuit; o rețea de date oferă instrumentele și cadrul necesar pentru ca aceste modele să fie repetabile și fiabile la scară largă.

În afară de modelele de proiectare a microserviciilor, nevoia de integrare la nivel de întreprindere se extinde și la alte sisteme IT, precum baze de date, procese de afaceri, aplicații și dispozitive fizice de toate tipurile. O rețea de date oferă baza pentru integrarea datelor în mișcare.

Datele în mișcare se bazează, de obicei, pe evenimente. O acțiune a utilizatorului, un eveniment al dispozitivului, o etapă de proces sau o confirmare a depozitului de date pot iniția un eveniment cu o sarcină utilă de date. Aceste sarcini utile de date sunt esențiale pentru integrarea sistemelor Internet of Things (IoT), a proceselor de afaceri și a bazelor de date, a depozitelor de date și a lacurilor de date.

O rețea de date furnizează tehnologia de bază pentru integrarea în timp real în întreaga companie. De exemplu:

• Conectarea evenimentelor asociate dispozitivelor din lumea reală la sistemele IT
• Integrarea proceselor de afaceri în sistemele ERP
• Alinierea bazelor de date operaționale cu depozitele de date analitice

Organizațiile mari vor avea, în mod natural, o combinație de sisteme vechi și noi, monoliți și microservicii, depozite de date operaționale și analitice; o rețea de date poate contribui la unificarea acestor resurse în domenii de afaceri și de date diferite.

Depozitele de date analitice pot include platforme de date, depozite de date, cuburi OLAP, lacuri de date și tehnologii de tip „locații pentru lacuri de date”.

În general, există doar două modalități de a introduce date în aceste depozite de date analitice:

• Încărcare pe loturi/microloturi pe un sistem de programare a timpului
• Preluare în flux – încărcare continuă a evenimentelor de date

O rețea de date oferă baza pentru o capacitate de preluare a datelor în flux continuu. De exemplu:

• Evenimente de date din baze de date sau depozite de date
• Evenimentele asociate dispozitivelor din telemetria dispozitivelor fizice
• Înregistrarea evenimentelor din aplicații sau tranzacții de afaceri

Integrarea evenimentelor prin flux poate reduce impactul asupra sistemelor sursă, îmbunătățește autenticitatea datelor (un aspect important pentru știința datelor) și permite analize în timp real.

Odată preluate în depozitele de date analitice, este nevoie, de obicei, de canale de date pentru a pregăti și transforma datele în diferite etape sau zone de date. Acest proces de rafinare a datelor este adesea necesar pentru produsele de date analitice ulterioare.

O rețea de date poate oferi un pachet de date guvernat în mod independent, care funcționează cu depozitele de date analitice, asigurând următoarele servicii de bază:

• Descoperirea automată a datelor și pregătirea acestora
• Organizarea resurselor de date pe mai multe domenii
• Pregătirea și transformarea datelor în formatele necesare pentru produsele de date
• Verificarea datelor prin intermediul unei politici care asigură consecvența

Aceste canale de date ar trebui să fie capabile să funcționeze în diferite depozite de date fizice (cum ar fi piețe, depozite sau lacuri) sau ca un „flux de date pushdown” în cadrul platformelor de date analitice care acceptă fluxuri de date, cum ar fi Apache Spark și alte tehnologii de tip „locații pentru lacuri de date”.

Evenimentele se derulează în permanență. Analiza evenimentelor dintr-un flux poate fi decisivă pentru a înțelege ce se întâmplă de la un moment la altul.

Acest tip de analiză bazată pe serii cronologice a fluxurilor de evenimente în timp real poate fi important pentru datele dispozitivelor IoT din lumea reală și pentru a înțelege ce se întâmplă în centrele de date IT sau în cadrul tranzacțiilor financiare, cum ar fi monitorizarea fraudelor.

O rețea de date completă va include capacitățile de bază pentru a analiza evenimente de toate categoriile, în tipuri diferite de ferestre temporale. De exemplu:

• Analiză simplă a fluxului de evenimente (evenimente web)
• Monitorizarea activității comerciale (evenimente SOAP/REST)
• Procesare eveniment complex (corelație în mai multe etape)
• Analiză eveniment de date (în tranzacții DB/ACID)

La fel ca în cazul canalelor de date, analizele de flux pot să funcționeze în cadrul unei infrastructuri stabilite de tip locație lac de date sau separat, ca servicii native în cloud.

Cei care se află în prima linie a integrării datelor caută integrarea datelor operaționale și analitice în timp real dintr-o colecție diversă de baze de date rezistente. Inovațiile au fost neîncetate și rapide, pe măsură ce arhitectura de date evoluează spre analiza în flux. Disponibilitatea operațională ridicată a condus la analize în timp real, iar automatizarea ingineriei datelor simplifică pregătirea datelor, permițând cercetătorilor și analiștilor de date să utilizeze instrumente de autoservire.