Ne pare rău. Nu am găsit nicio potrivire pentru căutarea dvs.

Pentru a găsi ceea ce căutați, vă sugerăm să încercați următoarele:

  • Verificați ortografia cuvintelor cheie ale căutării.
  • Utilizați sinonime pentru cuvântul cheie pe care l-ați introdus; de exemplu, încercați “aplicație” în loc de “software”.
  • Începeți o căutare nouă.
Contactați-ne Conectați-vă la Oracle Cloud

Enterprise Data Mesh

Solutions, use cases, and case studies


The Forrester Wave: Enterprise Data Fabric, trimestrul 2, 2020

Aflați de ce Oracle a fost desemnat lider și a obținut cel mai mare punctaj pentru categoria Strategie.

Ce este o rețea de date?

Un subiect fierbinte în software-ul de întreprindere, rețelele de date reprezintă o nouă abordare a modului de gândire a datelor pe baza unei arhitecturi distribuite pentru administrarea datelor. Ideea constă în a face datele mai accesibile și mai disponibile pentru utilizatorii business, prin conectarea directă a proprietarilor de date, a producătorilor de date și a consumatorilor de date. Rețelele de date urmăresc îmbunătățirea rezultatelor de afaceri ale soluțiilor axate pe date și stimularea adoptării arhitecturilor de date moderne.

Din punct de vedere al afacerii, rețeaua de date introduce idei noi despre „conceperea produselor de date”. Cu alte cuvinte, să te gândești la date ca la un produs care îndeplinește o „sarcină de lucru”, de exemplu, pentru a îmbunătăți procesul de luare a deciziilor, pentru a ajuta la detectarea fraudelor sau pentru a avertiza întreprinderea cu privire la schimbările survenite în condițiile lanțului de aprovizionare. Pentru a crea produse de date de mare valoare, companiile trebuie să abordeze schimbările de cultură și de mentalitate și să se angajeze într-o abordare interfuncțională a modelării domeniului de afaceri.

Din punct de vedere tehnologic, perspectiva Oracle cu privire la rețeaua de date implică trei noi domenii importante pentru arhitectura bazată pe date:

  1. Instrumente care oferă produse de date drept colecții de date, evenimente de date și analize de date
  2. Arhitecturi de date distribuite, descentralizate, care ajută organizațiile care aleg să renunțe la arhitecturile monolitice sau la calculul multi-cloud și hibrid, ori care trebuie să funcționeze în mod descentralizat la nivel global
  3. Datele în mișcare pentru organizațiile care nu pot depinde doar de date centralizate, statice, orientate pe loturi și care se îndreaptă, în schimb, către registre de date bazate pe evenimente și canale axate pe streaming pentru evenimente de date în timp real, care oferă analize mai complexe

Alte probleme importante, cum ar fi instrumentele de autoservire pentru utilizatorii non-tehnici și modelele puternice de guvernanță distribuită a datelor, sunt la fel de importante pentru arhitectura rețelelor de date ca și pentru alte metodologii de management al datelor, centralizate și consacrate.

Un nou concept pentru date

Urmăriți introducerea în Data Mesh de către Zhamak Dehghani (34:51)

O abordare a rețelelor de date presupune o schimbare de paradigmă în abordarea datelor ca produs. Rețeaua de date introduce schimbările organizaționale și de proces pe care companiile vor trebui să le gestioneze ca pe un activ de capital tangibil al afacerii. Perspectiva Oracle asupra arhitecturii rețelelor de date necesită alinierea între domeniile de date organizaționale și analitice.

O rețea de date urmărește să conecteze producătorii de date direct cu utilizatorii de afaceri și, în cea mai mare măsură posibilă, să elimine intermediarii IT din proiectele și procesele care introduc, pregătesc și transformă resursele de date.

Oracle s-a axat pe rețeaua de date pentru a le oferi clienților noștri o platformă care să poată răspunde acestor cerințe tehnologice emergente. Acest aspect include instrumente pentru produse de date; arhitecturi descentralizate, bazate pe evenimente; și modele de streaming pentru date în mișcare. În ceea ce privește modelarea domeniului produselor de date și alte preocupări sociotehnice, Oracle se aliniază cu activitatea desfășurată de Zhamak Dehghani, liderul de opinie în domeniul rețelelor de date.

Avantajele unei rețele de date

Investiția într-o rețea de date poate aduce beneficii impresionante, printre care:

  • Claritate totală în ceea ce privește valoarea datelor prin aplicarea celor mai bune practici de planificare a produselor de date.
  • Disponibilitate a datelor operaționale (PDF) de peste 99,999%, utilizând canale de date bazate pe microservicii pentru consolidarea și migrarea datelor.
  • Cicluri de inovare de 10 ori mai rapide, trecând de la ETL manual, orientat pe seturi, la transformare și încărcare continuă (CTL).
  • Reducere de peste 70% a tehnologiei datelor, câștiguri în domeniile CI/CD, instrumente pentru rețele de date fără și cu autoservire și dezvoltare flexibilă.

Rețelele de date reprezintă o mentalitate și nu numai

Rețelele de date se află încă în stadiile incipiente ale maturității pieței. Așadar, deși este posibil să vedeți o varietate de conținut de marketing despre o soluție care pretinde a fi o „rețea de date”, de multe ori aceste așa-zise soluții de rețea de date nu se potrivesc cu abordarea sau cu principiile de bază.

O rețea de date adecvată este o mentalitate, un model organizațional și o abordare a arhitecturii datelor companiei, cu instrumente de asistență. O soluție de tip rețea de date trebuie să prezinte un amestec de gândire privind produsele de date, arhitectură de date descentralizată, proprietari de date orientați pe domenii, date distribuite în mișcare, acces cu autoservire și o guvernanță puternică a datelor.

O rețea de date nu este niciuna dintre următoarele:

  • Un produs furnizor: nu există un singur produs software special de tip Data Mesh.
  • Un lac de date sau sisteme de găzduire a lacurilor de date: acestea sunt complementare și pot face parte dintr-o rețea de date mai mare care se întinde pe mai multe lacuri, iazuri și sisteme operaționale de înregistrare.
  • Un catalog de date sau un grafic: O rețea de date necesită o implementare fizică.
  • Un proiect de consultanță punctuală: rețeaua de date reprezintă o călătorie, nu un singur proiect.
  • Un produs de analiză în regim de autoservire: Analizele clasice în regim de autoservire, pregătirea și manipularea datelor pot face parte dintr-o rețea de date, precum și din alte arhitecturi de date.
  • O țesătură de date: deși înrudit din punct de vedere conceptual, conceptul de țesătură de date include în mod mai larg o varietate de stiluri de integrare și management al datelor, în timp ce rețeaua de date este asociată mai degrabă cu descentralizarea și cu modelele de proiectare bazate pe domeniu.

Compania Oracle este lider în raportul Forrester Wave referitor la Enterprise Data Fabric, trimestrul 2, 2020

De ce o rețea de date?

Adevărul trist este că arhitecturile de date monolitice din trecut sunt greoaie, costisitoare și inflexibile. De-a lungul anilor, a devenit clar că majoritatea timpului și costurilor pentru platforma de afaceri digitală, de la aplicații la analize, sunt implicate în eforturile de integrare. Prin urmare, majoritatea inițiativelor privind platformele eșuează.

Deși rețeaua de date nu reprezintă un remediu pentru arhitecturile de date centralizate și monolitice, principiile, practicile și tehnologiile strategiei de rețea de date sunt concepute pentru a rezolva unele dintre cele mai presante și neabordate obiective de modernizare pentru inițiativele de afaceri bazate pe date.

Unele dintre tendințele tehnologice care au dus la apariția rețelei de date ca soluție au în vedere următoarele aspecte:

Pentru a afla mai multe despre necesarul de rețele de date de astăzi, citiți documentul original din 2019 al lui Zhamak Dehghani: Cum să treceți de la un lac de date monolitic la o rețea de date distribuită.

Definirea rețelei de date

Strategia descentralizată din spatele rețelelor de date vizează modul de tratare a datelor ca produs prin crearea unei infrastructuri de date cu autoservire, pentru ca datele să poată fi accesate mai ușor de către utilizatorii business.

Concentrat pe rezultate

Conceperea produsului de date
  • Schimbarea mentalității spre punctul de vedere al consumatorului de date
  • Proprietarii domeniilor de date sunt responsabili pentru indicatorii de performanță cheie/SLA privind produsele de date
Alinierea dintre operațiuni și analize
  • Același domeniu de date și aceeași logică de rețea tehnologică pentru toate
  • Gata cu „aruncarea datelor peste zid”
Date în mișcare
  • Captați evenimente de date în timp real direct din sistemele de înregistrare și activați canalizările în regim de autoservire pentru a furniza date acolo unde este nevoie.
  • O capacitate esențială pentru descentralizarea datelor și pentru produse de date aliniate la sursă

Respinge arhitectura IT monolitică

Arhitectură descentralizată
  • O arhitectură construită pentru date, servicii și clouduri descentralizate
Registre de date bazate pe evenimente
  • Concepute pentru a gestiona toate tipurile, formatele și complexitatea evenimentelor
Canale de date bazate pe fluxuri
  • Procesare în flux în mod implicit, procesare pe loturi prin excepție
Platformă autonomă, guvernată
  • Construită pentru a responsabiliza dezvoltatorii și pentru a conecta direct consumatorii de date cu producătorii de date
  • Securitate, validare, proveniență și transparență încorporate

Funcții Oracle pentru alimentarea unei rețele de date

Atunci când teoria trece în practică, este necesar să se implementeze soluții de clasă de întreprindere pentru datele critice; în acest caz, Oracle poate oferi o gamă de soluții de încredere pentru a alimenta o rețea de date de întreprindere.

Creați și partajați produse de date

  • Colecții de date multimodel cu baza de date convergentă Oracle, care permit produse de date „cu schimbare de formă” în formatele solicitate de consumatorii de date.
  • Produse de date autonome sub formă de aplicații sau API-uri, utilizând Oracle APEX Application Development și Oracle REST Data Services pentru accesarea și partajarea ușoară a tuturor datelor.
  • Punct unic de acces pentru interogări SQL sau virtualizare de date cu Oracle Cloud SQL și Big Data SQL
  • Produse de date pentru machine learning cu platforma de știință a datelor de la Oracle, Oracle Cloud Infrastructure (OCI) Data Catalog și platforma de date în cloud de la Oracle pentru locațiile lacurilor de date
  • Produse de date aliniate la sursă ca evenimente în timp real, alerte de date și servicii de evenimente de date brute cu Oracle Stream Analytics
  • Produse de date autonome, aliniate la nevoile consumatorilor, într-o soluție completă Oracle Analytics Cloud

Operați o arhitectură de date descentralizată

  • Flexibil, în stil „rețea autonomă” CI/CD pentru containere de date care utilizează baze de date conectabile Oracle cu Kubernetes, Docker sau cloud-native cu Autonomous Database
  • Sincronizarea datelor în mai multe regiuni, în mai multe cloud-uri și în cloud-uri hibride cu microservicii Oracle GoldenGate și Veridata, pentru o structură de tranzacții active de încredere.
  • Accesați majoritatea aplicațiilor, proceselor de afaceri și evenimentelor de date Internet of Things (IoT) cu Oracle Integration Cloud și Oracle Internet of Things Cloud
  • Utilizați cozile de evenimente Oracle GoldenGate sau Oracle Transaction Manager pentru microservicii, pentru sursa de evenimente de microservicii sau pentru ingerarea în timp real în Kafka și în lacurile de date.
  • Aduceți modelele de proiectare descentralizate bazate pe domenii în rețeaua dvs. de servicii cu Oracle Verrazzano, Helidon și Graal VM

 

3 atribute cheie ale unei rețele de date

Rețeaua de date este mai mult decât un nou concept la modă în domeniul tehnologiei. Acesta este un nou set de principii, practici și capacități tehnologice care fac datele mai accesibile și mai ușor de descoperit. Conceptul de rețea de date se distinge de generațiile anterioare de abordări și arhitecturi de integrare a datelor prin încurajarea unei schimbări de la arhitecturile de date gigantice și monolitice ale trecutului către o arhitectură modernă, distribuită și descentralizată a viitorului, bazată pe date. La baza conceptului de rețea de date se află următoarele atribute cheie:

1. Conceperea produsului de date

Schimbarea mentalității este cel mai important prim pas către o rețea de date. Dorința de a îmbrățișa practicile învățate ale inovației este trambulina spre modernizarea cu succes a arhitecturii de date.

Aceste domenii de practică învățate includ:

  • Gândirea designului – o metodologie dovedită pentru rezolvarea „problemelor dificile”, aplicată domeniilor de date ale întreprinderilor pentru a construi produse de date excelente
  • Teoria lucrurilor de făcut – aplicarea unui proces de inovare axat pe client și a unui proces de inovare axat pe rezultate pentru a ne asigura că produsele de date de întreprindere rezolvă probleme reale de afaceri
fpo-01

Metodologiile de proiectare a conceptului oferă tehnici dovedite care contribuie la desființarea silozurilor organizaționale care blochează frecvent inovarea interfuncțională. Teoria sarcinilor de îndeplinit este fundamentul critic pentru proiectarea produselor de date care îndeplinesc obiective specifice ale consumatorului final – sau sarcini de îndeplinit – și definește scopul produsului.

Deși abordarea bazată pe produse de date a apărut inițial în cadrul comunității de știință a datelor, ea este acum aplicată la toate aspectele managementului datelor. În loc să construiască arhitecturi tehnologice monolitice, rețeaua de date se concentrează pe consumatorii de date și pe rezultatele de afaceri.

Deși concepția privind produsele de date poate fi aplicată la alte arhitecturi de date, aceasta este o parte esențială a unei rețele de date. Pentru exemple pragmatice de aplicare a concepției produselor de date, echipa Intuit a relatat o analiză detaliată a experiențelor lor.

Produse de date

Produsele de orice fel – de la produsele brute la articolele din magazinul local – sunt produse ca active de valoare, destinate să fie consumate, și au un anumit rol de îndeplinit. Produsele de date pot lua o varietate de forme, în funcție de domeniul de activitate sau de problema care trebuie rezolvată, și pot include:

  • Analize – rapoarte și panouri de bord istorice/în timp real
  • Seturi de date – colecții de date în diferite configurații/formate
  • Modele – obiecte de domeniu, modele de date, caracteristici de machine learning (ML)
  • Algoritmi – Modele ML, evaluare, reguli de business
  • Servicii de date și API-uri – documente, payloaduri, subiecte, API-uri REST și multe altele

Un produs de date este creat pentru consum, de obicei este deținut în afara domeniului IT și necesită urmărirea unor atribute suplimentare, cum ar fi:

  • Harta acționarilor – Cine deține, creează și consumă acest produs?
  • Împachetare și documentație – Cum se consumă? Cum este etichetat?
  • Scop și valoare – Care este valoarea implicită/explicită a produsului? Există depreciere în timp?
  • Calitate și consecvență – Care sunt KPI-urile și SLA-urile de utilizare? Este verificabil?
  • Proveniență, ciclu de viață și guvernanță – Există încredere și fezabilitate a datelor?

2. Arhitectură descentralizată a datelor

Arhitectură descentralizată a datelor

Sistemele IT descentralizate sunt o realitate modernă, iar odată cu apariția aplicațiilor SaaS și a infrastructurii cloud publice (IaaS), descentralizarea aplicațiilor și a datelor este făcută să persiste. Arhitecturile software de aplicații trec de la monoliturile centralizate din trecut la microservicii distribuite (o rețea de servicii). Arhitectura datelor va urma aceeași tendință spre descentralizare, datele ajungând să fie distribuite pe o varietate mai largă de site-uri fizice și în multe rețele. Aceasta este o rețea de date.

Ce este o rețea?

O rețea este o topologie de conexiune care permite unui grup mare de noduri neierarhice să lucreze împreună în mod colaborativ.

Exemplele de tehnologie uzuale includ:

  • WiFiMesh – mai multe noduri care colaborează pentru o acoperire mai bună
  • ZWave/Zigbee – rețele de dispozitive inteligente, cu consum redus de energie
  • rețea 5G – conexiuni celulare mai fiabile și mai rezistente
  • Starlink – rețea în bandă largă prin satelit, la scară globală
  • Rețea de servicii – o modalitate de a oferi controale unificate asupra microserviciilor descentralizate (software de aplicații)

Rețelele de date sunt aliniate la aceste concepte și oferă o modalitate descentralizată de distribuire a datelor în rețele virtuale/fizice și pe distanțe mari. Arhitecturile monolitice de integrare a datelor moștenite, cum ar fi instrumentele ETL și de distribuire a datelor – și, mai recent, serviciile cloud publice, cum ar fi AWS Glue, necesită o infrastructură centralizată.

O soluție completă de rețea de date ar trebui să fie capabilă să funcționeze într-un cadru multicloud, putând să se extindă de la sistemele locale, la mai multe rețele publice și chiar la rețelele periferice.

Securitate distribuită

Într-o lume în care datele sunt distribuite și descentralizate, rolul securității informațiilor este esențial. Spre deosebire de monoliturile centralizate, sistemele distribuite trebuie să delege activitățile necesare pentru autentificarea și autorizarea diferiților utilizatori la diferite niveluri de acces. Delegarea sigură a încrederii între rețele este dificil de realizat în mod optim.

Unele considerente includ:

  • Criptarea în repaus – ca date/evenimente scrise în spațiul de stocare
  • Autentificarea distribuită – pentru servicii și baze de date, cum ar fi mTLS, certificate, SSO, baze de date secrete și seifuri de date
  • Criptarea în mișcare – ca date/evenimente care circulă în memorie
  • Managementul identității – servicii de tip LDAP/IAM, între platforme
  • Autorizații distribuite – pentru punctele finale ale serviciului pentru corectarea datelor
    De exemplu: sidecar Open Policy Agent (OPA) pentru plasarea punctului de decizie pentru politică (PDP) în containerul/clusterul K8S unde se procesează punctul final pentru microserviciu. LDAP/IAM poate fi orice serviciu capabil de JWT.
  • Mascare deterministă – pentru a analiza în mod fiabil și consecvent datele PII

Securitatea în cadrul oricărui sistem IT poate fi dificilă și este și mai dificil să se asigure o securitate sporită în cadrul sistemelor distribuite. Cu toate acestea, acestea sunt probleme soluționabile.

Domenii de date descentralizate

Un principiu de bază al rețelelor de date este noțiunea de distribuție a proprietății și a responsabilității. Cea mai bună practică este de a transfera proprietatea asupra produselor de date și a domeniilor de date către persoanele din organizație care sunt cele mai apropiate de date. În practică, aceasta se poate alinia la datele sursă (de exemplu, sursele de date brute, cum ar fi sistemele operaționale de înregistrare/aplicațiile) sau la datele analitice (de exemplu, date compuse sau agregate formatate pentru a fi ușor de consumat de către consumatorii de date). În ambele cazuri, producătorii și consumatorii de date sunt adesea aliniați mai degrabă la unitățile de afaceri decât la organizațiile IT.

Vechile modalități de organizare a domeniilor de date cad adesea în capcana alinierii la soluțiile tehnologice, cum ar fi instrumentele ETL, depozitele de date, lacurile de date sau organizarea structurală a unei companii (resurse umane, marketing și alte linii de afaceri). Cu toate acestea, pentru o anumită problemă de afaceri, domeniile de date sunt adesea cel mai bine aliniate la domeniul de aplicare al problemei care se rezolvă, la contextul unui anumit proces de afaceri sau la familia de aplicații dintr-un anumit domeniu de probleme. În cazul organizațiilor mari, aceste domenii de date se extind, de obicei, la nivelul organizațiilor interne și al amprentei tehnologice.

Descompunerea funcțională a domeniilor de date dobândește o prioritate ridicată, de primă clasă, în cadrul rețelei de date. Diferite metodologii de descompunere a datelor pentru modelarea domeniului pot fi adaptate la arhitectura de rețea de date, inclusiv modelarea clasică a depozitului de date (cum ar fi Kimball și Inmon) sau modelarea seifului de date, dar cea mai comună metodologie încercată în prezent în arhitectura de rețea de date este proiectarea bazată pe domeniu (DDD). Abordarea DDD a apărut din descompunerea funcțională a microserviciilor și este aplicată acum într-un context de rețea de date.

3. Date dinamice în mișcare

Un domeniu important în care Oracle a contribuit la discuția despre rețeaua de date este acela de a ridica importanța datelor în mișcare ca element cheie al unei rețele de date moderne. Datele în mișcare sunt esențiale pentru a scoate rețeaua de date din sfera tradițională a procesării monolitice, centralizate și pe loturi. Funcțiile datelor în mișcare răspund la mai multe întrebări de bază ale rețelei de date, cum ar fi:

  • Cum putem accesa produsele de date aliniate la sursă în timp real?
  • Ce instrumente pot oferi mijloacele de distribuire a tranzacțiilor de date de încredere în cadrul unei rețele de date descentralizate fizic?
  • Ce pot folosi atunci când trebuie să pun la dispoziție evenimente de date ca API-uri de produse de date?
  • Pentru produsele de date analitice care trebuie să fie actualizate în permanență, cum aș putea să mă aliniez la domeniile de date și să asigur încrederea și validitatea?

Aceste întrebări nu sunt doar o chestiune de „detalii de implementare”, ci au o importanță centrală pentru arhitectura de date în sine. O proiectare axată pe domeniu pentru date statice va utiliza tehnici și instrumente diferite față de un proces dinamic, cu date în mișcare, al aceleiași proiectări. De exemplu, în arhitecturile de date dinamice, registrul de date este sursa centrală de informații reale pentru evenimentele de date.

Registre de date bazate pe evenimente

Registre de date bazate pe evenimente

Registrele sunt o componentă fundamentală a realizării unei funcții de arhitectură a datelor distribuite. La fel ca în cazul unui registru contabil, un registru de date înregistrează tranzacțiile pe măsură ce se derulează.

Atunci când distribuim registrul, evenimentele de date devin reutilizabile în orice loc. Unele registre de evidență se aseamănă mai degrabă cu un aparat de înregistrare a zborurilor de avion care este utilizat pentru disponibilitate ridicată și recuperare în caz de dezastru.

Spre deosebire de depozitele de date centralizate și monolitice, registrele distribuite sunt create special pentru a ține evidența evenimentelor atomice și/sau a tranzacțiilor care au loc în alte sisteme (externe).

O rețea de date nu este un singur tip de registru. În funcție de cazurile de utilizare și de cerințe, o plasă de date poate utiliza diferite tipuri de registre de date bazate pe evenimente, inclusiv următoarele:

  • Registru de evenimente de uz general – cum ar fi Kafka sau Pulsar
  • Registrul de evenimente de date – instrumente CDC/replicare distribuite
  • Middleware pentru mesagerie—inclusiv ESB, MQ, JMS și AQ
  • Registrul blockchain – pentru tranzacții securizate, imuabile, în mai multe părți

Împreună, aceste registre pot funcționa ca un fel de jurnal de evenimente de durată pentru întreaga întreprindere, furnizând o listă curentă a evenimentelor de date care au loc în sistemele de înregistrare și în sistemele de analiză.

Fluxuri de date poliglot

Fluxuri de date poliglot

Fluxurile de date poliglot sunt mai răspândite ca niciodată. Acestea variază în funcție de tipurile de evenimente, de sarcinile utile și de diferitele semantici ale tranzacțiilor. O rețea de date ar trebui să susțină tipurile de fluxuri necesare pentru o varietate de sarcini de lucru cu date de întreprindere.

Evenimente simple:
– Base64/JSON – raw, evenimente fără scheme
– Telemetrie falsă – evenimente dispersate

Înregistrarea de bază a aplicațiilor/evenimentelor din Internet of Things (IoT):
– JSON/Protobuf – poate avea schemă
– Protocoale specifice MQTT – IoT

Evenimente pentru procesele de business ale aplicațiilor:
– Evenimente SOAP/REST – XML/XSD, JSON
– B2B – protocoale și standarde de schimb

Evenimente/tranzacții de date:
– Înregistrări modificări logice – LCR, SCN, URID
– Limite consecvente – confirmări versus operații

Procesare în flux a datelor

Procesarea fluxului este modul în care sunt manevrate datele într-un flux de evenimente. Spre deosebire de „funcțiile lambda”, procesorul de fluxuri păstrează starea fluxurilor de date într-o anumită fereastră de timp și poate aplica interogări analitice mult mai avansate asupra datelor.

    Filtrarea de bază a datelor:

    • Monitorizarea pragurilor, alertelor și telemetriei

    ETL simplu:

    • Funcții RegEx, matematică/logică și concatenare
    • Înregistrare după înregistrare, substituiri și mascare

CEP și ETL complex:

  • Procesare eveniment complex (CEP)
  • Procesare DML (ACID) și grupuri de tuple
  • Agregate, căutări, îmbinări complexe

Analiză de flux:

  • Analiză a seriilor cronologice și ferestre de timp personalizate
  • Geospațial, machine learning și inteligență artificială integrată

Alte atribute și principii importante

Desigur, există mai mult de trei atribute ale unei rețele de date. Ne-am concentrat pe cele trei elemente de mai sus ca o modalitate de a atrage atenția asupra atributelor pe care Oracle le consideră a fi unele dintre aspectele noi și unice ale abordării moderne emergente a rețelei de date.

Alte atribute importante pentru rețeaua de date includ:

  • Instrumente autonome – rețeaua de date îmbrățișează tendința generală de management al datelor către autonomie, dezvoltatorii vor trebui să provină din ce în ce mai mult din rândurile proprietarilor de date
  • Guvernanța datelor – rețeaua de date a îmbrățișat, de asemenea, tendința de lungă durată către un model de guvernanță mai formală, așa cum au susținut ofițerii de date, administratorii de date și furnizorii de cataloage de date timp de mulți ani.
  • Utilizarea datelor – respectarea principiilor privind rețelele de date; în plus, există destul de multe avantaje legate de utilizarea produselor de date. Principiile pentru produsele de date se vor referi la date care sunt valoroase, utilizabile și fezabile pentru partajare.

 

7 scenarii de utilizare a rețelelor de date

O rețea de date reușită răspunde unor scenarii de utilizare atât pentru domeniile de date operaționale, cât și pentru cele analitice. Următoarele șapte scenarii de utilizare ilustrează amploarea funcțiilor pe care o rețea de date le conferă datelor întreprinderii.

Prin integrarea datelor operaționale și a analizelor în timp real, companiile pot lua decizii operaționale și strategice mai bune.

MIT Sloan School of Management

1. Modernizarea aplicațiilor

Privind dincolo de migrările de tip „ridicare și mutare” a arhitecturilor de date monolitice în cloud, multe organizații caută, de asemenea, să își retragă aplicațiile centralizate din trecut și să se orienteze către o arhitectură de aplicații mai modernă de tip microservicii.

Fundația de rețea de date pentru migrații monolit
Fundația de rețea de date pentru migrații monolit
Modelul de figură Strangler pentru descompunerea monolitului și migrații în etape
Modelul de figură Strangler pentru descompunerea monolitului și migrații în etape

Dar aplicațiile moștenite de tip monolit depind de obicei de baze de date masive, ceea ce ridică problema modului în care se poate etapiza planul de migrare pentru a reduce disfuncționalitățile, riscurile și costurile. O rețea de date poate oferi o importantă capacitate operațională IT pentru clienții care fac tranziții treptate de la arhitectura monolitică la cea de tip rețea. De exemplu:

  • Descărcarea în subdomeniu a tranzacțiilor din baza de date, cum ar fi filtrarea datelor în funcție de „contextul delimitat”.
  • Replicare bidirecțională a tranzacțiilor pentru migrări etapizate
  • Sincronizare între platforme, cum ar fi de la mainframe la DBaaS

În limbajul arhitecților de microservicii, această abordare utilizează o rețea de tranzacții bidirecțională pentru a activa schema de migrare strangler, un context limitat la un moment dat.

2. Disponibilitatea și continuitatea datelor

Rețea de date pentru evenimente de date distribuite geografic
Rețea de date pentru evenimente de date distribuite geografic

Aplicațiile esențiale pentru desfășurarea activității necesită indicatori KPI și SLA foarte importanți în ceea ce privește rezistența și continuitatea. Indiferent dacă aceste aplicații sunt monolitice, de tip microserviciu sau intermediare, nu pot da eroare!

Pentru sistemele critice, un model de date distribuit, de consistență interpretabilă nu este, de obicei, acceptabil. În orice caz, aceste aplicații trebuie să funcționeze în mai multe centre de date. Acest lucru generează întrebarea de continuitate a afacerii: „Cum îmi pot rula aplicațiile în mai multe centre de date, garantând în același timp date corecte și coerente”.

Indiferent dacă arhitecturile monolitice utilizează seturi de date „partajate” sau microserviciile sunt configurate pentru disponibilitate ridicată între site-uri, rețeaua de date oferă date corecte și de mare viteză la orice distanță.

O rețea de date poate oferi baza pentru date descentralizate, dar 100% corecte pentru toate site-urile. De exemplu:

  • Tranzacții logice cu latență foarte scăzută (între platforme)
  • Garanții ACID pentru date corecte
  • Soluționarea multiactivă, bidirecțională și a conflictelor

3. Crearea de evenimente și soluționarea tranzacțiilor

Interoperabilitate bazată pe evenimente între diverse aplicații, microservicii și baze de date
Interoperabilitate bazată pe evenimente între diverse aplicații, microservicii și baze de date
Modelul generic pentru soluționarea tranzacțiilor
Modelul generic pentru soluționarea tranzacțiilor (notă: există variații/optimizări ale acestui model pentru rețeaua de date).

O platformă modernă, în stil de rețea, ce utilizează evenimente pentru schimbul de date. În loc să depindă de procesarea pe loturi la nivelul de date, sarcinile utile de date circulă în mod continuu atunci când au loc evenimente în aplicație sau în depozitul de date.

În cazul anumitor arhitecturi, microserviciile trebuie să facă schimb de sarcini utile de date între ele. Alte modele necesită schimburi între aplicații monolitice sau depozite de date. Acest lucru generează întrebarea „Cum pot schimba în mod fiabil sarcinile utile de date ale microserviciilor între aplicațiile și depozitele mele de date?”

O rețea de date poate furniza tehnologia de bază pentru schimbul de date centrat pe microservicii. De exemplu:

  • Microservicii la microservicii în context
  • Microservicii la microservicii în mai multe contexte
  • Monolit către/de la microserviciu

Modelele de microservicii, cum ar fi sursa de evenimente, CQRS și soluționarea tranzacțiilor, sunt soluții înțelese în mod obișnuit; o rețea de date oferă instrumentele și cadrul necesar pentru ca aceste modele să fie repetabile și fiabile la scară largă.

4. Integrare bazată pe evenimente

În afară de modelele de proiectare a microserviciilor, nevoia de integrare la nivel de întreprindere se extinde și la alte sisteme IT, precum baze de date, procese de afaceri, aplicații și dispozitive fizice de toate tipurile. O rețea de date oferă baza pentru integrarea datelor în mișcare.

Datele în mișcare se bazează, de obicei, pe evenimente. O acțiune a utilizatorului, un eveniment al dispozitivului, o etapă de proces sau o confirmare a depozitului de date pot iniția un eveniment cu o sarcină utilă de date. Aceste sarcini utile de date sunt esențiale pentru integrarea sistemelor Internet of Things (IoT), a proceselor de afaceri și a bazelor de date, a depozitelor de date și a lacurilor de date.

Integrare bazată pe evenimente

O rețea de date furnizează tehnologia de bază pentru integrarea în timp real în întreaga companie. De exemplu:

  • Conectarea evenimentelor asociate dispozitivelor din lumea reală la sistemele IT
  • Integrarea proceselor de afaceri în sistemele ERP
  • Alinierea bazelor de date operaționale cu depozitele de date analitice

Organizațiile mari vor avea, în mod natural, o combinație de sisteme vechi și noi, monoliți și microservicii, depozite de date operaționale și analitice; o rețea de date poate contribui la unificarea acestor resurse în domenii de afaceri și de date diferite.

5. Asimilare streaming (pentru analize)

Utilizarea unei rețele de date pentru o absorbție comună a datelor între lacurile de date, depozitele de date și marjele de date.
Utilizarea unei rețele de date pentru o absorbție comună a datelor între lacurile de date, depozitele de date și marjele de date.

Depozitele de date analitice pot include platforme de date, depozite de date, cuburi OLAP, lacuri de date și tehnologii de tip „locații pentru lacuri de date”.

În general, există doar două modalități de a introduce date în aceste depozite de date analitice:

  • Încărcare pe loturi/microloturi pe un sistem de programare a timpului
  • Preluare în flux – încărcare continuă a evenimentelor de date

O rețea de date oferă baza pentru o capacitate de preluare a datelor în flux continuu. De exemplu:

  • Evenimente de date din baze de date sau depozite de date
  • Evenimentele asociate dispozitivelor din telemetria dispozitivelor fizice
  • Înregistrarea evenimentelor din aplicații sau tranzacții de afaceri

Integrarea evenimentelor prin flux poate reduce impactul asupra sistemelor sursă, îmbunătățește autenticitatea datelor (un aspect important pentru știința datelor) și permite analize în timp real.

6. Canale de date de flux

O rețea de date poate crea, executa și guverna canale de transmitere în flux în cadrul unui lac de date.
O rețea de date poate crea, executa și guverna canale de transmitere în flux în cadrul unui lac de date.

Odată preluate în depozitele de date analitice, este nevoie, de obicei, de canale de date pentru a pregăti și transforma datele în diferite etape sau zone de date. Acest proces de rafinare a datelor este adesea necesar pentru produsele de date analitice ulterioare.

O rețea de date poate oferi un pachet de date guvernat în mod independent, care funcționează cu depozitele de date analitice, asigurând următoarele servicii de bază:

  • Descoperirea automată a datelor și pregătirea acestora
  • Organizarea resurselor de date pe mai multe domenii
  • Pregătirea și transformarea datelor în formatele necesare pentru produsele de date
  • Verificarea datelor prin intermediul unei politici care asigură consecvența

Aceste canale de date ar trebui să fie capabile să funcționeze în diferite depozite de date fizice (cum ar fi piețe, depozite sau lacuri) sau ca un „flux de date pushdown” în cadrul platformelor de date analitice care acceptă fluxuri de date, cum ar fi Apache Spark și alte tehnologii de tip „locații pentru lacuri de date”.

7. Analiză în flux

Evenimentele de toate tipurile (IoT, DB, etc.) pot fi analizate în fluxuri în timp real.
Evenimentele de toate tipurile pot fi analizate în fluxuri în timp real

Evenimentele se derulează în permanență. Analiza evenimentelor dintr-un flux poate fi decisivă pentru a înțelege ce se întâmplă de la un moment la altul.

Acest tip de analiză bazată pe serii cronologice a fluxurilor de evenimente în timp real poate fi important pentru datele dispozitivelor IoT din lumea reală și pentru a înțelege ce se întâmplă în centrele de date IT sau în cadrul tranzacțiilor financiare, cum ar fi monitorizarea fraudelor.

O rețea de date completă va include capacitățile de bază pentru a analiza evenimente de toate categoriile, în tipuri diferite de ferestre temporale. De exemplu:

  • Analiză simplă a fluxului de evenimente (evenimente web)
  • Monitorizarea activității comerciale (evenimente SOAP/REST)
  • Procesare eveniment complex (corelație în mai multe etape)
  • Analiză eveniment de date (în tranzacții DB/ACID)

La fel ca în cazul canalelor de date, analizele de flux pot să funcționeze în cadrul unei infrastructuri stabilite de tip locație lac de date sau separat, ca servicii native în cloud.

Obțineți valoarea maximă prin utilizarea unei rețele comune în întreaga infrastructură de date

Cei care se află în prima linie a integrării datelor caută integrarea datelor operaționale și analitice în timp real dintr-o colecție diversă de baze de date rezistente. Inovațiile au fost neîncetate și rapide, pe măsură ce arhitectura de date evoluează spre analiza în flux. Disponibilitatea operațională ridicată a condus la analize în timp real, iar automatizarea ingineriei datelor simplifică pregătirea datelor, permițând cercetătorilor și analiștilor de date să utilizeze instrumente de autoservire.

Rezumat despre scenarii de utilizare a rețelelor de date

Rezumat despre scenarii de utilizare a rețelelor de date

Construiți o rețea operațională și analitică în întregul ansamblu de date
Punerea în funcțiune a tuturor acestor capacități de management al datelor într-o arhitectură unificată va avea un impact asupra fiecărui consumator de date. O rețea de date va contribui la îmbunătățirea sistemelor globale de înregistrare și a sistemelor de interacțiune pentru a funcționa în mod fiabil în timp real, aliniind aceste date în timp real cu managerii de afaceri, cercetătorii de date și clienții dvs. De asemenea, simplifică managementul datelor pentru aplicațiile de microservicii de ultimă generație. Utilizând metode și instrumente analitice moderne, utilizatorii finali, analiștii și cercetătorii de date vor fi și mai receptivi la cererea clienților și la amenințările concurenței. Pentru a citi un exemplu bine documentat, consultați obiectivele și rezultatele companiei Intuit.

Beneficiați de o rețea de date privind proiectele punctuale
Pe măsură ce adoptați o nouă mentalitate și un nou model operațional pentru produsele de date, este important să dobândiți experiență în fiecare dintre aceste tehnologii generice. Pe parcursul călătoriei dvs. de interconectare a datelor, puteți obține beneficii incrementale prin evoluția arhitecturii dvs. de date rapide către analiza în flux, prin valorificarea investițiilor dvs. operaționale de mare disponibilitate în analiza în timp real și prin furnizarea de analize în timp real, în regim de autoservire pentru cercetătorii și analiștii dvs. de date.

Comparație și contrast

  Structura de date Integrarea App-Dev Depozit de date analitice
  Rețea de date Integrare date Metacatalog Microservicii Mesagerie Data lakehouse DW distribuit
Persoane, procese și metode:
Focalizare pe produsele de date
disponibil
disponibil
disponibil
Ofertă 1/4
Ofertă 1/4
Ofertă 3/4
Ofertă 3/4
Atribute arhitectură tehnică:
Arhitectură distribuită
disponibil
Ofertă 1/4
Ofertă 3/4
disponibil
disponibil
Ofertă 1/4
Ofertă 3/4
Registre de date bazate pe evenimente
disponibil
indisponibil
Ofertă 1/4
disponibil
disponibil
Ofertă 1/4
Ofertă 1/4
Asistență ACID
disponibil
disponibil
indisponibil
indisponibil
Ofertă 3/4
Ofertă 3/4
disponibil
Orientat spre flux
disponibil
Ofertă 1/4
indisponibil
indisponibil
Ofertă 1/4
Ofertă 3/4
Ofertă 1/4
Focalizare pe date analitice
disponibil
disponibil
disponibil
indisponibil
indisponibil
disponibil
disponibil
Focalizare pe date operaționale
disponibil
Ofertă 1/4
disponibil
disponibil
disponibil
indisponibil
indisponibil
Rețea fizică și logică
disponibil
disponibil
indisponibil
Ofertă 1/4
Ofertă 3/4
Ofertă 3/4
Ofertă 1/4

Rezultate de afacere


Beneficii globale

Cicluri de inovare mai rapide, bazate pe date

Costuri reduse pentru operațiunile de date critice

Rezultate operaționale

Lichiditatea datelor multicloud
– Deblocarea capitalului de date pentru a circula liber

Partajare date în timp real
– Ops-to-Ops și Ops-to-analytics

Servicii de date periferice, bazate pe localizare
– Corelarea evenimentelor asociate dispozitivelor/datelor IRL

Schimb de date microservicii de încredere
– Surse de evenimente cu date corecte
– DataOps și CI/CD pentru date

Continuitate neîntreruptă
– 99,999% acorduri SLA pentru disponibilitate
– Migrări în cloud

Rezultate analitice

Automatizarea și simplificarea produselor de date
– Seturi de date cu mai multe modele

Analiza datelor din seriile temporale
– Înregistrări Deltas/modificate
– Fidelizare eveniment cu eveniment

Eliminați copiile complete de date pentru un depozit de date operațional
– Registre de evidență și canale bazate pe jurnale

Lacuri de date și depozite distribuite
– Hibrid/multicloud/global
– Integrare în flux/ETL

Analize predictive
– Monetizarea datelor, noi servicii de date de vânzare

Aduceți-le pe toate împreună

Transformarea digitală este foarte, foarte dificilă și, din păcate, cele mai multe companii vor eșua în acest demers. De-a lungul anilor, tehnologia, proiectarea de software și arhitectura de date au devenit din ce în ce mai distribuite, pe măsură ce tehnicile moderne se îndepărtează de stilurile foarte centralizate și monolitice.

Rețeaua de date este un nou concept pentru date – o schimbare deliberată către evenimente de date foarte distribuite și în timp real, spre deosebire de procesarea datelor monolitice, centralizate și organizate pe loturi. În esența lor, rețelele de date reprezintă o schimbare culturală pentru consumatorii de date. Reprezintă, de asemenea, o adevărată schimbare tehnologică, optimizând platformele și serviciile care permit o arhitectură de date descentralizată.

Scenariile de utilizare a rețelelor de date cuprind atât datele operaționale, cât și datele analitice, ceea ce reprezintă o diferență esențială față de lacurile de date/locații pentru lacurile de date și depozitele de date convenționale. Această aliniere a domeniilor de date operaționale și analitice este un factor determinant pentru nevoia de a stimula mai mult autonomia pentru consumatorul de date. Tehnologia modernă a platformelor de date poate contribui la eliminarea intermediarilor în conectarea directă a producătorilor de date cu consumatorii de date.

Oracle este de mult timp liderul pieței în ceea ce privește soluțiile de date critice și a pus la dispoziție unele dintre cele mai moderne tehnologii pentru a asigura o rețea de date de încredere:

  • Infrastructura Oracle Generation 2 Cloud cu peste 33 de regiuni active
  • Bază de date multimodel pentru produse de date cu „schimbare de formă”
  • Registru de evenimente de date bazate pe microservicii pentru toate depozitele de date
  • Procesare flux multicloud pentru date sigure în timp real
  • Platforma API, AppDev modern și instrumente autonome
  • Analize, vizualizarea datelor și știința datelor native în cloud