Kurumsal Veri Ağı

Çözümler, kullanım senaryoları ve örnek olay incelemeleri


The Forrester Wave: Enterprise Data Fabric, 2020 Yılı 2. Çeyrek

Oracle'ın neden Lider ilan edildiğini ve Strateji kategorisinde en yüksek puanı aldığını öğrenin.

Veri ağı nedir?

Kurumsal yazılımda sıcak bir konu olan veri ağı, veri yönetimi için dağıtılmış bir mimariye dayanan verileri düşünmeye yeni bir yaklaşımdır. Buradaki fikir; veri sahipleri, veri üreticileri ve veri tüketicileri arasında doğrudan bağlantı kurarak verileri daha erişilebilir hale getirmektir. Veri ağı, veri merkezli çözümlerin iş sonuçlarını iyileştirmenin yanı sıra modern veri mimarilerinin benimsenmesini de amaçlamaktadır.

İş açısından bakıldığında, veri ağı "veri ürünü düşüncesi" etrafında yeni fikirler ortaya koymaktadır. Başka bir deyişle, verileri, örneğin karar verme sürecini iyileştirmek, dolandırıcılığı tespit etmeye yardımcı olmak veya tedarik zinciri koşullarındaki değişiklikler konusunda işletmeyi uyarmak gibi "yapılması gereken bir işi" yerine getiren bir ürün olarak düşünmektir. Şirketler, yüksek değerli veri ürünleri yaratmak için kültür ve zihniyet vardiyalarını ele almalı ve iş alanı modellemesinde daha çok işlevli bir yaklaşım sergilemelidir.

Teknoloji tarafından, Oracle'ın veri ağı hakkındaki görüşü, veriye dayalı mimari için üç önemli yeni alan içerir:

  1. Veri koleksiyonları, veri etkinlikleri ve veri analitiği olarak veri ürünleri sunan araçlar
  2. Dağıtılmış, merkezi olmayan veri mimarileri monolitik mimarilerden, çoklu bulut ve hibrit bulut bilişime geçmeyi seçen ya da küresel olarak merkezi olmayan bir şekilde çalıştırılması gereken organizasyonlara yardımcı olur
  3. Sadece merkezi, statik, toplu işlem tabanlı verilere bağımlı olmayan ve bunun yerine daha zamanında analitik sağlayan gerçek zamanlı veri olayları için olay temelli veri defterlerine ve akış merkezli ardışık düzenlere doğru hareket eden kurumlar için hareketli veri

Teknik olmayan kullanıcılar ve güçlü birleşik veri yönetişimi modelleri için self servis araçları gibi diğer önemli kaygılar, tıpkı diğer, daha merkezi ve klasik veri yönetimi metodolojileri gibi veri ağı mimarisi için de önemlidir.

Veri için yeni bir kavram

Zhamak Dehghani'nin tanıtımını izleyin (34:51)

Veri ağı yaklaşımı, verileri ürün olarak düşünmeye ilişkin paradigma dönüşümüdür. Veri ağı, şirketlerin veriyi işletmenin somut bir sermaye varlığı olarak yönetmek için ihtiyaç duyacağı organizasyonel ve süreçsel değişiklikleri beraberinde getirmektedir. Oracle'ın veri ağı mimarisine yönelik bakış açısı, organizasyonel ve analitik veri alanları arasında uyum sağlanmasını gerektirmektedir.

Bir veri ağı, veri üreticilerini doğrudan iş kullanıcılarına bağlamayı ve veri kaynaklarını alan, hazırlayan ve dönüştüren proje ve süreçlerden BT aracısını mümkün olduğunca kaldırmayı amaçlar.

Oracle'ın veri ağı konusundaki odak noktası, müşterilerimiz için bu yeni teknoloji gereksinimlerini karşılayabilecek bir platform sağlamak olmuştur. Veri ürünleri için araçlar; merkezi olmayan, etkinliğe dayalı mimariler ve veri akış düzenleri buna dahildir. Oracle, veri ürünü etki alanı modellemesi ve diğer sosyoteknik kaygılar için, veri ağı konusunda fikir lideri olan Zhamak Dehghani tarafından yapılan çalışmalarla uyum içindedir.

Veri ağının avantajları

Bir veri ağına yatırım yapmak, aşağıdakiler dahil olmak üzere etkileyici avantajlar sağlayabilir:

  • Uygulanmış veri ürünü düşünme en iyi uygulamaları aracılığıyla verilerin değerini tam netleştirmek.
  • Veri konsolidasyonu ve veri geçişleri için mikro hizmet tabanlı veri ardışık düzenlerini kullanarak %99,999'un üzerinde operasyonel veri erişilebilirliği (PDF)
  • Manuel, işlem grubu odaklı ETL'den sürekli dönüşüm ve yüklemeye (CTL) geçiş yaparak 10 kat daha hızlı inovasyon döngüleri.
  • Veri mühendisliğinde %70'den fazla azalma, CI/CD'de kazanımlar, kodsuz ve self servis veri ardışık düzen araçları ve çevik geliştirme.

Veri ağı bir düşünce biçimi ve daha fazlasıdır

Veri ağı, pazar olgunluğunun henüz ilk aşamalarındadır. Dolayısıyla, "veri ağı" olduğunu iddia eden bir çözüm hakkında çeşitli pazarlama içerikleri görseniz de, genellikle bu sözde veri ağı çözümleri temel yaklaşıma veya ilkelere uymaz.

Uygun bir veri ağı, bir zihniyet, bir organizasyon modeli ve destekleyici araçlara sahip bir kurumsal veri mimarisi yaklaşımıdır. Bir veri ağı çözümü, veri ürünü düşüncesi, merkezi olmayan veri mimarisi, etki alanı odaklı veri sahipliği, hareket halindeki dağıtılmış veri, self-servis erişim ve güçlü veri yönetişiminin bir karışımına sahip olmalıdır.

Veri ağı aşağıdakilerden hiçbiri değildir:

  • Satıcı ürün: Tek bir veri ağı yazılım ürünü yoktur.
  • Veri gölü veya veri gölü evleri: bunlar tamamlayıcıdır ve birden fazla göl, gölet ve operasyonel kayıt sistemini kapsayan daha büyük veri ağının bir parçası olabilir.
  • Veri kataloğu veya grafiği: Bir veri ağının fiziksel bir uygulamaya ihtiyacı vardır.
  • Tek seferlik bir danışmanlık projesi: Veri ağı bir yolculuktur, tek bir proje değildir.
  • Self-servis analitik ürünü: Klasik self-servis analitik, veri hazırlama ve veri düzenleme, diğer veri mimarilerinin yanı sıra veri ağının bir parçası olabilir.
  • Veri dokusu: kavramsal olarak ilişkili olmasına rağmen, veri dokusu kavramı çeşitli veri entegrasyonu ve veri yönetimi stillerini daha geniş bir şekilde kapsarken, veri ağı daha çok ademi merkeziyetçilik ve etki alanı odaklı tasarım modelleriyle ilişkilidir.

Oracle, Forrester Wave report on Enterprise Data Fabric, 2020 Yılı 2. Çeyreği Lideri Seçildi

Neden veri ağı?

Gerçek şudur ki, geçmişin monolitik veri mimarileri hantal, pahalı ve esnek değildir. Yıllar geçtikçe, uygulamalardan analitiklere kadar dijital iş platformları için harcanan zaman ve maliyetin çoğunun entegrasyon çabalarına gittiği anlaşılmıştır. Sonuç olarak, çoğu platform girişimi başarısız olmaktadır.

Veri ağı, merkezi, monolitik veri mimarileri için sihirli bir değnek olmasa da, veri ağı stratejisinin ilkeleri, uygulamaları ve teknolojileri, veri odaklı iş girişimleri için en acil ve ele alınmamış modernizasyon hedeflerinden bazılarını çözmek için tasarlanmıştır.

Veri ağının bir çözüm olarak ortaya çıkmasına neden olan teknoloji trendlerinden bazıları şunlardır:

Günümüzde veri ağına neden ihtiyaç duyulduğu hakkında daha fazla bilgi edinmek için Zhamak Dehghani'nin 2019 tarihli orijinal makalesini okuyun: Monolitik Veri Gölünün Ötesine Geçerek Dağıtılmış Veri Ağına Nasıl Geçilir?

Veri ağının tanımı

Veri ağının arkasındaki merkezi olmayan strateji, verileri iş kullanıcıları için daha erişilebilir hale getirmek için self servis bir veri altyapısı oluşturarak verileri bir ürün olarak ele almayı amaçlamaktadır.

Sonuç odaklı

Veri ürünü düşüncesi
  • Veri tüketicisinin bakış açısına doğru zihniyet değişimi
  • Veri alanı sahipleri veri ürünü KPI'larından/SLA'larından sorumludur
Operasyon ve analitik uyumu
  • Herkes için aynı veri etki alanı ve teknoloji ağ semantiği
  • Artık "verileri duvardan aşağı atmak" yok
Hareket halindeki veri
  • Gerçek zamanlı veri olaylarını doğrudan kayıt sistemlerinden yakalayın ve ihtiyaç duyulan yerlerde veri sağlamak için self servis işlem hatlarını etkinleştirin
  • Merkezi olmayan verilerin ve kaynakla uyumlu veri ürünlerinin etkinleştirilmesi için temel bir yetenek

Monolitik BT mimarisini reddeder

Merkezi olmayan mimari
  • Merkezi olmayan veriler, hizmetler ve bulutlar için oluşturulmuş bir mimari
Olay odaklı veri defterleri
  • Tüm olay türlerini, formatlarını ve karmaşıklığını idare edecek şekilde tasarlanmıştır
Akış merkezli veri ardışık düzenleri
  • Varsayılan olarak akış işleme, istisna olarak toplu işleme
Self servis, yönetilen platform
  • Geliştiricileri güçlendirmek ve veri tüketicilerini veri üreticilerine doğrudan bağlamak için tasarlandı
  • Yerleşik güvenlik, doğrulama, provenans ve şeffaflık

Veri ağını destekleyen Oracle olanakları

Teoriden pratiğe geçildiğinde, görev açısından kritik veriler için kurumsal sınıf çözümlerin kullanılması gerekir; işte bu noktada Oracle, kurumsal veri ağını güçlendirmek için bir dizi güvenilir çözüm sağlayabilir.

Veri ürünleri oluşturun ve paylaşın

  • Oracle birleşik veritabanlı çok modelli veri koleksiyonları, veri tüketicilerinin ihtiyaç duyduğu formatlarda "şekil değiştiren" veri ürünlerine olanak sağlar
  • Tüm verilere kolay erişim ve paylaşım için Oracle APEX Application Development ve Oracle REST Data Services'i kullanarak uygulama veya API olarak self servis veri ürünleri
  • Oracle Cloud SQL ve Big Data SQL ile SQL sorguları veya veri sanallaştırma için tek erişim noktası
  • Oracle'ın veri bilimi platformu, Oracle Cloud Infrastructure (OCI) Data Catalog ve Oracle'ın veri göllerine yönelik bulut veri platformu ile makine öğrenimi için veri ürünleri
  • Oracle Stream Analytics ile gerçek zamanlı etkinlikler, veri uyarıları ve ham veri olayı servisleri olarak kaynak uyumlu veri ürünleri
  • Oracle Analytics Cloud çözümünde tüketici uyumlu, self servis veri ürünleri

Merkeziyetsiz veri mimarisi kullanma

  • Kubernetes, Docker veya Autonomous Database ile bulut yerel Oracle eklenebilen veritabanlarını kullanan veri kapsayıcıları için çevik, 'servis ağı' tarzı CI/CD
  • Güvenli bir etkin-etkin işlem - için Oracle GoldenGate mikro hizmetleri ve Veridata ile bölgeler arası, çok bulutlu ve hibrit bulutlu veri senkronizasyonu
  • Oracle Integration Cloud ve Oracle Internet of Things Cloud ile çoğu uygulama, iş süreci ve Internet of Things (IoT) veri etkinliğinden yararlanma
  • Mikro hizmetler olay kaynağı veya Kafka ve veri göllerine gerçek zamanlı alım için Oracle GoldenGate veya Oracle Transaction Manager for Microservices olay kuyruklarını kullanın
  • Oracle Verrazzano, Helidon ve Graal VM ile hizmet ağınıza merkezi olmayan alan odaklı tasarım modellerini getirin

 

Veri 3 temel özelliği

Veri ağı, yeni bir teknoloji teriminden daha fazlasıdır. Verileri daha erişilebilir ve keşfedilebilir hale getiren yeni ortaya çıkan bir dizi ilke, uygulama ve teknoloji yeteneğidir. Veri ağı kavramı, geçmişin devasa, monolitik kurumsal veri mimarilerinden geleceğin modern, dağıtık, merkezi olmayan veri odaklı mimarisine doğru bir geçişi teşvik ederek kendisini önceki nesil veri entegrasyon yaklaşımlarından ve mimarilerinden ayırır. Veri örgü kavramının temeli aşağıdaki temel özellikleri içerir:

1.Veri ürünü düşüncesi

Zihniyet değişimi, veri ağına doğru atılacak en önemli ilk adımdır. İnovasyonun öğrenilmiş uygulamalarını benimseme isteği, veri mimarisinin başarılı bir şekilde modernleştirilmesine yönelik sıçrama tahtasıdır.

Bu öğrenilen uygulama alanları şunları içerir:

  • Tasarım odaklı düşünme, mükemmel veri ürünleri oluşturmak için kurumsal veri alanlarına uygulanan "kötü problemleri" çözmeye yönelik kanıtlanmış bir metodolojidir
  • Yapılacak işler teorisi, kurumsal veri ürünlerinin gerçek iş sorunlarını çözmesini sağlamak için müşteri odaklı bir inovasyon ve sonuç odaklı bir inovasyon süreci uygulamaktır
fpo-01

Tasarım odaklı düşünme metodolojileri, işlevler arası inovasyonu sıklıkla engelleyen kurumsal siloları yıkmaya yardımcı olan kanıtlanmış teknikler sunar. Yapılacak işler teorisi, belirli nihai tüketici hedeflerini (veya yapılacak işleri) yerine getiren veri ürünleri tasarlamak için kritik bir temeldir ve ürünün amacını tanımlar.

Veri ürünü yaklaşımı başlangıçta veri bilimi topluluğundan ortaya çıkmış olsa da, artık veri yönetiminin tüm yönlerine uygulanmaktadır. Veri ağı, monolitik teknoloji mimarileri oluşturmak yerine veri tüketicilerine ve iş sonuçlarına odaklanır.

Veri ürünü düşüncesi diğer veri mimarilerine uygulanabilse de, veri ağının önemli bir parçasıdır. Veri ürünü düşüncesinin nasıl uygulanacağına dair pragmatik örnekler için Intuit ekibi deneyimlerinin ayrıntılı bir analizini yazdı.

Veri ürünleri

Ham ürünlerden yerel mağazanızdaki ürünlere kadar her türlü ürün, tüketilmesi amaçlanan değerli varlıklar olarak üretilir ve yapılması gereken belirli bir işi vardır. Veri ürünleri, iş alanına veya çözülmesi gereken soruna bağlı olarak çeşitli şekillerde olabilir ve şunları içerebilir:

  • Analitik: geçmiş/gerçek zamanlı raporlar ve konsollar
  • Veri kümeleri: farklı şekillerde/formatlarda veri koleksiyonları
  • Modeller: etki alanı nesneleri, veri modelleri, makine öğrenimi (ML) özellikleri
  • Algoritmalar: ML modelleri, puanlama, iş kuralları
  • Veri hizmetleri ve API'ler-belgeler, yükler, konular, REST API'ler ve daha fazlası

Bir veri ürünü tüketim için oluşturulur, genellikle BT dışında sahiplenilir ve aşağıdaki gibi ek özelliklerin izlenmesini gerektirir:

  • Paydaş haritası-Bu ürünü kimler yaratıyor ve tüketiyor?
  • Paketleme ve belgelendirme-Nasıl tüketiliyor? Nasıl etiketleniyor?
  • Amaç ve değer-Ürünün örtülü/açık değeri nedir? Zaman içinde amortisman var mı?
  • Kalite ve tutarlılık-Kullanım KPI'ları ve SLA'ları nelerdir? Doğrulanabilir mi?
  • Kanıtlanabilirlik, yaşam döngüsü ve yönetişim-Veriler güvenilir ve açıklanabilir mi?

2.  Merkeziyetsiz veri mimarisi

Merkeziyetsiz Veri Mimarisi

Merkeziyetsiz BT sistemleri modern bir gerçekliktir ve SaaS uygulamalarının ve genel bulut altyapısının (IaaS) yükselişiyle birlikte, uygulamaların ve verilerin merkezi olmaması kalıcı hale gelmiştir. Uygulama yazılımı mimarileri geçmişin merkezi monolitlerinden uzaklaşarak dağıtık mikro hizmetlere (bir hizmet ağı) dönüşüyor. Veri mimarisi de merkezsizleşme yönünde aynı eğilimi izleyecek ve veriler daha geniş bir yelpazedeki fiziksel alanlara ve birçok ağa daha fazla dağıtılacaktır. Buna veri ağı diyoruz.

Ağ nedir?

Ağ, hiyerarşik olmayan büyük bir düğüm grubunun birlikte çalışmasını sağlayan bir ağ topolojisidir.

Bazı yaygın teknoloji örnekleri şunlardır:

  • WiFiMesh—daha iyi kapsama için birlikte çalışan birçok düğüm
  • ZWave/Zigbee—düşük enerji̇li̇ akilli ev ci̇hazı ağları
  • 5G ağ—daha güvenilir ve esnek hücre bağlantıları
  • Starlink—küresel ölçekte uydu genişbant ağı
  • Hizmet ağı—merkeziyetsiz mikro hizmetler (uygulama yazılımı) üzerinde birleşik kontroller sağlamanın bir yolu

Veri ağı, bu ağ kavramlarıyla uyumludur ve verilerin sanal/fiziksel ağlara ve geniş mesafelere dağıtılması için merkezi olmayan bir yol sağlar. ETL ve veri federasyon araçları gibi eski veri entegrasyonu monolitik mimarileri ve hatta son zamanlarda AWS Glue gibi genel bulut hizmetleri oldukça merkezi bir altyapı gerektirmektedir.

Eksiksiz bir veri ağı çözümü, potansiyel olarak şirket içi sistemlerden birden fazla genel buluta ve hatta uç ağlara kadar uzanan çoklu bulut çerçevesinde çalışabilmelidir.

Dağıtılmış güvenlik

Verilerin son derece dağıtık ve merkezsiz olduğu bir dünyada, bilgi güvenliğinin rolü son derece önemlidir. Yüksek düzeyde merkezi monolitlerin aksine, dağıtık sistemler çeşitli kullanıcıların kimliklerini doğrulamak ve farklı erişim seviyelerine yetkilendirmek için gerekli faaliyetleri devretmelidir. Ağlar arasında güvenli bir şekilde güven dağıtımı yapmak zordur.

Bazı hususlar şunlardır:

  • Bekleme durumunda şifreleme: Depolamaya yazılan veri/etkinlikler olarak
  • MTLS, sertifikalar, SSO, gizli depolar ve veri kasaları gibi hizmetler ve veri için dağıtılmış kimlik doğrulama
  • Hareket halinde şifreleme: Bellek içinde akan veri/etkinlikler olarak
  • Kimlik yönetimi: LDAP/IAM tipi hizmetler, çapraz platform
  • Verileri yeniden düzenlemek için hizmet uç noktaları için dağıtılmış yetkilendirmeler
    Örneğin: Mikro hizmet uç noktasının işlendiği konteyner/K8S kümesine ilke karar noktası (PDP) yerleştirmek için Open Policy Agent (OPA) sidecar. LDAP/IAM, JWT özelliğine sahip tüm hizmetler olabilir.
  • Deterministik maskeleme: Kişiyle ilişkilendirilebilir verileri güvenilir ve tutarlı bir şekilde gizlemek için

Herhangi bir BT sisteminde güvenlik zor olabilir ve dağıtık sistemlerde yüksek güvenlik sağlamak daha da zordur. Ancak bunlar çözülebilir sorunlardır.

Merkeziyetsiz veri alanları

Veri ağının temel ilkelerinden biri, sahiplik ve sorumluluğun dağıtılması kavramıdır. En iyi uygulama, veri ürünlerinin ve veri alanlarının sahipliğini bir kuruluşta verilere en yakın olan kişilerle birleştirmektir. Uygulamada bu, kaynak verilere (örneğin, operasyonel kayıt sistemleri / uygulamalar gibi ham veri kaynakları) veya analitik verilere (örneğin, veri tüketicileri tarafından kolay tüketim için biçimlendirilmiş tipik bileşik veya toplu veriler) hizalanabilir. Her iki durumda da, verilerin üreticileri ve tüketicileri genellikle BT organizasyonlarından ziyade iş birimleriyle uyumludur.

Veri alanlarını organize etmenin eski yolları genellikle ETL araçları, veri ambarları, veri gölleri veya bir şirketin yapısal organizasyonu (insan kaynakları, pazarlama ve diğer iş kolları) gibi teknoloji çözümleriyle uyum sağlama tuzağına düşer. Bununla birlikte, belirli bir iş problemi için veri alanları genellikle çözülmekte olan problemin kapsamına, belirli bir iş sürecinin bağlamına veya belirli bir problem alanındaki uygulamalar ailesine en iyi şekilde uyarlanır. Büyük kurumlarda bu veri alanları genellikle kurum içi organizasyonları ve teknoloji ayak izlerini keser.

Veri alanlarının işlevsel olarak ayrıştırılması, veri ağında yüksek, birinci sınıf bir önceliğe sahiptir. Etki alanı modellemesi için çeşitli veri ayrıştırma metodolojileri, klasik veri ambarı modellemesi (Kimball ve Inmon gibi) veya veri kasası modellemesi dahil olmak üzere veri ağı mimarisine uyarlanabilir, ancak şu anda veri ağı mimarisinde denenen en yaygın metodoloji etki alanı odaklı tasarımdır (DDD). DDD yaklaşımı, mikro hizmetlerin işlevsel ayrıştırılmasından ortaya çıkmıştır ve şimdi bir veri ağı bağlamında uygulanmaktadır.

3.  Hareket halindeki dinamik veriler

Oracle'ın veri ağı tartışmasına eklediği önemli bir alan, modern bir veri ağının temel bileşeni olarak hareket halindeki verilerin önemini artırmaktır. Hareket halindeki veri, veri ağını monolitik, merkezi, toplu işlemenin eski dünyasından çıkarmak için temel bir gerekliliktir. Hareket halindeki verilerin yetenekleri, aşağıdaki gibi çeşitli temel veri ağı sorularına yanıt verir:

  • Kaynakla uyumlu veri ürünlerine gerçek zamanlı olarak nasıl erişebiliriz?
  • Güvenilir veri işlemlerini fiziksel olarak merkeziyetsiz bir veri ağı üzerinden dağıtmak için hangi araçlar sağlayabilir?
  • Veri olaylarını, veri ürünü API'leri haline getirmek için ne kullanabilirim?
  • Sürekli güncel olması gereken analitik veri ürünleri için veri alanlarına nasıl uyum sağlarım ve güven ve geçerliliği nasıl sağlarım?

Bu sorular sadece bir "uygulama detayı" meselesi değildir, veri mimarisinin kendisi için merkezi bir öneme sahiptir. Statik veriler için alan odaklı bir tasarım, aynı tasarımın dinamik, hareket halindeki veri sürecinden farklı teknikler ve araçlar kullanır. Örneğin, dinamik veri mimarilerinde veri defteri, veri olayları için merkezi doğruluk kaynağıdır.

Olay odaklı veri defterleri

Olay Odaklı Veri Defterleri

Defterler, dağıtık bir veri mimarisinin işlemesini sağlayan temel bir bileşendir. Tıpkı bir muhasebe defterinde olduğu gibi, bir veri defteri de işlemleri gerçekleştikleri anda kaydeder.

Defteri dağıttığımızda, veri olayları herhangi bir yerde "yeniden oynatılabilir" hale gelir. Bazı defterler, yüksek kullanılabilirlik ve felaket kurtarma için kullanılan bir uçak uçuş kayıt cihazına benzer.

Merkezi ve monolitik veri depolarının aksine, dağıtık defterler diğer (harici) sistemlerde gerçekleşen atomik olayları ve/veya işlemleri takip etmek için özel olarak üretilmiştir.

Bir veri ağı sadece tek bir defter türü değildir. Kullanım durumlarına ve gereksinimlere bağlı olarak, bir veri ağı aşağıdakiler de dahil olmak üzere farklı olay odaklı veri defteri türlerinden yararlanabilir:

  • Kafka veya Pulsar gibi — genel amaçlı olay defteri
  • Veri olayı defteri — dağıtılmış CDC/çoğaltma araçları
  • Mesajlaşma ara yazılımı—ESB, MQ, JMS ve AQ dahil
  • Blok zinciri defteri—güvenli, değişmez, çok taraflı işlemler için

Bu defterler birlikte, tüm işletme için bir tür dayanıklı olay günlüğü görevi görebilir ve kayıt sistemleri ile analiz sistemlerinde meydana gelen veri olaylarının çalışan bir listesini sağlayabilir.

Çok dilli veri akışları

Çok Dilli Veri Akışları

Çok dilli veri akışları her zamankinden daha yaygındır. Bunlar olay türlerine, yüklere ve farklı işlem semantiklerine göre değişir. Bir veri ağı, çeşitli kurumsal veri iş yükleri için gerekli akış türlerini desteklemelidir.

Basit olaylar:
Base64 / JSON—ham, şemasız olaylar
Ham telemetri-seyrek olaylar

Temel uygulama günlüğü / Nesnelerin İnterneti (IoT) olayları:
JSON/Protobuf— şeması olabilir
MQTT—IoT'ye özel protokoller

Uygulama iş süreci olayları:
SOAP/REST events—XML/XSD, JSON
B2B—değişim protokolleri ve standartları

Veri olayları/işlemleri:
Mantıksal değişiklik kayıtları—LCR, SCN, URID
Tutarlı sınırlar-işlemlere karşı taahhütler

Akış verisi işleme

Akış işleme, verilerin bir olay akışı içinde nasıl manipüle edildiğidir. "Lambda fonksiyonlarının" aksine, akış işlemcisi belirli bir zaman penceresi içindeki veri akışlarının durumsallığını korur ve veriler üzerinde çok daha gelişmiş analitik sorgular uygulayabilir.

    Temel veri filtreleme:

    • Eşikler, uyarılar ve telemetri izleme

    Basit ETL:

    • RegEx fonksiyonları, matematik/mantık ve birleştirme
    • Kayıttan kayda, yer değiştirmeler ve maskeleme

CEP ve karmaşık ETL:

  • Karmaşık olay işleme (CEP)
  • DML (ACID) işleme ve ikili gruplar
  • Toplamalar, aramalar, karmaşık birleştirmeler

Akış analitiği:

  • Zaman serisi analizi ve özel zaman pencereleri
  • Jeo-uzamsal, makine öğrenimi ve gömülü yapay zeka

Diğer önemli nitelikler ve ilkeler

Elbette, bir veri ağının üç özelliğinden daha fazlası vardır. Oracle'ın gelişmekte olan modern veri ağı yaklaşımının yeni ve benzersiz yönlerinden bazıları olduğuna inandığı özelliklere dikkat çekmenin bir yolu olarak yukarıdaki üçüne odaklandık.

Diğer önemli veri ağı özellikleri şunlardır:

  • Self servis araçlar: Veri ağı, self-servise yönelik genel veri yönetimi eğilimini benimsediğinden, Citizen geliştiricilerin giderek daha fazla veri sahiplerinin saflarından çıkması gerekecektir
  • Veri yönetişimi— Veri ağı aynı zamanda baş veri sorumluları, veri sorumluları ve veri kataloğu satıcıları tarafından uzun yıllardır savunulan daha resmi bir federasyon yönetişim modeline yönelik uzun süredir devam eden eğilimi de benimsemiştir.
  • Veri kullanılabilirliği Veri ağının ilkelerini inceler. Veri ürünlerinin yüksek düzeyde kullanılabilir olmasını sağlamak için oldukça fazla temel çalışma vardır. Veri ürünlerine yönelik ilkeler, değerli, kullanılabilir ve paylaşılması mümkün olan verilerle ilgili olacaktır.

 

7 veri ağı kullanım örneği

Başarılı bir veri ağı, analitik veri alanlarının yanı sıra operasyonel kullanım durumlarını da yerine getirir. Aşağıdaki yedi kullanım örneği, bir veri ağının kurumsal verilere getirdiği yeteneklerin genişliğini göstermektedir.

Şirketler gerçek zamanlı operasyonel veri ve analitiği entegre ederek daha iyi operasyonel ve stratejik kararlar alabilirler.

MIT Sloan İşletme Fakültesi

1. Uygulama modernizasyonu

Monolitik veri mimarilerinin buluta 'kaldır ve kaydır' geçişlerinin ötesine bakan birçok kuruluş, geçmişteki merkezi uygulamalarını emekliye ayırmayı ve daha modern bir mikro hizmet uygulama mimarisine geçmeyi de amaçlamaktadır.

Monolit geçişler için veri ağı temeli
Monolit geçişler için veri ağı temeli
Monolit ayrıştırma ve aşamalı geçişler için Strangler incir deseni
Monolit ayrıştırma ve aşamalı geçişler için Strangler incir deseni

Ancak eski uygulama monolitleri tipik olarak büyük veritabanlarına bağlıdır ve bu da kesinti, risk ve maliyetleri azaltmak için geçiş planının nasıl aşamalandırılacağı sorusunu gündeme getirir. Bir veri ağı, monolitlerden ağ mimarisine aşamalı geçişler yapan müşteriler için önemli bir operasyonel BT yeteneği sağlayabilir. Örneğin:

  • Verilerin 'sınırlı bağlama' göre filtrelenmesi gibi veritabanı işlemlerinin alt alan boşaltımı
  • Aşamalı geçişler için çift yönlü işlem replikasyonu
  • Ana bilgisayardan DBaaS'a gibi platformlar arası senkronizasyon

Mikro hizmet mimarlarının dilinde bu yaklaşım, çift yönlü bir işlem çıkış kutusu kullanarak incir ağacı geçiş düzenini etkinleştirmek için her seferinde bir sınırlı bağlamdan yararlanır.

2. Veri erişilebilirliği ve devamlılığı

Coğrafi olarak dağıtılmış veri olayları için veri ağı
Coğrafi olarak dağıtılmış veri olayları için veri ağı

İş açısından kritik uygulamalar, esneklik ve süreklilik konusunda çok yüksek KPI'lar ve SLA'lar gerektirir. Bu uygulamaların monolitik, mikro hizmet veya ikisinin arasında bir şey olup olmadığına bakılmaksızın, yıkılamazlar!

Görev açısından kritik sistemler için, dağıtılmış bir nihai tutarlılık veri modeli genellikle kabul edilemez. Ancak bu uygulamaların birçok veri merkezinde çalışması gerekir. Bu da iş sürekliliği açısından şu soruyu akla getiriyor: "Uygulamalarımı birden fazla veri merkezinde çalıştırırken doğru ve tutarlı verileri nasıl garanti edebilirim?"

Monolitik mimarilerin 'parçalanmış veri kümeleri' kullanıp kullanmadığına veya mikro hizmetlerin siteler arası yüksek kullanılabilirlik için kurulup kurulmadığına bakılmaksızın, veri ağı herhangi bir mesafede doğru, yüksek hızlı veriler sunar.

Veri ağı, siteler arasında merkezi olmayan ancak %100 doğru veriler için temel sağlayabilir. Örneğin:

  • Çok düşük gecikmeli mantıksal işlemler (platformlar arası)
  • Doğru veri için ACID özellikli garantiler
  • Çok aktif, çift yönlü ve çatışma çözümü

3. Olay kaynağı ve işlem giden kutusu

Çeşitli Uygulamalar, Mikroservisler ve DB'ler arasında olay tabanlı etkileşim
Çeşitli uygulamalar, mikro hizmetler ve veritabanları arasında olay tabanlı etkileşim
İşlem Giden Kutusu için genel model
İşlem giden kutusu için genel kalıp (not: bu kalıp için veri ağı varyasyonları/optimizasyonları vardır).

Modern, hizmet ağı tarzı bir platform, veri alışverişi için olayları kullanır. Veri katmanındaki toplu işlemeye bağlı olmak yerine, veri yükleri uygulamada veya veri deposunda olaylar gerçekleştiğinde sürekli olarak akar.

Bazı mimariler için mikro hizmetlerin birbirleriyle veri yükü alışverişi yapması gerekir. Diğer modeller monolitik uygulamalar veya veri depoları arasında değişim gerektirir. Bu da şu soruyu akla getiriyor: "Uygulamalarım ve veri depolarım arasında mikro hizmet veri yüklerini nasıl güvenilir bir şekilde taşıyabilirim?"

Bir veri ağı, mikro hizmet merkezli veri alışverişi için temel teknolojiyi sağlayabilir. Örneğin:

  • Bağlam içinde mikro hizmetten mikro hizmete
  • Bağlamlar arasında mikro hizmetten mikro hizmete
  • Monolitten mikro hizmete/ mikro hizmetten monolite

Olay kaynağı, CQRS ve transaction outbox gibi mikro hizmet modelleri yaygın olarak anlaşılan çözümlerdir. Veri ağı, bu modelleri ölçekte tekrarlanabilir ve güvenilir hale getirmek için araçlar ve çerçeveler sağlar.

4. Olay odaklı entegrasyon

Mikro hizmet tasarım modellerinin ötesinde, kurumsal entegrasyon ihtiyacı veritabanları, iş süreçleri, uygulamalar ve her türden fiziksel cihaz gibi diğer BT sistemlerine kadar uzanmaktadır. Veri ağı, hareket halindeki verileri entegre etmek için temel sağlar.

Hareket halindeki veriler genellikle olay odaklıdır. Bir kullanıcı eylemi, bir cihaz olayı, bir işlem adımı veya bir veri deposu işleminin tümü veri yükü içeren bir olayı başlatabilir. Bu veri yükleri Nesnelerin İnterneti (IoT) sistemlerinin, iş süreçlerinin ve veritabanlarının, veri ambarlarının ve veri göllerinin entegrasyonu için çok önemlidir.

Olay Odaklı Entegrasyon

Bir veri ağı, kurum genelinde gerçek zamanlı entegrasyon için temel teknolojiyi sağlar. Örneğin:

  • Gerçek dünyadaki cihaz olaylarını BT sistemlerine bağlama
  • ERP sistemleri genelinde iş süreçlerinin entegrasyonu
  • Operasyonel veritabanlarını analitik veri depolarıyla uyumlu hale getirme

Büyük kuruluşlar doğal olarak eski ve yeni sistemlerin, monolit ve mikro hizmetlerin, operasyonel ve analitik veri depolarının bir karışımına sahip olacaktır; bir veri ağı, bu kaynakları farklı iş ve veri alanları arasında birleştirmeye yardımcı olabilir.

5. Akış alımı (analitik için)

Veri gölleri, veri ambarları ve veri haritaları arasında ortak veri alımı için bir veri ağından yararlanma
Veri gölleri, veri ambarları ve veri haritaları arasında ortak veri alımı için bir veri ağından yararlanma

Analitik veri depoları arasında veri haritaları, veri ambarları, OLAP küpleri, veri gölleri ve veri göl evi teknolojileri yer alabilir.

Genel olarak konuşmak gerekirse, verileri bu analitik veri depolarına getirmenin yalnızca iki yolu vardır:

  • Bir zaman çizelgesinde toplu/mikro toplu yükleme
  • Veri alma akışı - veri olaylarını sürekli yükleme

Bir veri ağı, akışlı veri alma özelliği için temel sağlar. Örneğin:

  • Veritabanlarından veya veri depolarından gelen veri olayları
  • Fiziksel cihaz telemetrisinden cihaz olayları
  • Uygulama olay günlüğü veya ticari işlemler

Olayları akışa göre almak kaynak sistemler üzerindeki etkiyi azaltabilir, verilerin doğruluğunu artırabilir (veri bilimi için önemlidir) ve gerçek zamanlı analitiği mümkün kılabilir.

6. Veri akış hatları

Bir veri ağı, bir Veri Gölü içinde akış boru hatları oluşturabilir, yürütebilir ve yönetebilir
Bir veri ağı, bir Veri Gölü içinde akış boru hatları oluşturabilir, yürütebilir ve yönetebilir

Analitik veri depolarına alındıktan sonra, verileri farklı veri aşamalarında veya veri bölgelerinde hazırlamak ve dönüştürmek için genellikle veri işlem hatlarına ihtiyaç duyulur. Bu veri iyileştirme süreci genellikle aşağı akış analitik veri ürünleri için gereklidir.

The data network can provide an independently managed data pipeline layer that works with analytical data stores and provides the following core services:

  • Self servis veri keşfi ve veri hazırlama
  • Alanlar arasında veri kaynaklarının yönetişimi
  • Veri hazırlama ve gerekli veri ürünü formatlarına dönüştürme
  • Tutarlılığı sağlayan politika ile veri doğrulama

Bu veri işlem hatları, farklı fiziksel veri depoları (haritalar, depolar veya göller gibi) arasında veya Apache Spark ve diğer veri gölü teknolojileri gibi veri akışını destekleyen analitik veri platformları içinde bir "itme veri akışı" olarak çalışabilmelidir.

7. Akış analizleri

Her türden olay (IoT, DB, vb.) gerçek zamanlı akışlarda analiz edilebilir
Her türden olay gerçek zamanlı akışlarda analiz edilebilir

Olaylar sürekli olarak gerçekleşmektedir. Bir akıştaki olayların analizi, an be an neler olup bittiğini anlamak için çok önemli olabilir.

Gerçek zamanlı olay akışlarının bu tür zaman serisi tabanlı analizi, gerçek dünyadaki IoT cihaz verileri için ve BT veri merkezlerinizde veya dolandırıcılık izleme gibi finansal işlemlerde neler olup bittiğini anlamak için önemli olabilir.

Tam özellikli bir veri ağı, birçok farklı türde olay zaman penceresi boyunca her türden olayı analiz etmek için temel yetenekleri içerecektir. Örneğin:

  • Basit olay akışı analizi (web olayları)
  • İş etkinliği izleme (SOAP/REST olayları)
  • Karmaşık olay işleme (çoklu akış korelasyonu)
  • Veri olay analizi (DB/ACID işlemleri üzerinde)

Veri ardışık düzenleri gibi, akış analitiği de yerleşik veri gölü altyapısı içinde veya ayrı olarak bulut yerel hizmetleri olarak çalışabilir.

Tüm veri mülkünde ortak bir ağ işleterek maksimum değer elde edin

Veri entegrasyonunda öncü konumda olanlar, çeşitli esnek veri depolarından gerçek zamanlı operasyonel ve analitik veri entegrasyonu arayışındadır. Veri mimarisi akış analitiğine doğru evrildikçe yenilikler de durmaksızın ve hızla devam ediyor. Operasyonel yüksek kullanılabilirlik gerçek zamanlı analitiğe yol açmıştır ve veri mühendisliği otomasyonu veri hazırlamayı basitleştirerek veri bilimcileri ve analistleri self servis araçlarla etkinleştirmektedir.

Veri ağı kullanım durumları özeti

Data Mesh Kullanım Örnekleri Özeti

Tüm veri mülkünde operasyonel ve analitik bir ağ oluşturun
Tüm bu veri yönetimi yeteneklerini birleşik bir mimaride çalıştırmak her veri tüketicisini etkileyecektir. Bir veri ağı, küresel kayıt sistemlerinizi ve etkileşim sistemlerinizi gerçek zamanlı olarak güvenilir bir şekilde çalışacak şekilde geliştirmenize yardımcı olacak ve bu gerçek zamanlı verileri iş kolu yöneticileri, veri bilimcileri ve müşterilerinizle uyumlu hale getirecektir. Ayrıca yeni nesil mikro hizmet uygulamalarınız için veri yönetimini basitleştirir. Modern analitik yöntemleri ve araçları kullanarak son kullanıcılarınız, analistleriniz ve veri bilimcileriniz müşteri taleplerine ve rekabet tehditlerine karşı daha da duyarlı olacaktır. İyi belgelenmiş bir örneği okumak için Intuit'in hedefler ve sonuçlar bölümlerine bakın.

Nokta projelerde bir veri ağından yararlanın
Yeni veri ürünü zihniyetinizi ve operasyon modelinizi benimsediğinizde, bu etkin teknolojilerin her birinde deneyim geliştirmek önemlidir. Veri ağı yolculuğunuzda, hızlı veri mimarinizi akış analitiğine dönüştürerek, operasyonel yüksek kullanılabilirlik yatırımlarınızı gerçek zamanlı analitiğe dönüştürerek ve veri bilimcileriniz ve analistleriniz için gerçek zamanlı, self-servis analitik sağlayarak artan faydalar elde edebilirsiniz.

Karşılaştırın ve kıyaslayın

  Veri dokusu Uygulama-Geliştirme entegrasyonu Analitik veri deposu
  Veri ağı Veri entegrasyonu Metakatalog Mikro Hizmetler Mesajlaşma Veri gölü evi Dağıtılmış DW
İnsanlar, süreçler ve yöntemler:
Veri ürünü odağı
mevcut
mevcut
mevcut
1/4 teklif
1/4 teklif
3/4 teklif
3/4 teklif
Teknik mimari özellikler:
Dağıtılmış Mimari
mevcut
1/4 teklif
3/4 teklif
mevcut
mevcut
1/4 teklif
3/4 teklif
Olay Odaklı Defterler
mevcut
mevcut değil
1/4 teklif
mevcut
mevcut
1/4 teklif
1/4 teklif
ACID Desteği
mevcut
mevcut
mevcut değil
mevcut değil
3/4 teklif
3/4 teklif
mevcut
Akış Odaklı
mevcut
1/4 teklif
mevcut değil
mevcut değil
1/4 teklif
3/4 teklif
1/4 teklif
Analitik Veri Odaklı
mevcut
mevcut
mevcut
mevcut değil
mevcut değil
mevcut
mevcut
İşlem Verileri -
mevcut
1/4 teklif
mevcut
mevcut
mevcut
mevcut değil
mevcut değil
Fiziksel ve Mantıksal Ağ
mevcut
mevcut
mevcut değil
1/4 teklif
3/4 teklif
3/4 teklif
1/4 teklif

İş sonuçları


Genel avantajlar

Daha hızlı, veri odaklı inovasyon döngüleri

Yaşamsal veri işlemleri için daha düşük maliyetler

Operasyonel sonuçlar

Çoklu bulut veri likiditesi
-  Serbestçe akması için veri sermayesinin kilidini açın

Gerçek zamanlı veri paylaşımı
-  Ops-to-Ops ve Ops-to-analitik

Uç, konum tabanlı veri hizmetleri
-  IRL cihaz/veri olaylarını ilişkilendirin

Güvenilir mikro hizmet veri alışverişi
-  Doğru verilerle olay kaynağı bulma
-  Veriler için DataOps ve CI/CD

Kesintisiz devamlılık
-  >%99,999'dan fazla çalışma süresi SLA'ları
-  Bulut taşıma işlemleri

Analitik sonuçlar

Veri ürünlerini otomatikleştirin ve basitleştirin
-  Çoklu model veri setleri

Zaman serisi veri analizi
-  Deltalar/değişen kayıtlar
-  Olay bazında aslına uygunluk

Operasyonel veri depolama için tam veri kopyalarını ortadan kaldırın
-  Günlük tabanlı defterler ve ardışık düzenleri

Dağıtılmış veri gölleri ve ambarları
-  Hibrit/çoklu bulut/küresel
-  Akış entegrasyonu / ETL

Kestirimci analitik
-  Veriden para kazanma, satılık yeni veri hizmetleri

Her şeyi bir araya getirmek

Dijital dönüşüm çok ama çok zordur ve ne yazık ki çoğu şirket bu konuda başarısız olacaktır. Yıllar geçtikçe teknoloji, yazılım tasarımı ve veri mimarisi, modern teknikler son derece merkezi ve monolitik tarzlardan uzaklaştıkça giderek daha dağıtık hale gelmektedir.

Veri ağı, veri için yeni bir kavramdır. Monolitik, merkezi ve toplu iş tarzı veri işlemenin aksine, yüksek oranda dağıtılmış ve gerçek zamanlı veri olaylarına doğru kasıtlı bir geçiştir. Özünde veri ağı, veri tüketicilerinin ihtiyaçlarına öncelik veren kültürel bir zihniyet değişimidir. Aynı zamanda, merkezi olmayan bir veri mimarisini güçlendiren platformları ve hizmetleri yükselten gerçek bir teknoloji değişimidir.

Veri ağının kullanım alanları hem operasyonel verileri hem de analitik verileri kapsar. Bu, geleneksel veri gölleri/göl ambarları ve veri ambarlarından önemli bir farktır. Operasyonel ve analitik veri alanlarının bu şekilde hizalanması, veri tüketicisi için daha fazla self-servis sağlama ihtiyacı için kritik bir kolaylaştırıcıdır. Modern veri platformu teknolojisi, veri üreticilerini doğrudan veri tüketicilerine bağlarken aracıları ortadan kaldırmaya yardımcı olabilir.

Oracle, kritik veri çözümlerinde uzun süredir sektör lideri konumunda ve güvenilir bir veri ağını güçlendirmek için en modern yeteneklerden bazılarını sahaya sürdü:

  • Oracle'ın 33'ten fazla aktif bölgeye sahip 2. Nesil Bulut altyapısı
  • "Şekil değiştiren" veri ürünleri için çok modelli veritabanı
  • Tüm veri depoları için mikro hizmet tabanlı veri olay defteri
  • Gerçek zamanlı güvenilir veriler için çoklu bulut akış işleme
  • API platformu, modern AppDev ve self-servis araçları
  • Analitik, veri görselleştirme ve bulut tabanlı veri bilimi