Üzgünüz, aramanız için eşleşme bulamadık.

Aradığınızı bulmanıza yardımcı olmak üzere aşağıdakileri denemenizi öneririz:

  • Anahtar kelime aramanızın yazımını kontrol edin.
  • Yazdığınız anahtar kelimenin eş anlamlılarını kullanın. Örneğin, “yazılım” yerine “uygulama yazılımı” yazın.
  • Yeni bir arama başlatın.
Bize Ulaşın Oracle Cloud'da Oturum Aç

Enterprise Data Mesh

Solutions, use cases, and case studies


Forrester Wave: Kurumsal Veri Yapısı, 2020 2. Çeyrek

Oracle'ın neden Lider ilan edildiğini ve Strateji kategorisinde en yüksek puanı aldığını öğrenin.

Veri ağı nedir?

Kurumsal yazılımlarda popüler bir konu haline gelen veri ağı, veri yönetimi için dağıtılmış bir mimariye dayalı olarak veri hakkında düşünmenin yeni bir yaklaşımıdır. Buradaki ana fikir; veri sahiplerini, veri üreticilerini ve veri tüketicilerini doğrudan birbirine bağlayarak verileri daha erişilebilir hale getirmek ve iş kullanıcılarına sunmaktır. Veri ağı, veri merkezli çözümlerin iş sonuçlarını daha iyi hale getirmenin yanı sıra modern veri mimarilerinin benimsenmesini sağlamayı hedefler.

İş açısından bakılınca, veri ağı, "veri ürünü düşüncesi" çerçevesinde yeni fikirleri gündeme getirir. Diğer bir deyişle, karar alma sürecini daha iyi hale getirmek, dolandırıcılığı tespit etmeye yardımcı olmak veya işletmeyi tedarik zinciri koşullarındaki değişikliklere karşı uyarmak gibi amaçlarla verileri "yapılacak işi" yerine getiren bir ürün olarak düşünmektir. Yüksek değerli veri ürünleri yaratmak için şirketlerin kültür ve zihniyet değişimleri gerçekleştirmeleri, iş alanı modellemesinde farklı departmanları daha iyi bir araya getiren bir yaklaşıma kendilerini adamaları gerekir.

Teknoloji açısından, Oracle'ın veri ağına bakışı, veri odaklı mimari için üç önemli yeni alana odaklanıyor:

  1. Veri koleksiyonları, veri etkinlikleri ve veri analitiği olarak veri ürünleri sunan araçlar
  2. Tek parçalı mimarilerden, çoklu bulut ve hibrit bulut bilişime geçiş yapmak isteyen ya da küresel olarak merkezi olmayan bir şekilde çalışması gereken kuruluşlara yardımcı olan dağıtılmış, merkezi olmayan veri mimarileri
  3. Yalnızca merkezi, statik, toplu işlem odaklı verilere dayalı çalışması mümkün olmayan, bunun yerine daha hızlı analitik sağlayan etkinlik tabanlı kayıt defterlerine ve akış merkezli ardışık düzenlere yönelen kuruluşlar için hareketli veri

Teknik yönü güçlü olmayan kullanıcılara yönelik self-servis araçlar ve güçlü federe veri yönetişimi modelleri, merkezi ve klasik veri yönetim metodolojileri kadar veri ağı mimarisi için de önemlidir.

Yeni bir veri konsepti

Zhamak Dehghani'nin veri ağına giriş videosunu izleyin (34:51)

Veri ağı yaklaşımı, veriyi ürün olarak düşünmeye ilişkin paradigma dönüşümüdür. Veri ağı, şirketlerin verileri işletmenin somut bir sermaye varlığı olarak yönetmesini gerektiren organizasyon ve süreç değişikliklerini gündeme getirir. Oracle'ın veri ağı mimarisine yönelik bakış açısı, organizasyon ve analitik veri etki alanlarında uyum sağlamayı gerektiriyor.

Veri ağı, veri üreticilerini doğrudan iş kullanıcılarına bağlamayı, BT aracılarını veri kaynaklarını alma, hazırlama ve dönüştürme proje ve süreçlerinden mümkün olduğunca çıkarmayı amaçlar.

Oracle, veri ağı alanında müşterilerimize gelişmekte olan teknoloji gereksinimlerini karşılayabilecek bir platform sağlamaya odaklanıyor. Veri ürünleri için araçlar; merkezi olmayan, etkinliğe dayalı mimariler ve hareket halindeki verilerin akış örüntüleri buna dahildir. Veri ürünü etki alanı modelleme ve diğer sosyoteknik konularda Oracle, veri ağı kanaat önderi Zhamak Dehghani'nin çalışmaları ile uyum içindedir.

Veri ağının avantajları

Veri ağına yatırım yapmak, aşağıdakiler dahil olmak üzere etkileyici avantajlar sağlayabilir:

  • Uygulamalı veri ürünü düşünme ideal uygulamaları sayesinde verilerin değerini tam bir netlikle anlama.
  • Veri konsolidasyonu ve veri geçişleri için mikro hizmet tabanlı veri ardışık düzenlerini kullanarak %99,999'un üzerinde operasyonel veri erişilebilirliği (PDF)
  • Manuel, toplu işlem odaklı ETL'den sürekli dönüşüm ve yüklemeye (CTL) geçiş yaparak 10 kat daha hızlı inovasyon döngüleri.
  • Veri mühendisliğinde %70'i aşkın azalma, CI/CD'de kazanımlar, kod yazımı gerektirmeyen ve self servis veri ardışık düzen araçları ve çevik geliştirme.

Veri ağı bir düşünce biçimi ve daha fazlasıdır

Veri ağı, pazar olgunluğunun hala erken aşamalarında. Bu nedenle, "veri ağı" olduğunu iddia eden bir çözüm hakkında çeşitli pazarlama içerikleri görebilirsiniz ama bu sözde veri ağı çözümleri, temel yaklaşıma veya ilkelere genellikle uygun değildir.

Doğru bir veri ağı, düşünce yapısıdır, organizasyon modelidir ve destekleyici araçlara sahip kurumsal bir veri mimarisi yaklaşımıdır. Veri ağı çözümünde ürün düşüncesi, merkeziyetsiz veri mimarisi, etki alanı odaklı veri sahipliği, dağıtılmış hareketli veri, self servis erişim ve güçlü veri yönetişimi bir arada bulunmalıdır.

Veri ağı aşağıdakilerden biri değildir:

  • Satıcı ürünü: Tek bir veri ağı yazılım ürünü yoktur.
  • Veri gölü veya yapılandırılmış veri gölü: Bunlar tamamlayıcı niteliktedir ve çok sayıda göl, gölet ve operasyonel kayıt sistemine yayılan daha büyük bir veri ağının parçası olabilir.
  • Veri kataloğu veya grafik: Veri ağı fiziksel bir uygulamaya ihtiyaç duyar.
  • Tek seferlik danışmanlık projesi: Veri ağı, tek bir proje değil, bir yolculuktur.
  • Self servis analitik ürünü: Klasik self servis analitik, veri hazırlama ve veri yönlendirme, veri ağının ve diğer veri mimarilerinin bir parçası olabilir.
  • Veri yapısı: Kavramsal açıdan ilişkili olsa da veri yapısı kavramı çok daha geniş bir yelpazede veri entegrasyonu ve veri yönetimi stilleri içerir. Ancak veri ağı, merkeziyetsizleştirme ve etki alanı odaklı tasarım örüntüleri ile daha ilişkilidir.

Oracle, Kurumsal Veri Yapısı hakkındaki 2020 2. Çeyrek Forrester Wave raporunda Lider ilan edildi

Neden veri ağı?

Üzücü gerçek şu ki, geçmişin tek parçalı veri mimarileri hantal, pahalı ve esneklikten uzak. Yıllar geçtikçe, uygulamalardan analitiğe kadar dijital iş platformlarına harcanan zaman ve maliyetlerinin çoğunun entegrasyon çabalarına aktarıldığı açıktır. Bu nedenle çoğu platform girişimi başarısız olur.

Veri ağı merkezi, tek parçalı veri mimarilerinin tüm sorunlarını çözecek bir joker olmasa da veri ağı ilkeleri, uygulamaları ve teknolojileri, veri odaklı iş girişimlerinin en acil ve ilgiye ihtiyaç duyan modernizasyon hedeflerinin bazılarını çözüme kavuşturmak üzere tasarlandı.

Veri ağının bir çözüm olarak ortaya çıkmasının yolunu açan teknoloji trendlerinden bazıları şunlardır:

Günümüzde veri ağının neden gerekli olduğu hakkında daha fazla bilgi edinmek için Zhamak Dehghani'nin 2019 tarihli orijinal makalesini okuyun: Tek Parçalı Veri Gölünün Ötesine, Dağıtılmış Veri Ağına Nasıl Geçiş Yapılır?

Veri ağını tanımlama

Veri ağının ardındaki merkezi olmayan strateji, iş kullanıcılarının verilere daha kolay erişilebilmesini sağlamak için self servis veri altyapısı oluşturarak verileri ürün olarak ele almayı amaçlar.

Sonuç odaklı

Veri ürünü düşüncesi
  • Veri tüketicisinin bakış açısına yönelik düşünce dönüşümü
  • Veri etki alanı sahipleri veri ürünü anahtar performans göstergelerinden/hizmet düzeyi anlaşmalarından sorumludur
Operasyon ve analitik uyumu
  • Herkes için aynı veri etki alanı ve teknoloji ağ semantiği
  • “Verinin sorumluluğu benden gitti” yaklaşımına son
Hareketli veri
  • Gerçek zamanlı veri etkinliklerini doğrudan kayıt sistemlerinden alın ve self servis ardışık düzenlerin gereken yerlere veri sunmasını sağlayın
  • Merkezi olmayan veri ve kaynakla uyumlu veri ürünlerini mümkün hale getirmek için önemli bir özellik

Tek parçalı BT mimarisini reddeder

Merkeziyetsiz mimari
  • Merkeziyetsiz veriler, hizmetler ve bulutlar için oluşturulmuş bir mimari
Etkinlik odaklı veri kayıt defterleri
  • Tüm etkinlik türlerini, biçimlerini ve karmaşıklığı ele almak için tasarlandı
Akış merkezli veri ardışık düzenleri
  • Varsayılan olarak akış işleme, istisna olarak toplu işlem
Self servis, yönetilen platform
  • Geliştiricilere güç vermek, veri tüketicilerini veri üreticilerine doğrudan bağlamak için oluşturulmuştur
  • Yerleşik güvenlik, doğrulama, güvenilirlik ve şeffaflık

Veri ağını desteklemeye yönelik Oracle olanakları

Teori uygulamaya geçtiğinde, misyon açısından kritik verilere yönelik kurumsal sınıf çözümleri dağıtmanız gerekir. Oracle kurumsal veri ağını desteklemek için bir dizi güvenilir çözüm sağlayabilir.

Veri ürünleri yaratma ve paylaşma

  • Oracle birleşik veritabanıyla çok modelli veri koleksiyonları, veri tüketicilerinin ihtiyaç duyduğu formatlarda "biçim değiştiren" veri ürünlerini destekler
  • Tüm verilere kolay erişim ve paylaşım için Oracle APEX Application Development ve Oracle REST Data Services'i kullanarak uygulama veya API olarak self servis veri ürünleri
  • Oracle Cloud SQL ve Big Data SQL ile SQL sorguları veya veri sanallaştırma için tek erişim noktası
  • Oracle'ın veri bilimi platformu, Oracle Cloud Infrastructure (OCI) Data Catalog ve Oracle'ın yapılandırılmış veri göllerine yönelik bulut veri platformu ile makine öğrenimi için veri ürünleri
  • Oracle Stream Analytics ile gerçek zamanlı etkinlikler, veri uyarıları ve ham veri etkinliği servisleri olarak kaynak uyumlu veri ürünleri
  • Kapsamlı bir Oracle Analytics Cloud çözümünde tüketici uyumlu, self servis veri ürünleri

Merkeziyetsiz veri mimarisi kullanma

  • Autonomous Database ile Kubernetes, Docker veya bulut yerel gibi Oracle'a eklenebilen veritabanlarını kullanan veri konteynerleri için çevik, 'hizmet ağı' stili CI/CD
  • Güvenilir bir etkin-etkin işlem yapısı için Oracle GoldenGate mikro hizmetleri ve Veridata ile bölgeler arası, çok bulutlu ve hibrit bulutlu veri senkronizasyonu
  • Oracle Integration Cloud ve Oracle Internet of Things Cloud ile çoğu uygulama, iş süreci ve Internet of Things (IoT) veri etkinliğinden yararlanma
  • Mikro hizmet etkinlik kaynak seçimi veya Kafka ve veri göllerine gerçek zamanlı alım için Oracle GoldenGate veya Oracle Transaction Manager for Microservices etkinlik kuyruklarını kullanma
  • Oracle Verrazzano, Helidon ve Graal VM ile merkeziyetsiz etki alanı odaklı tasarım örüntülerini servis ağınıza getirme

 

Veri ağının 3 temel özelliği

Veri ağı, yeni bir teknoloji modasından daha fazlasıdır. Verileri daha erişilebilir ve keşfedilebilir hale getiren bir dizi yeni ilke, uygulama ve teknoloji olanaklarıdır. Veri ağı konsepti, geçmişin dev, tek parçalı kurumsal veri mimarilerinden geleceğin modern, dağıtılmış, merkeziyetsiz veri odaklı mimarilerine dönüşümü teşvik ederek kendisini önceki nesillerin veri entegrasyon yaklaşımlarından ayırır. Veri ağı kavramının temeli aşağıdaki önemli özellikleri içerir:

1.  Veri ürünü düşüncesi

Veri ağının en önemli ilk adımı, düşünce dönüşümüdür. Öğrenilen inovasyon uygulamalarını benimsemeye açık olmak, veri mimarisini başarıyla modernize etmenin sıçrama tahtasıdır.

Bu öğrenilen uygulama alanları şunları içerir:

  • Tasarım düşüncesi: Harika veri ürünleri oluşturmak için kurumsal veri etki alanlarına uygulanan, "çetin sorunları" çözmekte faydasını kanıtlamış bir metodoloji
  • Yapılacak iş teorisi: Kurumsal veri ürünlerinin gerçek iş sorunlarını çözmesini sağlamak için müşteri odaklı inovasyon ve sonuç odaklı inovasyon süreci uygulama
fpo-01

Tasarım düşüncesi metodolojileri, departmanlar arası inovasyonu sıklıkla engelleyen kurumsal siloların ortadan kaldırılmasına yardımcı olan, faydasını kanıtlamış teknikler getirir. Yapılacak iş teorisi, belirli nihai tüketici hedeflerini karşılayan veri ürünleri tasarlamanın kritik temelidir. Ürünün amacını tanımlar.

Veri ürünü yaklaşımı veri bilimi topluluğunda ortaya çıkmış olsa da günümüzde veri yönetiminin tüm alanlarına uygulanıyor. Tek parçalı teknoloji mimarileri kurmak yerine veri ağı, veri tüketicilerine ve iş sonuçlarına odaklanıyor.

Veri ürünü düşüncesi diğer veri mimarilerine de uygulanabilecek olduğu halde veri ağının hayati bir parçasıdır. Veri ürünü düşüncesinin nasıl uygulanacağı konusundaki pragmatik örnekler için Intuit ekibi, deneyimlerinin ayrıntılı bir analizini yazdı.

Veri ürünleri

Ham emtialardan yerel mağazanızdaki ürünlere kadar her tür ürün, değerli varlıklar olarak üretilir, tüketilmesi amaçlanır ve bunun için belirli bir işin yapılması gerekir. Veri ürünleri, iş etki alanına veya çözülecek soruna bağlı olarak çeşitli biçimlerde olabilir ve şunları içerebilir:

  • Analitik: tarihi/gerçek zamanlı raporlar ve paneller
  • Veri setleri: farklı biçimlerde/formatlarda veri koleksiyonları
  • Modeller: etki alanı nesneleri, veri modelleri, makine öğrenimi (ML) özellikleri
  • Algoritmalar: makine öğrenimi modelleri, puanlama, iş kuralları
  • Veri hizmetleri ve API'ler: Belgeler, veri yükleri, konular, REST API'ler ve daha fazlası

Veri ürünü tüketim için oluşturulur, sahibi genellikle BT dışında bir unsurdur ve aşağıdakiler gibi ek özelliklerin izlenmesini gerektirir:

  • Paydaş haritası: Bu ürünün sahibi kimdir, onu kim yaratır ve tüketir?
  • Paketleme ve dokümantasyon: Nasıl tüketilir? Nasıl etiketlenir?
  • Amaç ve değer: Ürünün örtülü/açık değeri nedir? Zaman içinde amortismanı var mıdır?
  • Kalite ve tutarlılık: Kullanım temel performans göstergeleri ve hizmet düzeyi anlaşmaları nelerdir? Doğrulanabilir mi?
  • Sorumluluk, yaşam döngüsü ve yönetişim: Verilere güven duyuluyor mu ve veriler açıklanabiliyor mu?

2.  Merkeziyetsiz veri mimarisi

Merkeziyetsiz Veri Mimarisi

Merkeziyetsiz BT sistemleri modern bir gerçektir. SaaS uygulamalarının ve genel bulut altyapısının (IaaS) yükselişiyle uygulamaların ve verilerin merkeziyetsiz hale gelmesi artık vazgeçilmez. Uygulama mimarileri, geçmişin merkezi tekli yapılarından dağıtılmış mikro hizmetlere (hizmet ağı) dönüşüyor. Verilerin daha çeşitli fiziksel tesislere ve birçok ağa daha fazla dağıtılmasıyla veri mimarisi de aynı merkeziyetsiz hale gelme eğilimini izleyecek. Buna veri ağı diyoruz.

Ağ nedir?

Ağ, hiyerarşik olmayan büyük bir düğüm grubunun birlikte çalışmasına olanak tanıyan bir ağ topolojisidir.

Bazı yaygın teknoloji örnekleri şunlardır:

  • WiFiMesh: daha iyi kapsama için birçok düğüm birlikte çalışır
  • ZWave/Zigbee: düşük enerjili akıllı ev cihazı ağları
  • 5G ağı: daha güvenilir ve dayanıklı hücre bağlantıları
  • Starlink: küresel ölçekte uydu genişbant ağı
  • Hizmet ağı: merkeziyetsiz mikro hizmetler (uygulama yazılımı) üzerinde birleşik kontroller sağlamanın bir yolu

Veri ağı, bu ağ kavramlarıyla uyumludur. Verileri sanal/fiziksel ağlarda ve uzak mesafelerde dağıtmanın merkeziyetsiz bir yolunu sağlar. ETL ve veri federasyonu araçları gibi eski veri entegrasyonu tek parçalı mimarileri, hatta AWS Glue gibi daha da yakın tarihli genel bulut hizmetleri, son derece merkezi bir altyapı gerektirir.

Eksiksiz bir veri ağı çözümü, potansiyel olarak şirket içi sistemlere, birden fazla genel buluta ve hatta uç ağlara yayılan çoklu bulut çerçevesinde çalışabilmelidir.

Dağıtılmış güvenlik

Verilerin yüksek oranda dağınık ve merkeziyetsiz olduğu bir dünyada bilgi güvenliğinin rolü hayatidir. Son derece merkezi tek parçalı yapıların aksine dağıtılmış sistemler, çeşitli kullanıcıların farklı erişim düzeylerine yönelik kimliğini doğrulamak ve onları yetkilendirmek için gereken faaliyetleri sorumluluğunu başka sistemlere aktarmalıdır. Ağlar arasında sorumluluğu güvenle aktarmayı başarmak zordur.

Şu gibi bazı hususlar göz önüne alınmalıdır:

  • Bekleme durumunda şifreleme: Depolamaya yazılan veri/etkinlikler olarak
  • Dağıtılmış kimlik doğrulama: mTLS, sertifikalar, SSO, gizli depolar ve veri kasaları gibi hizmetler ve veri depoları için
  • Hareket halinde şifreleme: Belleğe akan veri/etkinlikler olarak
  • Kimlik yönetimi: LDAP/IAM tipi hizmetler, platformlar arası
  • Dağıtılmış yetkilendirmeler: Verileri yeniden düzenlemek üzere hizmet uç noktaları için
    Örneğin: Mikro hizmet uç noktasının işlendiği konteyner/K8S kümesi içine ilke karar noktasını (PDP) yerleştirmek amacıyla Open Policy Agent (OPA) sepeti. LDAP/IAM, JWT özelliğine sahip herhangi bir hizmet olabilir.
  • Belirleyici maskeleme: Kişiyle ilişkilendirilebilir verilerde güvenilir ve istikrarlı biçimde kod karartma uygulamak için

Herhangi bir BT sisteminde güvenlik zor olabilir. Dağıtılmış sistemlerde yüksek güvenlik sağlamak daha da zordur. Ancak bunlar çözülebilir sorunlardır.

Merkeziyetsiz veri etki alanları

Veri ağının temel ilkesi, sahipliği ve sorumluluğu dağıtma kavramıdır. En iyi uygulama, bir kuruluşta, veri ürünlerinin ve veri etki alanlarının sahipliğini verilere en yakın olan kişilere aktarmaktır. Uygulamada bu, kaynak verilerle (örneğin, kayıt/uygulamaların operasyon sistemleri gibi ham veri kaynakları) veya analitik verileriyle (örneğin, genellikle veri tüketicilerinin kolay tüketimi için biçimlendirilmiş karma veya birleştirilmiş veriler) uyumlu olabilir. Her iki durumda da, verilerin üreticileri ve tüketicileri genellikle BT departmanları yerine iş birimleriyle uyumlu hale gelir.

Veri etki alanlarını düzenlemenin eski yolları genellikle ETL araçları, veri ambarları, veri gölleri gibi teknoloji çözümleriyle veya bir şirketin yapısal organizasyonuyla (insan kaynakları, pazarlama ve diğer iş kolları) uyum sağlama tuzağına düşer. Ancak belirli bir iş sorunu için veri etki alanları için en iyi uyum genellikle çözülen sorunun kapsamı, belirli bir iş sürecinin bağlamı veya belirli bir sorun alanındaki uygulama ailesi ile sağlanır. Büyük kuruluşlarda bu veri etki alanları genellikle iç departmanların ve teknoloji ayak izlerinin tamamını kapsar.

Veri etki alanlarının departmanlara göre ayrıştırılması, veri ağında yüksek ve birinci sınıf öncelik kazanır. Klasik veri ambarı modellemesi (Kimball ve Inmon gibi) veya veri kasası modellemesi dahil olmak üzere, etki alanı modellemesi için çeşitli veri ayrıştırma metodolojileri, veri ağı mimarisine uyumlu hale getirilebilir, ancak veri ağı mimarisinde şu anda denenen en yaygın metodoloji etki alanı odaklı tasarımdır (DDD). DDD yaklaşımı, mikro hizmetlerin işlevsel ayrışması ile ortaya çıkmıştır ve şu anda veri ağı bağlamında uygulanmaktadır.

3.  Hareket halindeki dinamik veriler

Oracle, modern veri ağının önemli bir bileşeni olarak hareket halindeki verilerin önemini artırarak veri ağı tartışmasına katkıda bulundu. Hareket halindeki veriler, veri ağını eski tek parçalı, merkezi, toplu işlem dünyasından uzaklaştırmak için temel düzeyde gereklidir. Hareket halindeki verilerin olanakları aşağıdaki gibi birçok temel veri ağı sorusuna yanıt verir:

  • Kaynak uyumlu veri ürünlerine nasıl gerçek zamanlı erişim sağlayabiliriz?
  • Güvenilir veri işlemlerini fiziksel olarak merkeziyetsiz bir veri ağında dağıtmak için gereken yolları hangi araçlar sağlayabilir?
  • Veri etkinliklerini veri ürünü API'leri olarak kullanıma sunmam gerektiğinde ne kullanabilirim?
  • Sürekli güncel kalması gereken analitik veri ürünleri için veri etki alanlarına nasıl uyum sağlar, güven ve geçerlilik sağlar mıyım?

Bu sorular, yalnızca birer "uygulama detayları" meselesi değildir, veri mimarisi için temel düzeyde önemlidir. Statik veriler için etki alanı odaklı bir tasarım, aynı tasarımın dinamik ve hareket halindeki veri sürecinden farklı teknikler ve araçlar kullanır. Örneğin, dinamik veri mimarilerinde veri kayıt defteri, veri etkinlikleri için merkezi doğruluk kaynağıdır.

Etkinlik odaklı veri kayıt defterleri

Etkinlik Odaklı Veri Kayıt Defterleri

Kayıt defterleri, dağıtılmış veri mimarisinin işlemesi için temel bir bileşendir. Veri kayıt defteri, tıpkı bir muhasebe kayıt defteri gibi, işlemleri gerçekleştikçe kaydeder.

Kayıt defterini dağıtılmış hale getirdiğimizde veri etkinlikleri her konumda "yeniden yürütülebilir" hale gelir. Bazı kayıt defterleri yüksek erişilebilirlik ve yıkım onarımı için kullanılan uçak kara kutularını andırır.

Merkezi ve tek parçalı veri depolarının aksine dağıtılmış kayıt defterleri, diğer (harici) sistemlerde meydana gelen atomik etkinlikleri ve/veya işlemleri takip etmek için amaca yönelik oluşturulmuştur.

Veri ağı tek kayıt defteri türünden ibaret değildir. Kullanım senaryolarına ve gereksinimlere bağlı olarak, veri ağı aşağıdakiler dahil olmak üzere farklı etkinlik temelli veri kayıt defteri türlerinden yararlanabilir:

  • Kafka veya Pulsar gibi genel amaçlı etkinlik kayıt defteri
  • Veri etkinliği kayıt defteri: Dağıtılmış CDC/çoğaltma araçları
  • ESB, MQ, JMS ve AQ dahil olmak üzere mesajlaşma orta katman yazılımı
  • Güvenli, değiştirilemez, çok taraflı işlemler için blok zinciri kayıt defteri

Bu kayıt defterleri kuruluşun tamamı için bir tür dayanıklı etkinlik günlüğü olarak birlikte çalışabilir, kayıt sistemlerinde ve analitik sistemlerinde gerçekleşen veri etkinliklerinin sürekli bir listesini sağlar.

Çok dilli veri akışları

Çok Dilli Veri Akışları

Çok dilli veri akışları her zamankinden daha yaygın. Bunlar etkinlik türlerine, veri yüklerine ve farklı işlem semantiklerine göre değişiklik gösterir. Veri ağı, çeşitli kurumsal veri iş yükleri için gereken akış türlerini desteklemelidir.

Basit etkinlikler:
- Base64 / JSON - ham, şemasız etkinlikler
- Ham telemetri - seyrek etkinlikler

Temel uygulama günlüğü /Internet of Things (IoT) etkinlikleri:
- JSON/Protobuf - şemaya sahip olabilir
- MQTT - IoT'ye özgü protokoller

Uygulama iş süreci etkinlikleri:
- SOAP/REST etkinlikleri - XML/XSD, JSON
- B2B - değişim protokolleri ve standartları

Veri etkinlikleri/işlemleri:
- Mantıksal değişiklik kayıtları - LCR, SCN, URID
- Tutarlı sınırlar - komutlar ve işlemler

Veri akışı işleme

Akış işleme, verilerin bir etkinlik akışında nasıl işlendiğini ele alır. "Lambda fonksiyonlarının" aksine, akış işlemcisi belirli bir zaman aralığında veri akışlarının durum bilgisini korur ve veriler üzerinde çok daha gelişmiş analitik sorguları uygulayabilir.

    Temel veri filtreleme:

    • Eşikler, uyarılar ve telemetri izleme

    Basit ETL:

    • RegEx fonksiyonları, matematik/mantık ve birleştirme
    • Kayıt kayıt, ikameler ve maskeleme

CEP ve karmaşık ETL:

  • Karmaşık etkinlik işleme (CEP)
  • DML (ACID) işleme ve tanımlama grubu grupları
  • Toplamalar, aramalar, karmaşık birleştirmeler

Akış analitiği:

  • Zaman serisi analitiği ve özel zaman aralıkları
  • Coğrafi uzamsal, makine öğrenimi ve gömülü yapay zeka

Diğer önemli özellikler ve ilkeler

Elbette, bir veri ağında üçten fazla özellik vardır. Oracle'ın gelişmekte olan modern veri ağı yaklaşımının bazı yeni ve benzersiz yönleri olduğuna inandığı özelliklere dikkat çekmek amacıyla yukarıda bunlardan üçüne odaklandık.

Veri ağının diğer önemli özellikleri arasında şunlar yer alır:

  • Self servis araçlar: Veri ağı, self servis için genel veri yönetimi eğilimini benimser. Geliştiriciler arasında veri sahiplerinin oranı giderek artmalıdır.
  • Veri yönetişimi: Veri ağı, baş veri görevlilerinin, veri yöneticilerinin ve veri kataloğu satıcılarının uzun yıllar boyunca desteklediği daha resmi birleşik yönetişim modeline yönelik uzun vadeli eğilimi de benimsemiştir.
  • Veri kullanılabilirliği : Veri ağı ilkelerine bağlı olarak, veri ürünlerinin son derece kullanılabilir olmasını sağlamak için çok fazla temel çalışma yürütülmüştür. Veri ürünleri ilkeleri; değerli, kullanılabilir ve paylaşılabilir verileri konu alır.

 

7 veri ağı kullanım senaryosu

Başarılı bir veri ağı, operasyon ve analitik veri etki alanlarına yönelik kullanım senaryolarını yerine getirir. Aşağıdaki yedi kullanım senaryosu, bir veri ağının kurumsal verilere getirdiği geniş olanakları göstermektedir.

Şirketler gerçek zamanlı operasyon veri ve analitiklerini entegre ederek daha iyi operasyon ve strateji kararları alabilir.

MIT Sloan İşletme Fakültesi

1 Uygulama modernizasyonu

Tek parçalı veri mimarilerinin 'her şeyi bir seferde üstlenerek' buluta geçişlerinin ötesini düşünen pek çok kuruluş, geçmişin merkezi uygulamalarını kullanımdan kaldırmayı ve daha modern bir mikro hizmet uygulama mimarisine geçiş yapmayı planlıyor.

Tek parçalı geçişler için veri ağı temeli
Tek parçalı geçişler için veri ağı temeli
Tek parçalı ayrıştırma ve aşamalı geçişler için Strangler Fig örüntüsü
Tek parçalı ayrıştırma ve aşamalı geçişler için Strangler Fig örüntüsü

Ancak eski uygulamaların tek parçalı yapıları genellikle büyük veritabanlarına bağlıdır. Bu da geçiş planında aksaklıkları, riskleri ve maliyetleri azaltmak için nasıl aşamalar belirleyebileceğiniz sorusunu gündeme getirir. Veri ağı, tek parçalı yapılardan ağ mimarisine aşamalı geçiş yapan müşteriler için önemli bir operasyonel BT olanağı sağlayabilir. Örneğin:

  • Verileri 'sınırlı bağlama' göre filtreleme gibi veritabanı işlemlerinin alt etki alanına yük aktarımı
  • Aşamalı geçişler için çift yönlü işlem çoğaltma
  • Ana çerçeveden DBaaS'a gibi, platformlar arası senkronizasyon

Mikro hizmet mimarlarının deyişiyle, bu yaklaşım çift yönlü işlem çıkışı kullanarak Strangler Fig geçiş örüntüsünü her seferinde bir sınırlı bağlam ile mümkün kılar.

2. Veri erişilebilirliği ve sürekliliği

Coğrafi olarak dağıtılmış veri etkinlikleri için veri ağı
Coğrafi olarak dağıtılmış veri etkinlikleri için veri ağı

İş kritik uygulamalar, dayanıklılık ve süreklilik alanlarında çok yüksek temel performans göstergelerine ve hizmet düzeyi anlaşmalarına ihtiyaç duyar. Bu uygulamalar tek parçalı, mikro hizmet veya ikisinin arasında bir şey olsa da kesinti yaşanması kabul edilemez!

Yaşamsal sistemler için dağıtılmış bir etkinliğe bağlı tutarlılık veri modeli genellikle kabul edilemez. Ancak bu uygulamaların birçok veri merkezinde çalışması gerekir. Bu da iş sürekliliği sorusunu gündeme getirir: "Uygulamalarımı birden fazla veri merkezinde çalıştırırken verilerin doğru ve tutarlı olmalarını nasıl garanti ederim?"

Gerek tek parçalı mimarilerin 'parçalı veri kümeleri' kullanması gerekse mikro hizmetlerin tesisler arası yüksek erişilebilirlik için kurulması yollarından hangisi izlenirse izlensin, veri ağı doğru, yüksek hızda veriyi her mesafede sunar.

Veri ağı, farklı tesislerde merkeziyetsiz ama %100 doğru veri için temel sunar. Örneğin:

  • Çok düşük gecikmeli mantıksal işlemler (platformlar arası)
  • ACID özelliği doğru verileri garanti eder
  • Çoklu-etkin, çift yönlü ve çatışma çözümleme

3. Etkinlik kaynak seçimi ve işlem çıkışı

Çeşitli Uygulamalar, Mikro Hizmetler ve Veritabanları arasında etkinlik tabanlı birlikte çalışabilirlik
Çeşitli uygulamalar, mikro hizmetler ve veritabanları arasında etkinlik tabanlı birlikte çalışabilirlik
İşlem Çıkışı için genel örüntü
İşlem çıkışı için genel örüntü (Not: Bu örüntü için veri ağı çeşitlemeleri/optimizasyonları vardır).

Modern, hizmet ağı tarzındaki platform, veri alışverişi için etkinlikleri kullanır. Veri katmanında toplu işleme bağımlı olmak yerine, veri yükleri, uygulamada veya veri deposunda etkinlikler gerçekleştiğinde sürekli olarak akar.

Bazı mimariler için, mikro hizmetlerin birbiriyle veri yükü alışverişi yapması gerekir. Diğer örüntüler, tek parçalı uygulamalar veya veri depoları arasında alışveriş gerektirir. Bu da şu soruyu gündeme getirir: “Uygulamalarım ve veri depolarım arasında mikro hizmet veri yüklerinin alışverişini nasıl güvenilir biçimde gerçekleştirebilirim?”

Veri ağı, mikro hizmet merkezli veri alışverişi için temel teknolojiyi sağlayabilir. Örneğin:

  • Bağlam içinde mikro hizmetten mikro hizmete
  • Bağlamlar arasında mikro hizmetten mikro hizmete
  • Tek parça-mikro hizmet arasında geçiş

Etkinlik kaynak bulma, CQRS ve işlem çıkışı gibi mikro hizmet örüntüleri genellikle anlaşılan çözümlerdir; veri ağı bu örüntüleri geniş ölçekte tekrarlanabilir ve güvenilir hale getirmek için araç ve çerçeveler sağlar.

4. Etkinlik temelli entegrasyon

Mikro hizmet tasarım örüntülerinin ötesinde, kurumsal entegrasyon ihtiyacı; veritabanları, iş süreçleri, uygulamalar ve her tür fiziksel cihazlar gibi diğer BT sistemlerine uzanır. Veri ağı, hareket halindeki verileri entegre etmenin temelini oluşturur.

Hareket halindeki veriler genellikle etkinlik tabanlıdır. Kullanıcı eylemi, cihaz etkinliği, işlem adımı veya veri deposu kaydetme işlemlerinin tümü veri yükü içeren bir etkinlik başlatabilir. Bu veri yükleri Internet of Things (IoT) sistemlerini, iş süreçlerini ve veritabanlarını, veri ambarlarını ve veri göllerini entegre etmek için çok önemlidir.

Etkinlik Temelli Entegrasyon

Veri ağı, kuruluş genelinde gerçek zamanlı entegrasyon için temel teknolojiyi sağlar. Örneğin:

  • Gerçek dünyadaki cihaz olaylarını BT sistemlerine bağlama
  • İş süreçlerini ERP sistemleri arasında entegre etme
  • Operasyon veritabanlarını analitik veri depolarıyla uyumlu hale getirme

Büyük kuruluşlarda eski ve yeni sistemler, tek parçalı yapılar ve mikro hizmetler, operasyon ve analitik veri depoları doğal olarak bir arada bulunur. Veri ağı, farklı iş ve veri etki alanlarındaki bu kaynakları birleştirmenize yardımcı olabilir.

5. Akış alımı (analitik için)

Veri gölleri, veri ambarları ve özel veri ambarlarında ortak veri alımı için veri ağından yararlanma
Veri gölleri, veri ambarları ve özel veri ambarlarında ortak veri alımı için veri ağından yararlanma

Analitik veri depoları özel veri ambarlarını, veri ambarlarını, OLAP küplerini, veri göllerini ve veri gölü teknolojilerini içerebilir.

Genel konuşacak olursak, veriyi bu analitik veri depolarına getirmenin yalnızca iki yolu vardır:

  • Zaman çizelgesi ile toplu/mikro toplu yükleme
  • Akış alımı - veri olaylarını sürekli yükleme

Veri ağı, akış alma olanağının temelini oluşturur. Örneğin:

  • Veritabanlarından veya veri depolarından veri olayları
  • Fiziksel cihaz telemetrisinden cihaz olayları
  • Uygulama etkinliği günlük kaydı veya iş işlemleri

Etkinlikleri akışla almak, kaynak sistemler üzerindeki etkiyi azaltabilir, verilerin sadakatini artırabilir (veri bilimi için önemlidir) ve gerçek zamanlı analitiğe olanak tanıyabilir.

6. Veri akışı ardışık düzenleri

Veri ağı, bir Veri Gölünde akış ardışık düzenlerini yaratabilir, yürütebilir ve yönetebilir
Veri ağı, bir Veri Gölünde akış ardışık düzenlerini yaratabilir, yürütebilir ve yönetebilir

Analitik veri depolarına alındıktan sonra veri ardışık düzenlerinin genellikle veriyi farklı veri aşamaları veya veri alanlarında hazırlamaları ve dönüştürmeleri gerekir. Bu veri düzenleme işlemi genellikle aşağı akım analitik veri ürünleri için gereklidir.

Veri ağı, analitik veri depolarıyla çalışan ve aşağıdaki temel hizmetleri sağlayan, bağımsız olarak yönetilen bir veri ardışık düzen katmanı sağlayabilir:

  • Self servis veri keşfi ve veri hazırlama
  • Etki alanları genelinde veri kaynaklarının yönetişimi
  • Verileri hazırlama ve gerekli veri ürünü formatlarına dönüştürme
  • Tutarlılık sağlayan ilkelere göre veri doğrulama

Bu veri ardışık düzenleri, farklı fiziksel veri depolarında (örneğin marketler, ambarlar veya göller) veya Apache Spark ve diğer veri gölü teknolojileri gibi akış verilerini destekleyen analitik veri platformlarında "pushdown veri akışı" olarak çalışabilmelidir.

7. Akış analitiği

Tüm türlerdeki (IoT, veritabanı vb.) etkinlikler, gerçek zamanlı akışlarda analiz edilebilir
Tüm türlerdeki etkinlikler, gerçek zamanlı akışlarda analiz edilebilir

Etkinlikler sürekli gerçekleşir. Bir akıştaki etkinliklerin analizi, an be an olanları anlamak için hayati öneme sahip olabilir.

Gerçek zamanlı etkinlik akışlarının bu tür zaman serisi tabanlı analiz edilmesi, gerçek dünyadaki IoT cihaz verileri için ve BT veri merkezlerinizde veya dolandırıcılık izleme gibi finansal işlemlerde neler olup bittiğini anlamakta önemli olabilir.

Tam teşekküllü bir veri ağı, çeşitli etkinlik zaman aralıklarında her türlü etkinliği analiz etmek için temel özellikleri içerir. Örneğin:

  • Basit etkinlik akışı analizi (web etkinlikleri)
  • İş etkinliği izleme (SOAP/REST etkinlikleri)
  • Karmaşık etkinlik işleme (çok akışlı korelasyon)
  • Veri etkinliği analizi (veritabanı/ACID işlemlerinde)

Veri ardışık düzenleri gibi akış analizleri de yerleşik veri gölü altyapısında veya ayrı olarak, bulut yerel hizmetler olarak çalışabilir.

Tüm veri varlıklarında ortak bir ağ çalıştırarak maksimum değer elde edin

Veri entegrasyonu öncüleri, çeşitli dayanıklı veri depoları koleksiyonundan gerçek zamanlı operasyonel ve analitik veri entegrasyon elde etmek istiyorlar. Veri mimarisi akış analitiğine evrildikçe inovasyonlar amansızca ve hızla sürüyor. Operasyonel yüksek erişilebilirlik gerçek zamanlı analitiğin önünü açtı. Veri mühendisliği otomasyonu ise veri uzmanlarına ve analistlere self servis araçlarla olanaklar tanıyarak veri hazırlamayı kolaylaştırıyor.

Veri ağı kullanım senaryoları özeti

Veri Ağı Kullanım Senaryoları Özeti

Veri varlığı genelinde operasyon ve analitik ağı oluşturun
Bu veri yönetimi özelliklerinin tamamını birleşik mimariye taşımak, her veri tüketicisini etkiler. Veri ağı, küresel kayıt sistemlerinizi ve etkileşim sistemlerinizi daha iyi hale getirerek gerçek zamanlı operasyon yürütmenize yardımcı olur ve bu gerçek zamanlı verileri iş kolu yöneticileri, veri bilimcileri ve müşterilerinizle uyumlu hale getirir. Ayrıca, yeni nesil mikro hizmet uygulamalarınız için veri yönetimini kolaylaştırır. Modern analitik yöntem ve araçlarını kullanarak son kullanıcılarınız, analistleriniz ve veri bilimcileriniz müşteri talebine ve rakiplerinizin ataklarına daha iyi yanıt verir. İyi belgelenmiş bir örnek hakkında bilgi edinmek için Intuit'in hedeflerini ve sonuçlarını inceleyin.

Nokta projelerde veri ağından yararlanın
Yeni veri ürünü düşüncenizi ve operasyon modelinizi kullanıma alırken bu etkin teknolojilerin her birinde deneyim geliştirmek önemlidir. Veri ağı yolculuğunuzda, hızlı veri mimarinizi akış analitiğine dönüştürerek, operasyonel yüksek erişilebilirlik yatırımlarınızdan gerçek zamanlı analitikte yararlanarak, veri bilimcileriniz ve analistleriniz için gerçek zamanlı, self servis analitik sağlayarak kademeli avantajlar elde edebilirsiniz.

Karşılaştırma ve zıtlık

  Veri yapısı Uygulama-Geliştirme entegrasyonu Analitik veri deposu
  Veri ağı Veri entegrasyonu Meta Katalog Mikro Hizmetler Mesajlaşma Yapılandırılmış veri gölü Dağıtılmış veri ambarı
Kişiler, süreç ve yöntemler:
Veri ürününe odaklanma
var
var
var
1/4 teklif
1/4 teklif
3/4 teklif
3/4 teklif
Teknik mimari özellikleri:
Dağıtılmış Mimari
var
1/4 teklif
3/4 teklif
var
var
1/4 teklif
3/4 teklif
Etkinlik Odaklı Veri Kayıt Defterleri
var
yok
1/4 teklif
var
var
1/4 teklif
1/4 teklif
ACID Desteği
var
var
yok
yok
3/4 teklif
3/4 teklif
var
Akış Yönelimli
var
1/4 teklif
yok
yok
1/4 teklif
3/4 teklif
1/4 teklif
Analitik Veri Odağı
var
var
var
yok
yok
var
var
Operasyonel Veri Odağı
var
1/4 teklif
var
var
var
yok
yok
Fiziksel ve Mantıksal Ağ
var
var
yok
1/4 teklif
3/4 teklif
3/4 teklif
1/4 teklif

İş sonuçları


Genel avantajlar

Daha hızlı ve veri odaklı inovasyon döngüleri

Göreve özgü kritik veri işlemleri için daha düşük maliyetler

Operasyon sonuçları

Çoklu bulut veri likiditesi
- Veri sermayesini özgürce akması için açığa çıkarın

Gerçek zamanlı veri paylaşımı
- Operasyondan operasyona ve Operasyondan analitiğe

Uç, konum tabanlı veri hizmetleri
- IRL cihaz/veri etkinliklerini ilişkilendirin

Güvenilir mikro hizmet veri değişimi
- Doğru verilerle etkinlik kaynak kullanımı
- DataOps ve veriler için CI/CD

Kesintisiz süreklilik
-  >%99,999 çalışma süresi SLA'ları
- Bulut geçişleri

Analitik sonuçları

Veri ürünlerini otomatikleştirme ve kolaylaştırma
- Çok modelli veri kümeleri

Zaman serisi veri analizi
- Deltalar/değişen kayıtlar
- Etkinlik bazında sadakat

Operasyon veri deposu için tam veri kopyalarını ortadan kaldırma
- Günlük tabanlı kayıt defterleri ve ardışık düzenler

Dağıtılmış veri gölleri ve ambarları
- Hibrit/çoklu bulut/global
- Akış entegrasyonu/ETL

Tahmine dayalı analitik
- Verileri gelire dönüştürme, satışa yönelik yeni veri hizmetleri

Hepsini bir araya getirmek

Dijital dönüşüm çok ama çok zordur ve ne yazık ki çoğu şirket başarısız olur. Modern teknikler son derece merkezi ve tek parçalı stillerden uzaklaştıkça teknoloji, yazılım tasarımı ve veri mimarisi yıllar içinde giderek daha dağıtılmış hale geliyor.

Veri ağı, tek parçalı, merkezi ve toplu işlem tarzı veri işlemenin aksine, yüksek düzeyde dağıtılmış ve gerçek zamanlı veri etkinliklerine doğru bilinçli bir geçiş ve veri için yeni bir konsepttir. Veri ağı, temelde veri tüketicilerinin ihtiyaçlarını birinci sıraya koyan kültürel bir düşünce dönüşümüdür. Aynı zamanda, merkezi olmayan bir veri mimarisini destekleyen platformları ve hizmetleri yükselten gerçek bir teknoloji değişimidir.

Veri ağlarının kullanım senaryoları, geleneksel veri gölleri/yapılandırılmış veri gölleri ve veri ambarlarından önemli bir fark olarak hem operasyon verilerini hem de analitik verilerini kapsar. Operasyon ve analitik veri etki alanlarının bu uyumu, veri tüketicisi için daha fazla self servis sağlama ihtiyacı açısından kritik bir olanaktır. Modern veri platformu teknolojisi, veri üreticilerinin doğrudan veri tüketicilerine bağlanmasında aracıları ortadan kaldırmaya yardımcı olabilir.

Oracle, kritik veri çözümlerinde uzun süredir sektör lideri ve güvenilir bir veri ağını desteklemek için en modern özelliklerden bazılarını hayata geçirdi:

  • Oracle'ın 33'ten fazla aktif bölgeye sahip 2. Nesil Bulut altyapısı
  • "Şekil değiştiren" veri ürünleri için çok modelli veritabanı
  • Tüm veri depoları için mikro hizmet tabanlı veri etkinliği kayıt defteri
  • Gerçek zamanlı güvenilir veriler için çoklu bulut akış işleme
  • API platformu, modern AppDev ve self servis araçları
  • Analitik, veri görselleştirme ve bulut yerel veri bilimi