Enterprise Data Mesh

Kurumsal yazılımlarda popüler bir konu haline gelen veri ağı, veri yönetimi için dağıtılmış bir mimariye dayalı olarak veri hakkında düşünmenin yeni bir yaklaşımıdır. Buradaki ana fikir; veri sahiplerini, veri üreticilerini ve veri tüketicilerini doğrudan birbirine bağlayarak verileri daha erişilebilir hale getirmek ve iş kullanıcılarına sunmaktır. Veri ağı, veri merkezli çözümlerin iş sonuçlarını daha iyi hale getirmenin yanı sıra modern veri mimarilerinin benimsenmesini sağlamayı hedefler.

İş açısından bakılınca, veri ağı, "veri ürünü düşüncesi" çerçevesinde yeni fikirleri gündeme getirir. Diğer bir deyişle, karar alma sürecini daha iyi hale getirmek, dolandırıcılığı tespit etmeye yardımcı olmak veya işletmeyi tedarik zinciri koşullarındaki değişikliklere karşı uyarmak gibi amaçlarla verileri "yapılacak işi" yerine getiren bir ürün olarak düşünmektir. Yüksek değerli veri ürünleri yaratmak için şirketlerin kültür ve zihniyet değişimleri gerçekleştirmeleri, iş alanı modellemesinde farklı departmanları daha iyi bir araya getiren bir yaklaşıma kendilerini adamaları gerekir.

Teknoloji açısından, Oracle'ın veri ağına bakışı, veri odaklı mimari için üç önemli yeni alana odaklanıyor:

1. Veri koleksiyonları, veri etkinlikleri ve veri analitiği olarak veri ürünleri sunan araçlar
2. Tek parçalı mimarilerden, çoklu bulut ve hibrit bulut bilişime geçiş yapmak isteyen ya da küresel olarak merkezi olmayan bir şekilde çalışması gereken kuruluşlara yardımcı olan dağıtılmış, merkezi olmayan veri mimarileri
3. Yalnızca merkezi, statik, toplu işlem odaklı verilere dayalı çalışması mümkün olmayan, bunun yerine daha hızlı analitik sağlayan etkinlik tabanlı kayıt defterlerine ve akış merkezli ardışık düzenlere yönelen kuruluşlar için hareketli veri

Teknik yönü güçlü olmayan kullanıcılara yönelik self-servis araçlar ve güçlü federe veri yönetişimi modelleri, merkezi ve klasik veri yönetim metodolojileri kadar veri ağı mimarisi için de önemlidir.

Veri ağı yaklaşımı, veriyi ürün olarak düşünmeye ilişkin paradigma dönüşümüdür. Veri ağı, şirketlerin verileri işletmenin somut bir sermaye varlığı olarak yönetmesini gerektiren organizasyon ve süreç değişikliklerini gündeme getirir. Oracle'ın veri ağı mimarisine yönelik bakış açısı, organizasyon ve analitik veri etki alanlarında uyum sağlamayı gerektiriyor.

Veri ağı, veri üreticilerini doğrudan iş kullanıcılarına bağlamayı, BT aracılarını veri kaynaklarını alma, hazırlama ve dönüştürme proje ve süreçlerinden mümkün olduğunca çıkarmayı amaçlar.

Oracle, veri ağı alanında müşterilerimize gelişmekte olan teknoloji gereksinimlerini karşılayabilecek bir platform sağlamaya odaklanıyor. Veri ürünleri için araçlar; merkezi olmayan, etkinliğe dayalı mimariler ve hareket halindeki verilerin akış örüntüleri buna dahildir. Veri ürünü etki alanı modelleme ve diğer sosyoteknik konularda Oracle, veri ağı kanaat önderi Zhamak Dehghani'nin çalışmaları ile uyum içindedir.

Üzücü gerçek şu ki, geçmişin tek parçalı veri mimarileri hantal, pahalı ve esneklikten uzak. Yıllar geçtikçe, uygulamalardan analitiğe kadar dijital iş platformlarına harcanan zaman ve maliyetlerinin çoğunun entegrasyon çabalarına aktarıldığı açıktır. Bu nedenle çoğu platform girişimi başarısız olur.

Veri ağı merkezi, tek parçalı veri mimarilerinin tüm sorunlarını çözecek bir joker olmasa da veri ağı ilkeleri, uygulamaları ve teknolojileri, veri odaklı iş girişimlerinin en acil ve ilgiye ihtiyaç duyan modernizasyon hedeflerinin bazılarını çözüme kavuşturmak üzere tasarlandı.

Veri ağının bir çözüm olarak ortaya çıkmasının yolunu açan teknoloji trendlerinden bazıları şunlardır:

Veri ağının en önemli ilk adımı, düşünce dönüşümüdür. Öğrenilen inovasyon uygulamalarını benimsemeye açık olmak, veri mimarisini başarıyla modernize etmenin sıçrama tahtasıdır.

Bu öğrenilen uygulama alanları şunları içerir:

• Tasarım düşüncesi: Harika veri ürünleri oluşturmak için kurumsal veri etki alanlarına uygulanan, "çetin sorunları" çözmekte faydasını kanıtlamış bir metodoloji
• Yapılacak iş teorisi: Kurumsal veri ürünlerinin gerçek iş sorunlarını çözmesini sağlamak için müşteri odaklı inovasyon ve sonuç odaklı inovasyon süreci uygulama

Tasarım düşüncesi metodolojileri, departmanlar arası inovasyonu sıklıkla engelleyen kurumsal siloların ortadan kaldırılmasına yardımcı olan, faydasını kanıtlamış teknikler getirir. Yapılacak iş teorisi, belirli nihai tüketici hedeflerini karşılayan veri ürünleri tasarlamanın kritik temelidir. Ürünün amacını tanımlar.

Veri ürünü yaklaşımı veri bilimi topluluğunda ortaya çıkmış olsa da günümüzde veri yönetiminin tüm alanlarına uygulanıyor. Tek parçalı teknoloji mimarileri kurmak yerine veri ağı, veri tüketicilerine ve iş sonuçlarına odaklanıyor.

Veri ürünü düşüncesi diğer veri mimarilerine de uygulanabilecek olduğu halde veri ağının hayati bir parçasıdır. Veri ürünü düşüncesinin nasıl uygulanacağı konusundaki pragmatik örnekler için Intuit ekibi, deneyimlerinin ayrıntılı bir analizini yazdı.

Ham emtialardan yerel mağazanızdaki ürünlere kadar her tür ürün, değerli varlıklar olarak üretilir, tüketilmesi amaçlanır ve bunun için belirli bir işin yapılması gerekir. Veri ürünleri, iş etki alanına veya çözülecek soruna bağlı olarak çeşitli biçimlerde olabilir ve şunları içerebilir:

• Analitik: tarihi/gerçek zamanlı raporlar ve paneller
• Veri setleri: farklı biçimlerde/formatlarda veri koleksiyonları
• Modeller: etki alanı nesneleri, veri modelleri, makine öğrenimi (ML) özellikleri
• Algoritmalar: makine öğrenimi modelleri, puanlama, iş kuralları
• Veri hizmetleri ve API'ler: Belgeler, veri yükleri, konular, REST API'ler ve daha fazlası

Veri ürünü tüketim için oluşturulur, sahibi genellikle BT dışında bir unsurdur ve aşağıdakiler gibi ek özelliklerin izlenmesini gerektirir:

• Paydaş haritası: Bu ürünün sahibi kimdir, onu kim yaratır ve tüketir?
• Paketleme ve dokümantasyon: Nasıl tüketilir? Nasıl etiketlenir?
• Amaç ve değer: Ürünün örtülü/açık değeri nedir? Zaman içinde amortismanı var mıdır?
• Kalite ve tutarlılık: Kullanım temel performans göstergeleri ve hizmet düzeyi anlaşmaları nelerdir? Doğrulanabilir mi?
• Sorumluluk, yaşam döngüsü ve yönetişim: Verilere güven duyuluyor mu ve veriler açıklanabiliyor mu?

Merkeziyetsiz BT sistemleri modern bir gerçektir. SaaS uygulamalarının ve genel bulut altyapısının (IaaS) yükselişiyle uygulamaların ve verilerin merkeziyetsiz hale gelmesi artık vazgeçilmez. Uygulama mimarileri, geçmişin merkezi tekli yapılarından dağıtılmış mikro hizmetlere (hizmet ağı) dönüşüyor. Verilerin daha çeşitli fiziksel tesislere ve birçok ağa daha fazla dağıtılmasıyla veri mimarisi de aynı merkeziyetsiz hale gelme eğilimini izleyecek. Buna veri ağı diyoruz.

Ağ, hiyerarşik olmayan büyük bir düğüm grubunun birlikte çalışmasına olanak tanıyan bir ağ topolojisidir.

Bazı yaygın teknoloji örnekleri şunlardır:

• WiFiMesh: daha iyi kapsama için birçok düğüm birlikte çalışır
• ZWave/Zigbee: düşük enerjili akıllı ev cihazı ağları
• 5G ağı: daha güvenilir ve dayanıklı hücre bağlantıları
• Starlink: küresel ölçekte uydu genişbant ağı
• Hizmet ağı: merkeziyetsiz mikro hizmetler (uygulama yazılımı) üzerinde birleşik kontroller sağlamanın bir yolu

Veri ağı, bu ağ kavramlarıyla uyumludur. Verileri sanal/fiziksel ağlarda ve uzak mesafelerde dağıtmanın merkeziyetsiz bir yolunu sağlar. ETL ve veri federasyonu araçları gibi eski veri entegrasyonu tek parçalı mimarileri, hatta AWS Glue gibi daha da yakın tarihli genel bulut hizmetleri, son derece merkezi bir altyapı gerektirir.

Eksiksiz bir veri ağı çözümü, potansiyel olarak şirket içi sistemlere, birden fazla genel buluta ve hatta uç ağlara yayılan çoklu bulut çerçevesinde çalışabilmelidir.

Verilerin yüksek oranda dağınık ve merkeziyetsiz olduğu bir dünyada bilgi güvenliğinin rolü hayatidir. Son derece merkezi tek parçalı yapıların aksine dağıtılmış sistemler, çeşitli kullanıcıların farklı erişim düzeylerine yönelik kimliğini doğrulamak ve onları yetkilendirmek için gereken faaliyetleri sorumluluğunu başka sistemlere aktarmalıdır. Ağlar arasında sorumluluğu güvenle aktarmayı başarmak zordur.

Şu gibi bazı hususlar göz önüne alınmalıdır:

• Bekleme durumunda şifreleme: Depolamaya yazılan veri/etkinlikler olarak
• Dağıtılmış kimlik doğrulama: mTLS, sertifikalar, SSO, gizli depolar ve veri kasaları gibi hizmetler ve veri depoları için
• Hareket halinde şifreleme: Belleğe akan veri/etkinlikler olarak
• Kimlik yönetimi: LDAP/IAM tipi hizmetler, platformlar arası
• Dağıtılmış yetkilendirmeler: Verileri yeniden düzenlemek üzere hizmet uç noktaları için
  Örneğin: Mikro hizmet uç noktasının işlendiği konteyner/K8S kümesi içine ilke karar noktasını (PDP) yerleştirmek amacıyla Open Policy Agent (OPA) sepeti. LDAP/IAM, JWT özelliğine sahip herhangi bir hizmet olabilir.
• Belirleyici maskeleme: Kişiyle ilişkilendirilebilir verilerde güvenilir ve istikrarlı biçimde kod karartma uygulamak için

Herhangi bir BT sisteminde güvenlik zor olabilir. Dağıtılmış sistemlerde yüksek güvenlik sağlamak daha da zordur. Ancak bunlar çözülebilir sorunlardır.

Veri ağının temel ilkesi, sahipliği ve sorumluluğu dağıtma kavramıdır. En iyi uygulama, bir kuruluşta, veri ürünlerinin ve veri etki alanlarının sahipliğini verilere en yakın olan kişilere aktarmaktır. Uygulamada bu, kaynak verilerle (örneğin, kayıt/uygulamaların operasyon sistemleri gibi ham veri kaynakları) veya analitik verileriyle (örneğin, genellikle veri tüketicilerinin kolay tüketimi için biçimlendirilmiş karma veya birleştirilmiş veriler) uyumlu olabilir. Her iki durumda da, verilerin üreticileri ve tüketicileri genellikle BT departmanları yerine iş birimleriyle uyumlu hale gelir.

Veri etki alanlarını düzenlemenin eski yolları genellikle ETL araçları, veri ambarları, veri gölleri gibi teknoloji çözümleriyle veya bir şirketin yapısal organizasyonuyla (insan kaynakları, pazarlama ve diğer iş kolları) uyum sağlama tuzağına düşer. Ancak belirli bir iş sorunu için veri etki alanları için en iyi uyum genellikle çözülen sorunun kapsamı, belirli bir iş sürecinin bağlamı veya belirli bir sorun alanındaki uygulama ailesi ile sağlanır. Büyük kuruluşlarda bu veri etki alanları genellikle iç departmanların ve teknoloji ayak izlerinin tamamını kapsar.

Veri etki alanlarının departmanlara göre ayrıştırılması, veri ağında yüksek ve birinci sınıf öncelik kazanır. Klasik veri ambarı modellemesi (Kimball ve Inmon gibi) veya veri kasası modellemesi dahil olmak üzere, etki alanı modellemesi için çeşitli veri ayrıştırma metodolojileri, veri ağı mimarisine uyumlu hale getirilebilir, ancak veri ağı mimarisinde şu anda denenen en yaygın metodoloji etki alanı odaklı tasarımdır (DDD). DDD yaklaşımı, mikro hizmetlerin işlevsel ayrışması ile ortaya çıkmıştır ve şu anda veri ağı bağlamında uygulanmaktadır.

Oracle, modern veri ağının önemli bir bileşeni olarak hareket halindeki verilerin önemini artırarak veri ağı tartışmasına katkıda bulundu. Hareket halindeki veriler, veri ağını eski tek parçalı, merkezi, toplu işlem dünyasından uzaklaştırmak için temel düzeyde gereklidir. Hareket halindeki verilerin olanakları aşağıdaki gibi birçok temel veri ağı sorusuna yanıt verir:

• Kaynak uyumlu veri ürünlerine nasıl gerçek zamanlı erişim sağlayabiliriz?
• Güvenilir veri işlemlerini fiziksel olarak merkeziyetsiz bir veri ağında dağıtmak için gereken yolları hangi araçlar sağlayabilir?
• Veri etkinliklerini veri ürünü API'leri olarak kullanıma sunmam gerektiğinde ne kullanabilirim?
• Sürekli güncel kalması gereken analitik veri ürünleri için veri etki alanlarına nasıl uyum sağlar, güven ve geçerlilik sağlar mıyım?

Bu sorular, yalnızca birer "uygulama detayları" meselesi değildir, veri mimarisi için temel düzeyde önemlidir. Statik veriler için etki alanı odaklı bir tasarım, aynı tasarımın dinamik ve hareket halindeki veri sürecinden farklı teknikler ve araçlar kullanır. Örneğin, dinamik veri mimarilerinde veri kayıt defteri, veri etkinlikleri için merkezi doğruluk kaynağıdır.

Kayıt defterleri, dağıtılmış veri mimarisinin işlemesi için temel bir bileşendir. Veri kayıt defteri, tıpkı bir muhasebe kayıt defteri gibi, işlemleri gerçekleştikçe kaydeder.

Kayıt defterini dağıtılmış hale getirdiğimizde veri etkinlikleri her konumda "yeniden yürütülebilir" hale gelir. Bazı kayıt defterleri yüksek erişilebilirlik ve yıkım onarımı için kullanılan uçak kara kutularını andırır.

Merkezi ve tek parçalı veri depolarının aksine dağıtılmış kayıt defterleri, diğer (harici) sistemlerde meydana gelen atomik etkinlikleri ve/veya işlemleri takip etmek için amaca yönelik oluşturulmuştur.

Veri ağı tek kayıt defteri türünden ibaret değildir. Kullanım senaryolarına ve gereksinimlere bağlı olarak, veri ağı aşağıdakiler dahil olmak üzere farklı etkinlik temelli veri kayıt defteri türlerinden yararlanabilir:

• Kafka veya Pulsar gibi genel amaçlı etkinlik kayıt defteri
• Veri etkinliği kayıt defteri: Dağıtılmış CDC/çoğaltma araçları
• ESB, MQ, JMS ve AQ dahil olmak üzere mesajlaşma orta katman yazılımı
• Güvenli, değiştirilemez, çok taraflı işlemler için blok zinciri kayıt defteri

Bu kayıt defterleri kuruluşun tamamı için bir tür dayanıklı etkinlik günlüğü olarak birlikte çalışabilir, kayıt sistemlerinde ve analitik sistemlerinde gerçekleşen veri etkinliklerinin sürekli bir listesini sağlar.

Çok dilli veri akışları her zamankinden daha yaygın. Bunlar etkinlik türlerine, veri yüklerine ve farklı işlem semantiklerine göre değişiklik gösterir. Veri ağı, çeşitli kurumsal veri iş yükleri için gereken akış türlerini desteklemelidir.

Elbette, bir veri ağında üçten fazla özellik vardır. Oracle'ın gelişmekte olan modern veri ağı yaklaşımının bazı yeni ve benzersiz yönleri olduğuna inandığı özelliklere dikkat çekmek amacıyla yukarıda bunlardan üçüne odaklandık.

Veri ağının diğer önemli özellikleri arasında şunlar yer alır:

• Self servis araçlar: Veri ağı, self servis için genel veri yönetimi eğilimini benimser. Geliştiriciler arasında veri sahiplerinin oranı giderek artmalıdır.
• Veri yönetişimi: Veri ağı, baş veri görevlilerinin, veri yöneticilerinin ve veri kataloğu satıcılarının uzun yıllar boyunca desteklediği daha resmi birleşik yönetişim modeline yönelik uzun vadeli eğilimi de benimsemiştir.
• Veri kullanılabilirliği : Veri ağı ilkelerine bağlı olarak, veri ürünlerinin son derece kullanılabilir olmasını sağlamak için çok fazla temel çalışma yürütülmüştür. Veri ürünleri ilkeleri; değerli, kullanılabilir ve paylaşılabilir verileri konu alır.

Tek parçalı veri mimarilerinin 'her şeyi bir seferde üstlenerek' buluta geçişlerinin ötesini düşünen pek çok kuruluş, geçmişin merkezi uygulamalarını kullanımdan kaldırmayı ve daha modern bir mikro hizmet uygulama mimarisine geçiş yapmayı planlıyor.

Ancak eski uygulamaların tek parçalı yapıları genellikle büyük veritabanlarına bağlıdır. Bu da geçiş planında aksaklıkları, riskleri ve maliyetleri azaltmak için nasıl aşamalar belirleyebileceğiniz sorusunu gündeme getirir. Veri ağı, tek parçalı yapılardan ağ mimarisine aşamalı geçiş yapan müşteriler için önemli bir operasyonel BT olanağı sağlayabilir. Örneğin:

• Verileri 'sınırlı bağlama' göre filtreleme gibi veritabanı işlemlerinin alt etki alanına yük aktarımı
• Aşamalı geçişler için çift yönlü işlem çoğaltma
• Ana çerçeveden DBaaS'a gibi, platformlar arası senkronizasyon

Mikro hizmet mimarlarının deyişiyle, bu yaklaşım çift yönlü işlem çıkışı kullanarak Strangler Fig geçiş örüntüsünü her seferinde bir sınırlı bağlam ile mümkün kılar.

İş kritik uygulamalar, dayanıklılık ve süreklilik alanlarında çok yüksek temel performans göstergelerine ve hizmet düzeyi anlaşmalarına ihtiyaç duyar. Bu uygulamalar tek parçalı, mikro hizmet veya ikisinin arasında bir şey olsa da kesinti yaşanması kabul edilemez!

Yaşamsal sistemler için dağıtılmış bir etkinliğe bağlı tutarlılık veri modeli genellikle kabul edilemez. Ancak bu uygulamaların birçok veri merkezinde çalışması gerekir. Bu da iş sürekliliği sorusunu gündeme getirir: "Uygulamalarımı birden fazla veri merkezinde çalıştırırken verilerin doğru ve tutarlı olmalarını nasıl garanti ederim?"

Gerek tek parçalı mimarilerin 'parçalı veri kümeleri' kullanması gerekse mikro hizmetlerin tesisler arası yüksek erişilebilirlik için kurulması yollarından hangisi izlenirse izlensin, veri ağı doğru, yüksek hızda veriyi her mesafede sunar.

Veri ağı, farklı tesislerde merkeziyetsiz ama %100 doğru veri için temel sunar. Örneğin:

• Çok düşük gecikmeli mantıksal işlemler (platformlar arası)
• ACID özelliği doğru verileri garanti eder
• Çoklu-etkin, çift yönlü ve çatışma çözümleme

Modern, hizmet ağı tarzındaki platform, veri alışverişi için etkinlikleri kullanır. Veri katmanında toplu işleme bağımlı olmak yerine, veri yükleri, uygulamada veya veri deposunda etkinlikler gerçekleştiğinde sürekli olarak akar.

Bazı mimariler için, mikro hizmetlerin birbiriyle veri yükü alışverişi yapması gerekir. Diğer örüntüler, tek parçalı uygulamalar veya veri depoları arasında alışveriş gerektirir. Bu da şu soruyu gündeme getirir: “Uygulamalarım ve veri depolarım arasında mikro hizmet veri yüklerinin alışverişini nasıl güvenilir biçimde gerçekleştirebilirim?”

Veri ağı, mikro hizmet merkezli veri alışverişi için temel teknolojiyi sağlayabilir. Örneğin:

• Bağlam içinde mikro hizmetten mikro hizmete
• Bağlamlar arasında mikro hizmetten mikro hizmete
• Tek parça-mikro hizmet arasında geçiş

Etkinlik kaynak bulma, CQRS ve işlem çıkışı gibi mikro hizmet örüntüleri genellikle anlaşılan çözümlerdir; veri ağı bu örüntüleri geniş ölçekte tekrarlanabilir ve güvenilir hale getirmek için araç ve çerçeveler sağlar.

Mikro hizmet tasarım örüntülerinin ötesinde, kurumsal entegrasyon ihtiyacı; veritabanları, iş süreçleri, uygulamalar ve her tür fiziksel cihazlar gibi diğer BT sistemlerine uzanır. Veri ağı, hareket halindeki verileri entegre etmenin temelini oluşturur.

Hareket halindeki veriler genellikle etkinlik tabanlıdır. Kullanıcı eylemi, cihaz etkinliği, işlem adımı veya veri deposu kaydetme işlemlerinin tümü veri yükü içeren bir etkinlik başlatabilir. Bu veri yükleri Internet of Things (IoT) sistemlerini, iş süreçlerini ve veritabanlarını, veri ambarlarını ve veri göllerini entegre etmek için çok önemlidir.

Veri ağı, kuruluş genelinde gerçek zamanlı entegrasyon için temel teknolojiyi sağlar. Örneğin:

• Gerçek dünyadaki cihaz olaylarını BT sistemlerine bağlama
• İş süreçlerini ERP sistemleri arasında entegre etme
• Operasyon veritabanlarını analitik veri depolarıyla uyumlu hale getirme

Büyük kuruluşlarda eski ve yeni sistemler, tek parçalı yapılar ve mikro hizmetler, operasyon ve analitik veri depoları doğal olarak bir arada bulunur. Veri ağı, farklı iş ve veri etki alanlarındaki bu kaynakları birleştirmenize yardımcı olabilir.

Analitik veri depoları özel veri ambarlarını, veri ambarlarını, OLAP küplerini, veri göllerini ve veri gölü teknolojilerini içerebilir.

Genel konuşacak olursak, veriyi bu analitik veri depolarına getirmenin yalnızca iki yolu vardır:

• Zaman çizelgesi ile toplu/mikro toplu yükleme
• Akış alımı - veri olaylarını sürekli yükleme

Veri ağı, akış alma olanağının temelini oluşturur. Örneğin:

• Veritabanlarından veya veri depolarından veri olayları
• Fiziksel cihaz telemetrisinden cihaz olayları
• Uygulama etkinliği günlük kaydı veya iş işlemleri

Etkinlikleri akışla almak, kaynak sistemler üzerindeki etkiyi azaltabilir, verilerin sadakatini artırabilir (veri bilimi için önemlidir) ve gerçek zamanlı analitiğe olanak tanıyabilir.

Analitik veri depolarına alındıktan sonra veri ardışık düzenlerinin genellikle veriyi farklı veri aşamaları veya veri alanlarında hazırlamaları ve dönüştürmeleri gerekir. Bu veri düzenleme işlemi genellikle aşağı akım analitik veri ürünleri için gereklidir.

Veri ağı, analitik veri depolarıyla çalışan ve aşağıdaki temel hizmetleri sağlayan, bağımsız olarak yönetilen bir veri ardışık düzen katmanı sağlayabilir:

• Self servis veri keşfi ve veri hazırlama
• Etki alanları genelinde veri kaynaklarının yönetişimi
• Verileri hazırlama ve gerekli veri ürünü formatlarına dönüştürme
• Tutarlılık sağlayan ilkelere göre veri doğrulama

Bu veri ardışık düzenleri, farklı fiziksel veri depolarında (örneğin marketler, ambarlar veya göller) veya Apache Spark ve diğer veri gölü teknolojileri gibi akış verilerini destekleyen analitik veri platformlarında "pushdown veri akışı" olarak çalışabilmelidir.

Etkinlikler sürekli gerçekleşir. Bir akıştaki etkinliklerin analizi, an be an olanları anlamak için hayati öneme sahip olabilir.

Gerçek zamanlı etkinlik akışlarının bu tür zaman serisi tabanlı analiz edilmesi, gerçek dünyadaki IoT cihaz verileri için ve BT veri merkezlerinizde veya dolandırıcılık izleme gibi finansal işlemlerde neler olup bittiğini anlamakta önemli olabilir.

Tam teşekküllü bir veri ağı, çeşitli etkinlik zaman aralıklarında her türlü etkinliği analiz etmek için temel özellikleri içerir. Örneğin:

• Basit etkinlik akışı analizi (web etkinlikleri)
• İş etkinliği izleme (SOAP/REST etkinlikleri)
• Karmaşık etkinlik işleme (çok akışlı korelasyon)
• Veri etkinliği analizi (veritabanı/ACID işlemlerinde)

Veri ardışık düzenleri gibi akış analizleri de yerleşik veri gölü altyapısında veya ayrı olarak, bulut yerel hizmetler olarak çalışabilir.

Veri entegrasyonu öncüleri, çeşitli dayanıklı veri depoları koleksiyonundan gerçek zamanlı operasyonel ve analitik veri entegrasyon elde etmek istiyorlar. Veri mimarisi akış analitiğine evrildikçe inovasyonlar amansızca ve hızla sürüyor. Operasyonel yüksek erişilebilirlik gerçek zamanlı analitiğin önünü açtı. Veri mühendisliği otomasyonu ise veri uzmanlarına ve analistlere self servis araçlarla olanaklar tanıyarak veri hazırlamayı kolaylaştırıyor.