شبكة بيانات المؤسسة

تُعدّ شبكة البيانات موضوعًا مهمًا في برامج المؤسسة، وهي طريقة جديدة للتفكير في البيانات بناءً على بنية موزعة لإدارة البيانات. تتمثل الفكرة في تسهيل الوصول إلى البيانات وإتاحتها لمستخدمي الأعمال من خلال ربط مالكي البيانات ومنتجي البيانات ومستهلكي البيانات مباشرة. تهدف شبكة البيانات إلى تحسين نتائج الأعمال للحلول التي تعتمد على البيانات بالإضافة إلى تعزيز اعتماد هياكل البيانات الحديثة.

من وجهة نظر الأعمال، تقدِّم شبكة البيانات أفكارًا جديدة بشأن "التفكير في منتجات البيانات". بعبارة أخرى، التفكير في البيانات كمنتج يؤدي "مهمة يتعين القيام بها"، على سبيل المثال، لتحسين عملية صنع القرار أو المساعدة في اكتشاف الاحتيال أو تنبيه الشركة إلى التغييرات في ظروف سلسلة التوريد. لإنشاء منتجات بيانات عالية القيمة، يجب على الشركات معالجة التحولات الثقافية والعقلية والالتزام بنهج متعدد الوظائف لنمذجة مجال الأعمال.

من ناحية التكنولوجيا، تتضمّن رؤية Oracle لشبكة البيانات ثلاثة مجالات تركيز جديدة مهمة للهندسة القائمة على البيانات:

1. الأدوات التي توفِّر منتجات البيانات كمجموعات بيانات وأحداث بيانات وتحليلات بيانات
2. هياكل البيانات الموزعة واللامركزية التي تساعد المؤسسات التي تختار الابتعاد عن الهياكل المتجانسة، نحو الحوسبة متعددة السحابة والمختلطة، أو التي يجب أن تعمل بطريقة غير مركزية على مستوى العالم
3. البيانات قيد الحركة للمؤسسات التي لا يمكن أن تعتمد فقط على البيانات المركزية والثابتة والموجهة نحو الدفعة، والانتقال بدلًا من ذلك إلى السجلات المستندة إلى الأحداث والمسارات التي تركز على التدفق لأحداث البيانات في الوقت الفعلي التي توفر تحليلات في الوقت المناسب

مخاوف مهمة أخرى مثل أدوات الخدمة الذاتية للمستخدمين غير التقنيين ونماذج حوكمة البيانات الفيدرالية لا تقل أهمية عن هندسة شبكات البيانات كما هي الحال مع منهجيات إدارة البيانات الأخرى الأكثر مركزية والكلاسيكية.

نهج شبكة البيانات هو تحويل نموذجي للتفكير في البيانات كمنتج. تقدِّم شبكة البيانات التغييرات التنظيمية والعملية التي ستحتاج إليها الشركات لإدارة البيانات كأصل رأسمالي ملموس للأعمال. يستدعي منظور Oracle لبنية شبكة البيانات المحاذاة عبر مجالات البيانات التنظيمية والتحليلية.

تهدف شبمة البيانات إلى ربط منتجي البيانات مباشرة بمستخدمي الأعمال، وإلى أقصى حدّ ممكن، إزالة وسيط تكنولوجيا المعلومات من المشروعات والعمليات التي تستوعب موارد البيانات وإعدادها وتحويلها.

ينصبّ تركيز Oracle على شبكة البيانات على توفير منصة لعملائنا على نحو يمكنها فيه تلبية هذه المتطلبات التكنولوجية الناشئة. يتضمن هذا أدوات لمنتجات البيانات؛ والبنى اللامركزية المدفوعة بالأحداث؛ وأنماط التدفق للبيانات قيد الحركة. لنمذجة مجال منتجات البيانات وغيرها من الاهتمامات الاجتماعية التقنية، تتوافق Oracle مع العمل الذي يقوم به قائدة الفكر في شبكة البيانات، Zhamak Dehghani.

الحقيقة المحزنة هي أن هياكل البيانات الأحادية كانت في الماضي مرهقة ومكلفة وغير مرنة. على مدار السنين، أصبح من الواضح أن معظم وقت وتكاليف منصات الأعمال الرقمية من التطبيقات إلى التحليلات متعمق في جهود التكامل. وبالتالي، تفشل معظم مبادرات المنصة.

في حين أن شبكة البيانات ليست حلًا سحريًا لبنى البيانات المركزية أحادية الجانب، فإن مبادئ استراتيجية شبكة البيانات وممارساتها وتقنياتها مصمّمة لحل بعض أهداف التحديث الأكثر إلحاحًا وغير المعالجة لمبادرات الأعمال القائمة على البيانات.

بعض اتجاهات التكنولوجيا التي أدّت إلى ظهور شبكة البيانات كحل تتضمّن ما يلي:

يعد التحول في طريقة التفكير أهم خطوة أولى نحو شبكة البيانات. إن الرغبة في اعتماد الممارسات المكتسبة للابتكار تعد نقطة الانطلاق نحو التحديث الناجح لهيكل البيانات.

تشمل مجالات الممارسة المكتسبة هذه:

• التفكير في التصميم—منهجية مثبتة لحل "المشكلات الضارة"، يتم تطبيقها على مجالات بيانات المؤسسة لإنشاء منتجات بيانات رائعة
• نظرية الوظائف التي يجب القيام بها——تطبيق ابتكار يركز على العميل وعملية ابتكار مدفوعة بالنتائج لضمان أن منتجات بيانات المؤسسة تحل مشكلات العمل الحقيقية

تقدم منهجيات التفكير التصميمي تقنيات مثبتة تساعد في كسر حواجز المستودعات التنظيمية التي تمنع بشكل متكرر الابتكار متعدد الوظائف. تعد نظرية الوظائف التي يجب القيام بها هي الأساس الحاسم لتصميم منتجات البيانات التي تحقق أهداف المستهلك النهائي المحددة - أو الوظائف التي يتعين القيام بها - فهي تحدد الغرض من المنتج.

على الرغم من ظهور نهج منتج البيانات في البداية من مجتمع علوم البيانات، إلا أنه يتم تطبيقه الآن على جميع جوانب إدارة البيانات. بدلاً من إنشاء هياكل تكنولوجية متجانسة، تركز شبكة البيانات على مستهلكي البيانات ونتائج الأعمال.

بينما يمكن تطبيق التفكير في منتج البيانات على هياكل البيانات الأخرى، فهو يعد جزءًا أساسيًا من شبكة البيانات. للحصول على أمثلة عملية حول كيفية تطبيق التفكير في منتجات البيانات، كتب الفريق في Intuit تحليلاً تفصيليًا لتجاربهم.

يتم إنتاج المنتجات من أي نوع - من السلع الأولية إلى العناصر الموجودة في متجرك المحلي - في صورة أصول ذات قيمة، ويقصد استهلاكها، ولها مهمة محددة يتعين القيام بها. يمكن أن تتخذ منتجات البيانات مجموعة متنوعة من الأشكال، اعتمادًا على مجال العمل أو المشكلة المراد حلها، وقد تشمل:

• التحليلات—التقارير ولوحات المعلومات التاريخية/في الوقت الفعلي
• مجموعات البيانات—مجموعات البيانات بأشكال/تنسيقات مختلفة
• النماذج—كائنات المجال ونماذج البيانات وميزات التعلم الآلي (ML)
• الخوارزميات—نماذج التعلم الآلي، تسجيل النقاط، قواعد العمل
• خدمة البيانات وواجهات برمجة التطبيقات—المستندات والحمولات والموضوعات وواجهات برمجة تطبيقات REST والمزيد

يتم إنشاء منتج البيانات للاستهلاك، وعادة ما يكون مملوكًا خارج نطاق تكنولوجيا المعلومات ويتطلب تتبع سمات إضافية، مثل:

• خريطة المساهم—من يملك هذا المنتج ويصنعه ويستهلكه؟
• التعبئة والتوثيق—كيف يتم الاستهلاك؟ كيف يتم التوسيم؟
• الغرض والقيمة—ما القيمة الضمنية/الصريحة للمنتج؟ هل هناك إهلاك على مدار الوقت؟
• الجودة والاتساق—ما مؤشرات الأداء الرئيسية واتفاقيات مستوى الخدمة للاستخدام؟ هل يمكن التحقق منها؟
• الأصل ودورة الحياة والحوكمة—هل هناك ثقة في البيانات وإمكانية شرحها؟

أنظمة تكنولوجيا المعلومات اللامركزية هي واقع حديث، ومع ظهور تطبيقات SaaS والبنية التحتية للسحابة العامة (IaaS)، فإن لامركزية التطبيقات والبيانات هنا للاستمرارية. تنتقل هياكل برامج التطبيقات بعيدًا عن التركيبات الأحادية المركزية في الماضي إلى الخدمات الصغيرة الموزعة (شبكة خدمة). وسوف تتبع بنية البيانات نفس الاتجاه نحو اللامركزية، مع زيادة توزيع البيانات عبر مجموعة أوسع من المواقع المادية وعبر العديد من الشبكات. ونطلق على هذه شبكة بيانات.

والشبكة عبارة عن هيكل شبكة يتيح لمجموعة كبيرة من العُقد غير الهرمية العمل معًا بشكل تعاوني.

تتضمن بعض الأمثلة الفنية الشائعة ما يلي:

• WiFiMesh—العديد من نقاط التوصيل التي تعمل معًا للحصول على تغطية أفضل
• ZWave/Zigbee—شبكات الأجهزة المنزلية الذكية منخفضة الطاقة
• شبكة 5G—اتصالات خلوية أكثر موثوقية ومرونة
• Starlink—شبكة ذات نطاق عريض عبر الأقمار الصناعية على نطاق عالمي
• شبكة الخدمة—طريقة لتوفير ضوابط موحدة على الخدمات المصغرة اللامركزية (برنامج التطبيق)

تتوافق شبكة البيانات مع مفاهيم الشبكة هذه وتوفر طريقة لامركزية لتوزيع البيانات عبر الشبكات الظاهرية/الفعلية وعبر مسافات شاسعة. إن الهياكل الأحادية لتكامل البيانات القديمة، مثل ETL وأدوات اتحاد البيانات - وحتى في الآونة الأخيرة، تتطلب خدمات السحابة العامة، مثل AWS Glue، بنية تحتية مركزية للغاية.

يجب أن يكون الحل الكامل لشبكة البيانات قادرًا على العمل في إطار عمل متعدد السُحُب، ومن المحتمل أن يمتد من الأنظمة المحلية، والسُحُب العامة المتعددة، وحتى إلى الشبكات المتطورة.

وفي عالم تتسم فيه البيانات بقدر كبير من التوزيع واللامركزية، يحظى دور أمان المعلومات بأهمية قصوى. وعلى عكس الأحادية المركزية للغاية، يجب أن تفوض الأنظمة الموزعة الأنشطة اللازمة للتصديق على مختلف المستخدمين وتفويضهم إلى مستويات مختلفة من الوصول. من الصعب تفويض الثقة بشكل آمن عبر الشبكات.

وتشمل بعض الاعتبارات ما يلي:

• التشفير أثناء التخزين—كبيانات/أحداث تتم كتابتها في مساحة التخزين
• المصادقة الموزعة—للخدمات ومخازن البيانات، مثل mTLS والشهادات وSSO والمخازن السرية ومخازن البيانات
• التشفير أثناء الحركة—كبيانات/أحداث تتدفق في الذاكرة
• إدارة الهوية—خدمات من النوع LDAP/IAM، عبر الأنظمة الأساسية
• الصلاحيات الموزعة—لنقاط نهاية الخدمة لتنقيح البيانات
  على سبيل المثال: وكيل النظام المفتوح (OPA) أداة جانبية لوضع نقطة اتخاذ قرار السياسة (PDP) داخل الحاوية/مجموعة K8S حيث تتم معالجة نقطة نهاية الخدمة المصغرة. قد تكون LDAP/IAM أي خدمة تمتلك قدرة JWT.
• الإخفاء الحتمي—لإخفاء بيانات معلومات تحديد الهوية الشخصية بشكل موثوق ومتسق

قد يكون الأمان داخل أي نظام تقنية معلومات صعبًا، بل إنه يصعب توفير أمان عالٍ داخل الأنظمة الموزعة. إلا أن تلك المشكلات يمكن حلها.

إن المبدأ الأساسي لشبكة البيانات يتمثل في مفهوم توزيع الملكية والمسؤولية. وتكمن أفضل الممارسات في توحيد ملكية منتجات البيانات ومجالاتها مع الأشخاص الموجودين في أقرب وحدة تنظيمية للبيانات. في الممارسة العملية، قد يتوافق ذلك مع البيانات المصدر (على سبيل المثال، مصادر البيانات الأولية، مثل أنظمة التشغيل للسجلات/التطبيقات) أو مع البيانات التحليلية (على سبيل المثال، عادةً البيانات المركبة أو المجمعة التي تتم تنسيقها لسهولة الاستهلاك من قِبل مستهلكي البيانات). وفي كلتا الحالتين، غالبًا ما يتماشى منتجو البيانات ومستهلكوها مع وحدات الأعمال وليس مع الوحدات التنظيمية لتكنولوجيا المعلومات.

غالبًا ما تقع الطرق القديمة لتنظيم مجالات البيانات في فخ التوافق مع الحلول التقنية، مثل أدوات ETL أو مستودعات البيانات أو مخازن البيانات أو التنظيم الهيكلي للشركة (الموارد البشرية والتسويق ومجالات العمل الأخرى). ومع ذلك، ففي حالة حدوث مشكلة أعمال معينة، غالبًا ما تكون مجالات البيانات أكثر اتساقًا مع نطاق المشكلة الجاري حلها، أو سياق عملية أعمال معينة، أو مجموعة التطبيقات في منطقة مشكلات محددة. في الوحدات التنظيمية الكبيرة، عادةً ما تمتد مجالات البيانات هذه عبر المؤسسات الداخلية والبصمات التكنولوجية.

يأخذ التحليل الوظيفي لمجالات البيانات أولوية مرتفعة من الدرجة الأولى في شبكة البيانات. يمكن أن تكون منهجيات تحليل البيانات المختلفة لنمذجة المجال بأثر رجعي على بنية شبكة البيانات بما في ذلك نمذجة مستودع البيانات التقليدي (مثل Kimball وInmon) أو نمذجة مخزن البيانات، ولكن المنهجية الأكثر شيوعًا التي يتم تجربتها حاليًا في بنية شبكة البيانات هي التصميم القائم على المجال (DDD). ظهر نهج DDD من التحليل الوظيفي للخدمات الصغيرة ويجري تطبيقه الآن في سياق شبكة بيانات.

من المجالات المهمة التي تمت من خلالها إضافة Oracle إلى مناقشة شبكة البيانات تعزيز أهمية البيانات في الحركة كمكون أساسي لشبكة بيانات حديثة. تعد البيانات قيد التنفيذ أمرًا ضروريًا بشكل أساسي للخروج بشبكة بيانات من العالم القديم الذي يتميز بمعالجة دفعية مركزية أحادية. تجيب إمكانات البيانات أثناء الحركة على العديد من أسئلة شبكة البيانات الأساسية، مثل:

• كيف يمكننا الوصول إلى منتجات البيانات المتوافقة مع المصادر في الوقت الحقيقي؟
• ما الأدوات التي يمكن أن توفر الوسائل لتوزيع معاملات البيانات الموثوقة عبر شبكة بيانات لامركزية ماديًا؟
• عندما أحتاج إلى إتاحة أحداث البيانات كواجهات برمجة تطبيقات لمنتج البيانات، ما الذي يمكنني استخدامه؟
• بالنسبة لمنتجات البيانات التحليلية التي يجب أن تكون محدثة باستمرار، كيف يمكنني التوافق مع مجالات البيانات وضمان الثقة والصلاحية؟

هذه الأسئلة ليست مجرد مسألة متعلقة بـ "تفاصيل التنفيذ" ولكنها ذات أهمية مركزية لهيكل البيانات نفسه. سيستخدم التصميم المستند إلى المجال للبيانات الثابتة تقنيات وأدوات مختلفة عن عملية البيانات المتحركة الديناميكية للتصميم نفسه. على سبيل المثال، في هياكل البيانات الديناميكية، يكون دفتر الأستاذ هو المصدر المركزي للحقيقة لأحداث البيانات.

تعد دفاتر الأستاذ عنصرًا أساسيًا في إنشاء وظيفة هندسة البيانات الموزعة. تمامًا كما هو الحال مع دفتر الأستاذ المحاسبي، يسجل دفتر أستاذ البيانات المعاملات فور حدوثها.

عندما نوزع دفتر الأستاذ، تصبح أحداث البيانات "قابلة للتكرار" في أي مكان. بعض دفاتر الأستاذ تشبه إلى حد ما مسجل رحلة الطائرة الذي يتم استخدامه للتوافر العالي ومواجهة الكوارث.

على عكس مخازن البيانات المركزية والمتجانسة، فإن دفاتر الأستاذ الموزعة مصممة خصوصًا لتتبع الأحداث شديدة الصغر و/أو المعاملات التي تحدث في أنظمة (خارجية) أخرى.

شبكة البيانات ليست مجرد نوع واحد من دفتر الأستاذ. اعتمادًا على حالات الاستخدام والمتطلبات، يمكن لشبكة البيانات الاستفادة من أنواع مختلفة من دفاتر أستاذ البيانات المستندة إلى الأحداث، بما في ذلك ما يلي:

• دفتر أستاذ الأحداث للأغراض العامة—مثل Kafka أو Pulsar
• دفتر أستاذ أحداث البيانات—أدواتCDC/النسخ المتماثل الموزعة
• برنامج وسيط للمراسلة—يشمل ESB، وMQ، وJMS، وAQ
• دفتر أستاذ سلسلة السجلات—لإجراء معاملات آمنة وغير قابلة للتغيير ومتعددة الأطراف

معًا، يمكن أن تعمل دفاتر الأستاذ هذه كنوع من سجل الأحداث الدائم للمؤسسة بأكملها، ما يوفر قائمة تشغيل لأحداث البيانات التي تحدث على أنظمة التسجيل وأنظمة التحليلات.

تعد تدفقات البيانات متعددة اللغات أكثر انتشارًا من أي وقت مضى. وهي تختلف حسب أنواع الأحداث والحمولات ودلالات المعاملات المختلفة. يجب أن تدعم شبكة البيانات أنواع الدفق الضرورية لمجموعة متنوعة من أحمال عمل بيانات المؤسسة.

بالطبع، هناك أكثر من ثلاث سمات لشبكة البيانات. لقد ركزنا على العناصر الثلاثة المذكورة أعلاه كطريقة لجذب الانتباه إلى السمات التي تعتقد Oracle أنها بعض الجوانب الجديدة والفريدة من نهج شبكة البيانات الحديثة الناشئة.

تشمل سمات شبكة البيانات المهمة الأخرى ما يلي:

• أدوات الخدمة الذاتية— تنتهج شبكة البيانات الاتجاه العام لإدارة البيانات نحو الخدمة الذاتية، يجب أن يأتي المطورون المدنيون بشكل متزايد من صفوف مالكي البيانات
• حوكمة البيانات— انتهجت شبكة البيانات أيضًا الاتجاه طويل الأمد نحو نموذج حوكمة اتحادي أكثر رسمية كما دافع عنه كبار مسؤولي البيانات ومضيفو البيانات وموردي كتالوجات البيانات لسنوات عديدة.
• قابلية استخدام البيانات — بالنظر إلى مبادئ شبكة البيانات، هناك الكثير من العمل الأساسي حول ضمان أن منتجات البيانات قابلة للاستخدام بشكل كبير. ستُعنى مبادئ منتجات البيانات بالبيانات القيمة والقابلة للاستخدام وإمكانية مشاركتها.

وبالنظر إلى ما هو أبعد من عمليات ترحيل "الرفع والتحويل" لهياكل البيانات الأحادية إلى السحابة، تسعى العديد من المؤسسات أيضًا إلى إنهاء تطبيقاتها المركزية في الماضي والانتقال إلى هيكل تطبيقات خدمات صغيرة أكثر حداثة.

ولكن الأنظمة أحادية للتطبيقات القديمة تعتمد عادةً على قواعد بيانات ضخمة، ما يثير سؤالاً حول كيفية تقسيم خطة الترحيل لتقليل التعطيل والمخاطر والتكاليف. يمكن أن توفر شبكة البيانات إمكانات تشغيلية مهمة لتقنية المعلومات للعملاء الذين يقومون بعمليات انتقال مرحلية من العمليات الأحادية إلى هيكل الشبكة. على سبيل المثال:

• إلغاء تحميل المجال الفرعي لمعاملات قاعدة البيانات، مثل تصفية البيانات حسب "السياق المحدد".
• استنساخ المعاملة ثنائية الاتجاه لعمليات الترحيل المرحلية
• المزامنة بين الأنظمة الأساسية مثل حاسب كبير إلى DBaaS

في لغة مهندسي الخدمات الصغيرة، يستخدم هذا النهج صندوق المعاملات الصادرة ثنائي الاتجاه لتمكين لتمكين نمط ترحيل التين الخانق، بمعدل سياق محدد في المرة.

تتطلب التطبيقات الحيوية للأعمال مؤشرات أداء رئيسية عالية جدًا واتفاقيات مستوى الخدمة حول المرونة والاستمرارية. بغض النظر عما إذا كانت هذه التطبيقات أحادية أو خدمات صغيرة أو شيئًا ما بينهما، لا يمكن أن تتعطل!

بالنسبة للأنظمة ذات المهام الحرجة، عادة ما يكون نموذج البيانات الموزع القائم على الاتساق الاحتمالي غير مقبول. ومع ذلك، يجب أن تعمل هذه التطبيقات عبر العديد من مراكز البيانات. يؤدي هذا إلى طرح السؤال المتعلق باستمرارية الأعمال "كيف يمكنني تشغيل تطبيقاتي عبر أكثر من مركز بيانات واحد مع الاستمرار في ضمان البيانات الصحيحة والمتسقة "

بغض النظر عما إذا كانت الهياكل الأحادية تستخدم "مجموعات بيانات مقسمة" أو يتم إعداد الخدمات الصغيرة للتوافر العالي عبر المواقع، فإن شبكة البيانات تقدم بيانات صحيحة وعالية السرعة على أي مسافة.

يمكن أن توفر شبكة البيانات الأساس للبيانات اللامركزية، والتي تكون صحيحة بنسبة 100٪ عبر المواقع. على سبيل المثال:

• المعاملات المنطقية شديدة الانخفاض للكمون (عبر الأنظمة الأساسية)
• تضمن ACID البيانات الصحيحة.
• حل متعدد الأنشطة ثنائي الاتجاه وحل التعارضات

يستخدم النظام الأساسي الحديث على غرار شبكة الخدمة الأحداث لتبادل البيانات. بدلاً من الاعتماد على المعالجة الدفعية في طبقة البيانات، تتدفق حمولات البيانات بشكل مستمر عند وقوع الأحداث في التطبيق أو مخزن البيانات.

بالنسبة لبعض الهياكل، تحتاج الخدمات الصغيرة إلى تبادل حمولات البيانات بعضها مع بعض. تتطلب الأنماط الأخرى التبادل بين التطبيقات الأحادية أو مخازن البيانات. وهذا يطرح السؤال، "كيف يمكنني تبادل حمولات بيانات الخدمات المصغرة بشكل موثوق بين تطبيقاتي ومخازن البيانات الخاصة بي؟"

يمكن لشبكة البيانات أن توفر التقنية الأساسية لتبادل البيانات المتمحور حول الخدمات المصغرة. على سبيل المثال:

• الخدمة المصغرة إلى الخدمة المصغرة في السياق
• الخدمة المصغرة إلى الخدمة المصغرة عبر السياقات
• عمود منفصل إلى/من الخدمة المصغرة

تعد أنماط الخدمات المصغرة، مثل تحديد مصدر الأحداث وCQRS، وصندوق المعاملات الخارجية، حلولاً مفهومة بشكل شائع؛ حيث توفر شبكة البيانات الأدوات والأطر لجعل هذه الأنماط قابلة للتكرار وموثوقة على نطاق واسع.

بالإضافة إلى أنماط تصميم الخدمات المصغرة، تمتد الحاجة إلى تكامل المؤسسات إلى أنظمة تكنولوجيا المعلومات الأخرى، مثل قواعد البيانات وعمليات الأعمال والتطبيقات والأجهزة المادية من جميع الأنواع. توفر شبكة البيانات الأساس لتكامل البيانات في الحركة.

عادة ما تكون البيانات قيد الحركة قائمة على الأحداث. يمكن أن يؤدي إجراء المستخدم أو حدث الجهاز أو خطوة العملية أو تثبيت مخزن البيانات إلى بدء حدث باستخدام حمولة البيانات. تعد حمولات البيانات هذه أمرًا بالغ الأهمية لدمج أنظمة Internet of Things (IoT) وعمليات الأعمال وقواعد البيانات ومستودعات البيانات ومخازن البيانات.

توفر شبكة البيانات التقنية الأساسية للتكامل في الوقت الفعلي عبر المؤسسة. على سبيل المثال:

• ربط أحداث الأجهزة في العالم الحقيقي بأنظمة تكنولوجيا المعلومات
• تكامل عمليات الأعمال عبر أنظمة تخطيط موارد المؤسسات
• مواءمة قواعد البيانات التشغيلية مع مخازن البيانات التحليلية

وبطبيعة الحال، سيكون لدى المؤسسات الكبيرة مزيج من الأنظمة القديمة والجديدة، والوحدات والخدمات الصغيرة، ومخازن البيانات التشغيلية والتحليلية؛ ويمكن لشبكة البيانات أن تساعد في توحيد هذه الموارد عبر مجالات الأعمال والبيانات المختلفة.

قد تشتمل مخازن البيانات التحليلية على مخازن البيانات ومستودعات البيانات ومكعبات OLAP ومستودعات البيانات وتقنيات مجموعة بحيرة البيانات.

بوجه عام، هناك طريقتان فقط لإحضار البيانات إلى مخازن البيانات التحليلية هذه:

• تحميل الدُفعات/الدُفعات الصغيرة — على مجدول زمني
• استيعاب الدفق - تحميل أحداث البيانات باستمرار

توفر شبكة البيانات الأساس لإمكانية استيعاب البيانات المتدفقة. على سبيل المثال:

• أحداث البيانات من قواعد البيانات أو مخازن البيانات.
• أحداث الأجهزة من بيانات تتبع الاستخدام للجهاز المادي
• تسجيل أحداث التطبيق أو معاملات الأعمال

يمكن أن يؤدي استيعاب الأحداث عن طريق الدفق إلى تقليل التأثير على أنظمة المصدر، وتحسين دقة البيانات (مهم لعلم البيانات)، وتمكين التحليلات في الوقت الفعلي.

بمجرد استيعابها في مخازن البيانات التحليلية، عادة ما تكون هناك حاجة إلى مسارات بيانات لإعداد البيانات وتحويلها عبر مراحل بيانات أو مناطق بيانات مختلفة. غالبًا ما تكون عملية تنقيح البيانات هذه مطلوبة لمنتجات البيانات التحليلية اللاحقة.

يمكن أن توفر شبكة البيانات طبقة مسار توجيه بيانات محكومة بشكل مستقل تعمل مع مخازن البيانات التحليلية، ما يوفر الخدمات الأساسية التالية:

• اكتشاف بيانات الخدمة الذاتية وإعداد البيانات
• حوكمة موارد البيانات عبر المجالات
• إعداد البيانات وتحويلها إلى تنسيقات منتجات البيانات المطلوبة
• التحقق من البيانات من خلال السياسة التي تضمن الاتساق

يجب أن تكون مسارات البيانات هذه قادرة على العمل عبر مخازن بيانات مادية مختلفة (مثل المتاجر أو المستودعات أو المخازن) أو "تدفق بيانات تنازلي" داخل الأنظمة الأساسية للبيانات التحليلية التي تدعم تدفق البيانات، مثل Apache Spark وغيرها من تقنيات مجموعة بحيرة البيانات.

الأحداث تحدث باستمرار. يمكن أن يكون تحليل الأحداث في الدفق أمرًا بالغ الأهمية لفهم ما يحدث من لحظة إلى أخرى.

قد يكون هذا النوع من التحليل المستند إلى السلاسل الزمنية لتدفقات الأحداث في الوقت الفعلي مهمًا لبيانات جهاز IoT في العالم الحقيقي وفهم ما يحدث في مراكز بيانات تكنولوجيا المعلومات أو عبر المعاملات المالية، مثل مراقبة الاحتيال.

ستشمل شبكة البيانات كاملة الميزات الإمكانات التأسيسية لتحليل الأحداث من جميع الأنواع، عبر أنواع مختلفة كثيرة من الإطارات الزمنية للحدث. على سبيل المثال:

• تحليل تدفق الأحداث البسيط (أحداث الويب)
• مراقبة نشاط الأعمال (أحداث SOAP/REST)
• معالجة الحدث المركب (ارتباط متعدد البث)
• تحليل حدث البيانات (في معاملات DB/ACID)

على غرار مسارات البيانات، قد تكون تحليلات التدفق قادرة على العمل داخل البنية التحتية الحالية لمجموعة بحيرة البيانات، أو بشكل منفصل، كخدمات أصلية سحابية.

يبحث هؤلاء الموجودون في الحافة الرائدة لتكامل البيانات عن تكامل البيانات التشغيلية والتحليلية في الوقت الحقيقي من مجموعة متنوعة من مخازن البيانات المرنة. لقد كانت الابتكارات مستمرة بلا هوادة وسرعة مع تطور هيكل البيانات إلى تدفق التحليلات. أدى التوافر العالي التشغيلي إلى إجراء تحليلات في الوقت الحقيقي، وتبسط أتمتة هندسة البيانات إعداد البيانات، ما يتيح لعلماء البيانات والمحللين أدوات الخدمة الذاتية.