Geen resultaten gevonden

Uw zoekopdracht heeft geen resultaten opgeleverd

Wat is een datawarehouse?

Een datawarehouse is een type data management systeem dat is ontworpen om business intelligence (BI), met name analyses, mogelijk te maken en te ondersteunen. Datawarehouses zijn exclusief bedoeld voor het uitvoeren van zoekopdrachten en analyses en bevatten vaak grote hoeveelheden historische data. De data in een datawarehouse zijn meestal afgeleid van een breed scala van bronnen, zoals applicatielogbestanden en transactieapplicaties.

In een datawarehouse zijn grote hoeveelheden data uit verschillende bronnen centraal opgeslagen en geconsolideerd. De analytische mogelijkheden stellen organisaties in staat om waardevolle zakelijke inzichten uit hun data te halen om hun besluitvorming te verbeteren. In de loop van de tijd wordt een historisch dossier opgebouwd dat van onschatbare waarde kan zijn voor datawetenschappers en bedrijfsanalisten. Vanwege deze mogelijkheden kan een datawarehouse worden beschouwd als de “single source of truth” van een organisatie.

Een doorsnee datawarehouse bevat vaak de volgende elementen:

  • Een relationele database voor het opslaan en beheren van data
  • Een ELT-oplossing (Extraction, Loading, Transformation) om de data te prepareren voor analyse
  • Functionaliteit voor statistische analyse, rapportage en datamining
  • Clientanalysetools voor het visualiseren en presenteren van data aan zakelijke gebruikers
  • Andere, meer geavanceerde analytische applicaties die praktische
  • informatie genereren door algoritmen voor zelflerende systemen en kunstmatige intelligentie (AI) toe te passen

Waarom geen analyse uitvoeren van uw OLTP-omgeving?

Datawarehouses zijn relationele omgevingen die worden gebruikt voor analyse van data, met name van historische data. Organisaties gebruiken datawarehouses om patronen en relaties in hun data te ontdekken die zich in de loop der tijd ontwikkelen.

Transactionele omgevingen worden daarentegen gebruikt om doorlopend transacties te verwerken en worden vaak gebruikt voor orderinvoer en financiële en retailtransacties. Ze zijn niet gebaseerd op historische data. In OLTP-omgevingen worden historische data zelfs vaak gearchiveerd of gewoonweg verwijderd om de prestaties te verbeteren.

Datawarehouses en OLTP-systemen verschillen aanzienlijk.

Data Warehouse OLTP-systeem
Workload Verwerking van ad hoc zoekopdrachten en data-analyse Alleen voor voorgedefinieerde bewerkingen
Wijziging van data Regelmatig automatisch bijgewerkt Bijgewerkt door afzonderlijke opdrachten van eindgebruikers
Schemaontwerp Deels gedenormaliseerde schema's om de prestaties te optimaliseren Volledig genormaliseerde schema's om de consistentie van data te waarborgen
Datascanning Bereik van duizenden tot miljoenen rijen Bereik van slechts een handvol records tegelijk
Historische data Vele maanden of jaren van data Slechts weken of maanden van data

Datawarehouses, datamarts, en Operation Data Stores

Hoewel ze vergelijkbare functies vervullen, verschillen datawarehouses van datamarts en Operation Data Stores (ODS). Een datamart vervult dezelfde functies als een datawarehouse, maar binnen een veel beperkter bereik — meestal een enkele afdeling of line-of-business. Hierdoor zijn datamarts eenvoudiger op te zetten dan datawarehouses. Er kunnen echter eerder inconsistenties ontstaan omdat het moeilijk kan zijn om data op uniforme wijze te beheren voor een groot aantal verschillende datamarts.

In een ODS worden alleen dagelijkse activiteiten ondersteund. Het zicht op historische data is dus zeer beperkt. Hoewel een ODS heel geschikt is als bron van actuele data en vaak als zodanig wordt gebruikt door datawarehouses, worden geen zoekopdrachten ondersteund waarbij historische gegevens een belangrijke rol spelen.

Heb ik een data-lake nodig?

Organisaties gebruiken zowel data-lakes als datawarehouses voor grote volumes data uit verschillende bronnen. Welke van deze twee het beste kan worden gebruikt, hangt af van wat de organisatie wil doen met de data. Hieronder wordt beschreven hoe de beide opties het best kunnen worden gebruikt:

  • In data-lakes wordt een grote hoeveelheid van ongelijksoortige, ongefilterde data bewaard om later voor een bepaald doel te worden gebruikt. In een data-lake worden data van line-of-business-applicaties, mobiele apps, sociale media, IoT-apparaten, enzovoort vastgelegd in de vorm van onbewerkte data. De structuur, integriteit, selectie en indeling van de verschillende datasets wordt op het moment van analyse afgeleid door de persoon die de analyse uitvoert. Wanneer organisaties betaalbare opslag nodig hebben voor ongeformatteerde, ongestructureerde data uit meerdere bronnen die ze in de toekomst voor een of ander doel willen gebruiken, is een data-lake misschien de juiste keuze.
  • Datawarehouses zijn specifiek bedoeld voor het analyseren van data. Analytische verwerking binnen een datawarehouse wordt uitgevoerd op data dat gereed is gemaakt voor analyse — verzameld, gecontextualiseerd en getransformeerd — met het doel op analyses gebaseerde inzichten te genereren. Datawarehouses zijn ook bedreven in het verwerken van grote hoeveelheden data uit verschillende bronnen. Wanneer organisaties geavanceerde data-analyses nodig hebben die zijn gebaseerd op historische data uit meerdere bronnen binnen de onderneming, is een datawarehouse waarschijnlijk de juiste keuze.

Voordelen van een datawarehouse

Datawarehouses bieden het overkoepelende en unieke voordeel dat ze organisaties in staat stellen grote hoeveelheden gevarieerde data te analyseren en daar aanzienlijke waarde uit te halen, evenals historische gegevens bij te houden.

Vier unieke kenmerken (beschreven door computerwetenschapper William Inmon, die wordt beschouwd als de vader van het datawarehouse) maken het mogelijk voor datawarehouses om dit overkoepelende voordeel te realiseren. Volgens deze definitie zijn datawarehouses:

  • Onderwerpgericht. Ze kunnen data analyseren over een bepaald onderwerp of functioneel gebied (bijvoorbeeld de verkooporganisatie).
  • Geïntegreerd. Datawarehouses bieden consistentie tussen verschillende datatypen uit ongelijksoortige bronnen.
  • Niet-vluchtig. Zodra data zich in een datawarehouse bevinden, zijn ze stabiel en veranderen ze niet.
  • Veranderingen in de loop der tijd. Datawarehouseanalyse kijkt naar veranderingen in de loop der tijd.

Een goed opgezet datawarehouse voert zoekopdrachten zeer snel uit, levert een hoge datadoorvoer en biedt eindgebruikers voldoende flexibiliteit om het datavolume in “hapklare” brokken op te breken of te reduceren om deze nader te kunnen bestuderen om te kunnen voldoen aan diverse behoeften, hetzij op een hoog niveau of op een zeer fijn, gedetailleerd niveau. Het datawarehouse fungeert als de functionele basis voor middleware BI-omgevingen die eindgebruikers rapporten, dashboards en andere interfaces bieden.

Datawarehouse-architectuur

De architectuur van een datawarehouse wordt bepaald op basis van de specifieke behoeften van de organisatie. Enkele veelvoorkomende architecturen zijn:

  • Eenvoudig. Alle datawarehouses delen een basisontwerp waarin metadata, samenvattingsdata en onbewerkte data worden opgeslagen in de centrale opslagplaats van het warehouse. De opslagplaats wordt aan de ene kant gevuld door databronnen en aan de andere kant geraadpleegd door eindgebruikers voor analyse, rapportage en mining.
  • Eenvoudig met voorportaal. Operationele data moeten worden opgeschoond en verwerkt voordat ze in het warehouse worden opgenomen. Hoewel dit programmatisch kan worden gedaan, wordt aan veel datawarehouses een voorportaal voor data toegevoegd voordat deze worden opgenomen in het warehouse, om de preparatie van de data te vereenvoudigen.
  • Naaf en spaken. Door datamarts toe te voegen tussen de centrale opslagplaats en de eindgebruikers kan een organisatie het datawarehouse aanpassen om te worden gebruikt voor verschillende lines-of-business. Wanneer data klaar zijn voor gebruik, worden ze verplaatst naar de juiste datamart.
  • Sandboxes. Sandboxes zijn afgescheiden, veilige gebieden waarin bedrijven snel en informeel nieuwe datasets of manieren om data te analyseren kunnen verkennen, zonder zich te hoeven houden aan de formele regels en het protocol van het datawarehouse.

De evolutie van datawarehouses — van data-analyse tot AI en zelflerende systemen

Toen de datawarehouses op het toneel verschenen aan het einde van de jaren tachtig, was het doel ervan om data te laten vloeien van operationele systemen naar systemen voor het ondersteunen van beslissingen, de zogeheten decision support systems (DSS). Deze eerste datawarehouses vereisten een enorme hoeveelheid redundantie. De meeste organisaties hadden meerdere DSS-omgevingen voor hun verschillende gebruikers. Hoewel de DSS-omgevingen grotendeels gebruikmaakten van dezelfde data, werd het verzamelen, opschonen en integreren van de data vaak voor elke omgeving gerepliceerd.

Omdat datawarehouses steeds efficiënter werden, ontwikkelden ze zich van informatieopslagplaatsen die traditionele BI-platforms ondersteunden tot brede analyse-infrastructuren die een breed scala van toepassingen ondersteunen, zoals operationele analyse en prestatiebeheer.

In elke fase van de ontwikkeling datawarehouses werd vooruitgang geboekt en werd steeds meer toegevoegde waarde geboden aan ondernemingen.

Stap Functie Bedrijfswaarde
1 Transactierapportage Relationele informatie om snapshots van bedrijfsprestaties te maken
2 Slice-and-dice, ad-hoc-zoekopdracht, BI-tools Meer mogelijkheden voor diepere inzichten en meer robuuste analyse
3 Voorspelling van toekomstige prestaties (datamining) Ontwikkeling van visualisaties en toekomstgerichte business intelligence
4 Tactische analyse (ruimtelijk, statistiek) “What-if”-scenario's om gefundeerde praktische beslissingen te nemen op basis van een meer uitgebreide analyse
5 Vele maanden of jaren van data Slechts weken of maanden van data

Ondersteuning van elk van deze vijf stappen vergde een toenemende verscheidenheid aan datasets. Met name de laatste drie stappen vereisten een nog breder scala van data- en analysemogelijkheden.

Momenteel brengen AI en zelflerende systemen een revolutie teweeg in vrijwel elke sector, service en bedrijfsgoed, en datawarehouses vormen daarop geen uitzondering. De groei van big data en de toepassing van nieuwe digitale technologieën zorgt voor verandering in de vereisten voor en mogelijkheden van datawarehouses.

Het autonome datawarehouse vormt de nieuwste stap in deze evolutie en biedt bedrijven de mogelijkheid nog meer waarde te halen uit hun data, en tegelijkertijd de kosten te verlagen en de betrouwbaarheid en prestaties van datawarehouses te verhogen.

Meer informatie over de autonome datawarehouses vindt u in ons e-book. Vervolgens kunt u aan de slag met uw eigen autonome datawarehouse.

Een datawarehouse ontwerpen

Wanneer een organisatie overgaat tot het inrichten van een datawarehouse, moet de organisatie eerst haar specifieke zakelijke vereisten in kaart brengen, overeenstemming bereiken over de reikwijdte en een conceptontwerp opstellen. De organisatie kan vervolgens zowel het logische als het fysieke ontwerp voor het datawarehouse opstellen. Het logische ontwerp betreft de relaties tussen de objecten. Het fysieke ontwerp betreft de beste manier om de objecten op te slaan en op te halen. Tot het fysieke ontwerp behoren ook de transport-, back-up- en herstelprocessen.

In elk datawarehouseontwerp moet rekening worden gehouden met het volgende:

  • Specifieke data-inhoud
  • Relaties binnen en tussen groepen van data
  • De systeemomgeving voor ondersteuning van het datawarehouse
  • De vereiste typen datatransformaties
  • De vernieuwingsfrequentie van de data

Een primaire factor voor het ontwerp is de behoefte van de eindgebruikers. De meeste eindgebruikers zijn geïnteresseerd in het uitvoeren van analyses en het bekijken van het totaal van de data, en niet zo zeer in afzonderlijke transacties. Eindgebruikers weten echter vaak pas echt wat ze willen op het moment dat een specifieke behoefte zich voordoet. Het planningsproces moet dus voldoende verkennend zijn om te anticiperen op behoeften. Tot slot moet de opzet van het datawarehouse ruimte bieden voor uitbreiding en ontwikkeling om gelijke tred te kunnen houden met de evoluerende behoeften van eindgebruikers.

De cloud en het datawarehouse

Datawarehouses in de cloud bieden dezelfde kenmerken en voordelen als on-premises datawarehouses, maar met de extra voordelen van cloud computing, zoals flexibiliteit, schaalbaarheid, wendbaarheid, beveiliging en lagere kosten. Datawarehouses in de cloud stellen ondernemingen in staat zich volledig te richten op het halen van waarde uit hun data, in plaats van op het bouwen en beheren van de hardware- en software-infrastructuur voor het ondersteunen van hun datawarehouse.

Meer informatie over Oracle Cloud en datawarehouses (PDF)

Zero-complexity implementatie: het autonome datawarehouse

Het meest recente datawarehousemodel is het autonome datawarehouse, waarbij gebruik wordt gemaakt van AI en zelflerende systemen om handmatige taken te elimineren en installatie, implementatie en data management te vereenvoudigen. Bij een autonoom datawarehouse-as-a-service in de cloud hoeven geen mensen te worden ingezet voor databasebeheer, hardwareconfiguratie en -beheer, of software-installatie.

Het opzetten van het datawarehouse, het maken van een back-up, patchen en upgraden van de database, en het vergroten of verkleinen van de database worden allemaal automatisch uitgevoerd, met dezelfde flexibiliteit, schaalbaarheid, wendbaarheid en lagere kosten die door cloud platforms wordt geboden. Het autonome datawarehouse elimineert complexiteit, versnelt de implementatie en maakt resources vrij, zodat organisaties zich kunnen richten op activiteiten die waarde toevoegen aan het bedrijf.

Oracle Autonomous Data Warehouse

Oracle Autonomous Data Warehouse is een gebruiksvriendelijk, volledig autonoom datawarehouse dat flexibel kan worden geschaald, snelle zoekopdrachtprestaties levert en geen databasebeheer vereist. De installatie van Oracle Autonomous Data Warehouse is uiterst eenvoudig en snel.

Meer informatie over Oracle Autonomous Data Warehouse (PDF)