Bezpłatna chmura Oracle Cloud Free Tier

Twórz, testuj i wdrażaj aplikacje na platformie Oracle Cloud — bezpłatnie.

Tematy dotyczące zarządzania danymi

Czym jest zarządzanie danymi?

Definicja zarządzania danymi

Zarządzanie danymi to praktyka gromadzenia, przechowywania i wykorzystywania danych w sposób bezpieczny, wydajny i ekonomiczny. Celem zarządzania danymi jest pomaganie ludziom, przedsiębiorstwom i urządzeniom podłączonym do sieci w optymalnym wykorzystywaniu danych zgodnie z zasadami firmy i przepisami prawa, aby podejmowane decyzje i działania pozwalały przedsiębiorstwu osiągać maksymalne korzyści. Solidna strategia zarządzania danymi staje się teraz ważniejsza niż kiedykolwiek, ponieważ organizacje w coraz większym stopniu wytwarzają wartość z zasobów niematerialnych.

Definicja zarządzania danymi

Zarządzanie danymi cyfrowymi w przedsiębiorstwie obejmuje szeroki zakres zadań, zasad, procedur i praktyk. Zarządzanie danymi obejmuje m.in. następujące czynności:

  • Tworzenie danych, dostęp do nich i ich aktualizacja na różnych poziomach
  • Przechowywanie danych na wielu platformach chmurowych i lokalnych
  • Zapewnienie wysokiego poziomu dostępności i możliwości odzyskiwania danych po awarii
  • Wykorzystywanie danych w coraz większej liczbie aplikacji, analiz i algorytmów
  • Zapewnienie prywatności i bezpieczeństwa danych
  • Archiwizacja i niszczenie danych zgodnie z harmonogramami ich przechowywania oraz wymaganiami dotyczącymi przestrzegania przepisów

Formalna strategia zarządzania danymi odnosi się do aktywności użytkowników i administratorów, możliwości technologii zarządzania danymi, wymagań regulacyjnych oraz potrzeb przedsiębiorstwa w zakresie generowania korzyści na podstawie zgromadzonych danych.

Kapitał tkwiący w danych to kapitał biznesowy

W dzisiejszej gospodarce cyfrowej dane stanowią rodzaj kapitału — to czynnik ekonomiczny stymulujący produkcję cyfrowych towarów i opracowywanie cyfrowych usług. Producent samochodów nie może wyprodukować nowego modelu bez kapitału finansowego — podobnie nie może też wdrażać modeli autonomicznych, jeśli algorytmy pokładowe nie będą dysponowały danymi do przetwarzania. Ta nowa rola danych ma wpływ na strategię konkurowania, a także na przyszłość informatyki.

Z uwagi na tę kluczową i newralgiczną rolę danych, zaawansowane praktyki zarządzania i solidny system zarządzania są dziś niezbędne w każdym przedsiębiorstwie, niezależnie od jego wielkości i rodzaju.

Współczesne systemy zarządzania danymi

Dzisiejsze przedsiębiorstwa potrzebują skutecznych rozwiązań do zarządzania danymi w zróżnicowanej, ale zunifikowanej warstwie danych. Systemy zarządzania danymi bazują na platformach do obsługi danych i mogą obejmować bazy danych, jeziora danych oraz hurtownie danych, systemy zarządzania wielkimi ilościami danych, narzędzia do analizy danych itd.

Wszystkie te komponenty tworzą spójny mechanizm „przetwarzania danych” w przedsiębiorstwie na potrzeby jego aplikacji oraz analiz i algorytmów wykorzystujących dane pochodzące z tych aplikacji. Mimo że obecne narzędzia pomagają administratorom baz danych (DBA) zautomatyzować wiele tradycyjnych zadań zarządzania, często niezbędna jest interwencja ręczna ze względu na rozmiar i złożoność większości wdrożonych baz danych. Ilekroć wymagana jest interwencja ręczna, rośnie ryzyko wystąpienia błędów. Ograniczenie ręcznego zarządzania danymi jest głównym celem nowej technologii zarządzania nimi — tzw. autonomicznej bazy danych.

Współczesne systemy zarządzania danymi

Platformy zarządzania danymi

Najważniejszym etapem ciągłego dostarczania oprogramowania jest ciągła integracja. Ciągła integracja to praktyka programowania, w ramach której programiści wprowadzają zmiany w kodzie (zwykle niewielkie i przyrostowe) do scentralizowanego repozytorium źródłowego, co uruchamia zbiór zautomatyzowanych kompilacji i testów. To repozytorium umożliwia programistom wczesne i automatyczne przechwytywanie błędów przed przekazaniem ich do produkcji. Potok ciągłej integracji obejmuje zazwyczaj szereg etapów, od zatwierdzenia kodu do przeprowadzania podstawowych, zautomatyzowanych analiz statycznych, przechwytywania zależności oraz tworzenia oprogramowania i wykonywania niektórych podstawowych testów jednostkowych przed utworzeniem artefaktu kompilacji. Systemy zarządzania kodami źródłowymi, takie jak Github czy Gitlab, zapewniają integrację webhooków, co narzędzia CI takie jak Jenkins mogą wykorzystać, aby rozpocząć uruchamianie automatycznych kompilacji i testów po każdym zarejestrowaniu kodu.

Platforma zarządzania danymi to podstawowy system do gromadzenia i analizowania dużych ilości danych w przedsiębiorstwie. Komercyjne platformy danych zazwyczaj zawierają oprogramowanie narzędziowe do zarządzania, opracowane przez dostawcę bazy danych lub przez zewnętrznych dostawców. Te rozwiązania do zarządzania danymi pomagają zespołom IT i administratorom baz danych wykonywać typowe zadania, takie jak:

  • Identyfikacja, alarmowanie, diagnozowanie i eliminowanie błędów w systemie bazy danych lub infrastrukturze podstawowej
  • Przydzielanie pamięci bazy danych i zasobów pamięci masowej
  • Wprowadzanie zmian w projekcie bazy danych
  • Optymalizacja odpowiedzi na zapytania do bazy danych w celu zwiększenia wydajności aplikacji

Coraz chętniej stosowane bazy danych w chmurze umożliwiają przedsiębiorstwom szybkie i ekonomiczne skalowanie w górę lub w dół. Niektóre są dostępne jako usługa, dzięki czemu przedsiębiorstwa mogą zaoszczędzić jeszcze więcej.


Czym jest autonomiczna baza danych

Oparta na chmurze autonomiczna baza danych wykorzystuje sztuczną inteligencję (AI) i samouczenie się maszyn do automatyzacji wielu zadań zarządzania danymi wykonywanych zwykle przez administratorów, w tym zarządzania kopiami zapasowymi i bezpieczeństwem oraz optymalizacją wydajności.

Autonomiczna baza danych, nazywana niekiedy samoczynną bazą danych zapewnia znaczne korzyści w zakresie zarządzania danymi — takie, jak:

  • Ograniczona złożoność
  • Mniejsze ryzyko błędu ludzkiego
  • Wyższy poziom niezawodności i bezpieczeństwa bazy danych
  • Większa wydajność operacyjna
  • Niższe koszty

Coraz chętniej stosowane chmurowe platformy danych umożliwiają przedsiębiorstwom szybkie i ekonomiczne skalowanie w górę lub w dół. Niektóre są dostępne jako usługa, dzięki czemu przedsiębiorstwa mogą zaoszczędzić jeszcze więcej.

Systemy do zarządzania wielkimi wolumenami danych (Big Data)

W pewnym sensie technologia Big Data jest dokładnie tym, na co wskazuje jej nazwa. To po prostu technologia obsługi bardzo wielkich zbiorów danych. Ale Big Data to również większa różnorodność typów danych oraz bardzo duże tempo ich gromadzenia. Pomyślmy o wszystkich danych generowanych codziennie lub co minutę przez media społecznościowe, takie jak Facebook. Ilość, różnorodność i szybkość generowania tych danych sprawia, że są one bardzo cenne dla przedsiębiorstw, ale też zarządzanie nimi jest bardzo złożone.

Coraz więcej danych pochodzi z bardzo różnych źródeł, takich jak kamery wideo, media społecznościowe, nagrania audio i urządzenia IoT (Internet of Things, Internet rzeczy), dlatego musiały powstać specjalne systemy do zarządzania Big Data. Systemy te specjalizują się w trzech ogólnych obszarach:

  • Narzędzia do integracji Big Data gromadzą różne typy danych — od pakietów wsadowych po pliki transmitowane strumieniowo — oraz przekształcają je celem późniejszego wykorzystania.
  • Narzędzia do zarządzania Big Data przechowują i przetwarzają dane w jeziorach lub hurtowniach danych w sposób wydajny, bezpieczny i niezawodny, często korzystając z pamięci masowej do przechowywania obiektów.
  • Analiza dużej ilości danych oferuje nowe informacje dzięki analityce, łącznie z analityką grafówi wykorzystuje uczenie maszynowe oraz wizualizację SI do budowania modeli.

Firmy wykorzystują technologię Big Data do ulepszania i przyspieszania rozwoju produktów, konserwacji predykcyjnej oraz do podnoszenia poziomu obsługi klientów, bezpieczeństwa, wydajności operacyjnej i wielu innych celów. Wraz ze wzrostem ilości Big Data rosną też możliwości.

Wyzwania związane z zarządzaniem danymi

Większość wyzwań w dzisiejszym zarządzaniu danymi wynika z szybszego tempa działalności biznesowej i coraz intensywniejszego rozpowszechniania danych. Rosnąca różnorodność, szybkość i ilość danych dostępnych dla przedsiębiorstw zmusza je do poszukiwania skuteczniejszych narzędzi do zarządzania, aby nadążyć za zmianami. Oto kilka najważniejszych wyzwań, jakim muszą stawić czoła przedsiębiorstwa:

Brak przydatnych informacji w oparciu o dane

Gromadzone i przechowywane są dane z coraz większej liczby źródeł — takich jak czujniki, urządzenia inteligentne, media społecznościowe i kamery wideo. Ale wszystkie te dane nie będą przydatne, jeśli przedsiębiorstwo nie wie, jakimi danymi dysponuje, gdzie się one znajdują i jak z nich korzystać. Rozwiązania do zarządzania danymi wymagają skalowania i wydajności do zapewnienia przydatnych informacji w odpowiednim czasie.

Trudności z utrzymaniem poziomów wydajności zarządzania danymi

Przez cały czas przechwytują, przechowują i wykorzystują coraz więcej danych. Aby utrzymać jak najkrótszy czas reakcji w tej rozrastającej się warstwie, przedsiębiorstwa muszą stale monitorować typ pytań, na które odpowiada baza danych i zmieniać indeksy w miarę jak zmieniają się zapytania bez wpływu na wydajność.

Wyzwania związane ze zmianą wymagań dotyczących danych

Regulacje dotyczące zapewniania zgodności z przepisami są złożone i podlegają wielu jurysdykcjom, a ponadto nieustannie się zmieniają. Przedsiębiorstwa muszą być w stanie łatwo przeglądać swoje dane i identyfikować wszystko, co podlega nowym lub zmienionym wymaganiom. W szczególności chodzi tu o dane umożliwiające identyfikację użytkownika (dane osobowe), które muszą być wykrywane i monitorowane pod kątem zgodności z coraz surowszymi globalnymi przepisami o ochronie danych osobowych.

Potrzeba łatwego przetwarzania i konwersji danych

Samo tylko zbieranie danych i ich identyfikacja nie zapewnia żadnych korzyści – przedsiębiorstwo musi te dane przetwarzać. Jeśli konwersja danych na potrzeby analizy wymaga zbyt dużo czasu i wysiłku, analiza ta nie dojdzie do skutku. W rezultacie firma straci potencjalne korzyści płynące z tych danych.

Stała potrzeba skutecznego przechowywania danych

W nowej rzeczywistości zarządzania danymi przedsiębiorstwa przechowują dane w wielu systemach, w tym w hurtowniach danych i jeziorach nieustrukturyzowanych danych, w których przechowuje się dane w dowolnym formacie w jednym repozytorium. Korporacyjni analitycy danych potrzebują sposobu na szybkie i łatwe przekształcanie danych z ich oryginalnego formatu na format lub model, który umożliwi ich jak najszerszą analizę.

Zapotrzebowanie na stałą optymalizację zwinności informatycznej i jej kosztów

Dzięki dostępności systemów zarządzania danymi w chmurze organizacje mogą teraz wybierać. czy przechowywać i analizować dane w środowiskach lokalnych, w chmurze, czy też w ich hybrydowej kombinacji. Organizacje informatyczne muszą ocenić poziom identyczności między środowiskami lokalnymi i działającymi w chmurze, aby zapewnić maksymalną zwinność informatyczną i obniżyć koszty.

Zasady zarządzania danymi i prywatność danych

Ogólne rozporządzenie o ochronie danych (w Polsce: RODO) uchwalone przez Unię Europejską i wdrożone w maju 2018 r. obejmuje siedem kluczowych zasad przetwarzania danych osobowych i zarządzania nimi. Zasady te obejmują dbałość o zgodność z prawem, uczciwość i przejrzystość, ograniczenie celu użycia, dokładność, ograniczenie zajmowanej pamięci, integralność i poufność itd.

RODO oraz inne obowiązujące przepisy, takie jak California Consumer Privacy Act (CCPA), zmieniają oblicze zarządzania danymi. Wymagania te zaowocowały opracowaniem znormalizowanych przepisów dotyczących ochrony danych, które zapewniają osobom fizycznym kontrolę nad ich danymi osobowymi i sposobem ich wykorzystania. W efekcie konsumenci stają się stronami w procesie zarządzania danymi, dysponującymi realnymi środkami prawnymi w sytuacjach, w których przedsiębiorstwa nie uzyskały ich świadomej zgody na przechwytywanie danych, w niewystarczający sposób kontrolują wykorzystywanie danych lub lokalizacje, w których są one przechowywane, bądź nie spełniają wymogów dotyczących usuwania lub przenoszenia danych.

Najlepsze praktyki zarządzania danymi

Rozwiązywanie problemów z zarządzaniem danymi wymaga kompleksowego, dobrze przemyślanego zestawu najlepszych praktyk. Mimo że konkretne najlepsze praktyki różnią się od siebie pod względem rodzaju danych oraz branży, poniższe najlepsze praktyki pozwalają rozwiązać główne problemy związane z zarządzaniem danymi, z którymi borykają się dziś przedsiębiorstwa:

Utwórz warstwę wykrywania, aby zidentyfikować dane swojej firmy

Warstwa wykrywania zlokalizowana ponad wszystkimi warstwami danych przedsiębiorstwa umożliwia analitykom danych i innym specjalistom wyszukiwanie i przeglądanie zestawów danych, aby umożliwić ich późniejsze wykorzystanie.

Stwórz środowisko do analizy danych, aby móc te dane efektywnie wykorzystywać

Środowisko do analizy danych automatyzuje większość procesów transformacji danych, usprawniając tworzenie i ocenę modeli danych. Zestaw narzędzi eliminujących potrzebę ręcznej transformacji danych może przyspieszyć stawianie hipotez i testowanie nowych modeli.

Korzystaj z autonomicznej technologii, aby utrzymywać odpowiedni poziom wydajności w rozszerzającej się warstwie danych

Autonomiczne funkcje przetwarzania danych wykorzystują sztuczną inteligencję i samouczenie się maszyn do ciągłego monitorowania zapytań do bazy danych i optymalizacji indeksów w miarę zmieniania się zapytań. Dzięki temu baza danych może zapewniać krótki czas reakcji i odciąża administratorów baz danych i analityków danych od wykonywania czasochłonnych zadań ręcznych.

Korzystaj z funkcji odkrywania, aby sprostać wymaganiom dotyczącym zgodności z przepisami

Nowe narzędzia wykorzystują techniki wykrywania danych do przeglądania danych i identyfikowania łańcuchów połączeń, które muszą być wykrywane i monitorowane pod kątem zgodności z wieloma systemami prawnymi. Wraz ze wzrostem na całym świecie wymagań dotyczących zgodności z przepisami, ta zdolność będzie się stawać coraz ważniejsza dla pracowników zajmujących się bezpieczeństwem i oceną ryzyka.

Upewnij się, że korzystasz z konwergentnej bazy danych

Konwergentna baza danych to produkt z wbudowaną natywną obsługą dla wszystkich nowoczesnych typów danych i najnowszymi modelami programistycznymi. Najlepsze konwergentne bazy danych mogą uruchamiać wiele rodzajów zadań przetwarzania, w tym grafy, Internet rzeczy, łańcuch bloków i uczenie maszynowe.

Zapewnij firmie wydajność, skalowalność i dostępność platformy bazy danych

Celem łączenia danych jest umożliwienie analizowania ich w celu podejmowania lepszych decyzji w bardziej odpowiednim czasie. Skalowalna, wysokowydajna platforma bazy danych pozwala firmom szybko analizować dane z różnych źródeł, przy użyciu zaawansowanych narzędzi analitycznych i uczenia maszynowego, co pozwala im na podejmowanie lepszych decyzji biznesowych.

Używaj wspólnej warstwy zapytań do zarządzania wieloma zróżnicowanymi formami przechowywania danych

Nowe technologie umożliwiają współpracę między repozytoriami służącymi do zarządzania danymi, dzięki czemu różnice między nimi znikają. Wspólna warstwa zapytań obejmująca wiele rodzajów pamięci masowej do przechowywania danych pozwala analitykom danych i innym specjalistom oraz aplikacjom do przetwarzania danych uzyskiwać dostęp do danych bez konieczności sprawdzania, gdzie są one przechowywane i bez konieczności ich ręcznej konwersji na użyteczny format.

Znaczenie środowiska do analizy danych

Analityka danych to interdyscyplinarna dziedzina badań, która wykorzystuje metody, procesy i algorytmy naukowe do wyodrębniania z danych wartościowych informacji. Analitycy danych łączą szereg umiejętności — w tym statystykę, informatykę i wiedzę biznesową — w celu analizowania danych zebranych od klientów, z sieci WWW, smartfonów, czujników i innych źródeł.

Zarządzanie danymi ewoluuje

Dzięki nowej roli danych jako kapitału biznesowego, organizacje odkrywają to, co uczestnicy cyfrowej rewolucji i startupy już wiedzą: dane są cennym atutem do identyfikowania trendów, podejmowania decyzji oraz podejmowania działań przed konkurencją. Nowe znaczenie danych w łańcuchu wartości pozwala przedsiębiorstwom aktywnie szukać lepszych sposobów na czerpanie korzyści z tego nowego kapitału.

Dowiedz się więcej o tym, co może zaoferować najlepsze zarządzanie danymi, łącznie z korzyściami wynikającymi z autonomicznej strategii w chmurze oraz skalowalnych, wysokowydajnych funkcji baz danych w chmurze.

Produkty powiązane z zarządzaniem danymi