Nie znaleziono wyników

Twoje wyszukiwanie nie dało żadnych wyników

Czym jest zarządzanie danymi?

Zarządzanie danymi to praktyka gromadzenia, przechowywania i wykorzystywania danych w sposób bezpieczny, wydajny i ekonomiczny. Celem zarządzania danymi jest pomoc ludziom, organizacjom i połączonym rzeczom w optymalnym wykorzystaniu danych zgodnie z zasadami firmy i przepisami prawa, aby podejmowane decyzje i działania pozwalały osiągać maksymalne korzyści dla organizacji. Solidna strategia zarządzania danymi staje się teraz ważniejsza niż kiedykolwiek, ponieważ organizacje w coraz większym stopniu wytwarzają wartość z zasobów niematerialnych.

Kapitał danych to kapitał biznesowy

W dzisiejszej gospodarce cyfrowej, dane to rodzaj kapitału, ekonomiczny czynnik produkcji cyfrowych towarów i usług. Tak jak producent samochodów nie może produkować nowego modelu bez kapitału finansowego, tak samo nie może produkować samochodów autonomicznych, jeśli pokładowe algorytmy nie będą miały danych do przetwarzania. Ta nowe znaczenie danych ma wpływ na strategię konkurencyjną, a także na przyszłość informatyki.

Biorąc pod uwagę tę kluczową i newralgiczną rolę danych, silne praktyki zarządzania i solidny system zarządzania są niezbędne w każdej organizacji, niezależnie od jej wielkości i rodzaju.

Dowiedz się więcej o narodzinach kapitału danych (PDF)

Zarządzanie danymi cyfrowymi w organizacji obejmuje szeroki zakres zadań, zasad, procedur i praktyk. Zarządzanie danymi obejmuje szeroki zakres czynności:

  • Tworzenie, dostęp do i aktualizacja danych na różnych poziomach
  • Przechowywanie danych na wielu platformach chmurowych i lokalnych
  • Zapewnienie wysokiego stopnia dostępności i możliwości odzyskiwania danych po awarii
  • Wykorzystanie danych w coraz większej liczbie aplikacji, analiz i algorytmów
  • Zapewnienie prywatności i bezpieczeństwa danych
  • Archiwizacja i niszczenie danych według harmonogramów przechowywania i wymagań zgodności

Formalna strategia zarządzania danymi odnosi się do aktywności użytkowników i administratorów, możliwości technologii zarządzania danymi, wymagań regulacyjnych oraz potrzeb organizacji w zakresie generowania wartości na podstawie danych.

Systemy zarządzania danymi dzisiaj

Dzisiejsze organizacje potrzebują skutecznych rozwiązań do zarządzania danymi w zróżnicowanej, ale zunifikowanej warstwie danych. Systemy zarządzania danymi bazują na platformach obsługi danych i mogą obejmować bazy danych, jeziora i hurtownie danych, systemy zarządzania Big Data, analizy danych i inne.

Wszystkie te komponenty tworzą spójny mechanizm przetwarzania danych w organizacji pod kątem jej aplikacji, analiz i algorytmów wykorzystujących dane pochodzące z tych aplikacji. Mimo że obecne narzędzia pomagają administratorom baz danych (DBA) zautomatyzować wiele tradycyjnych zadań zarządzania, często niezbędna jest interwencja ręczna ze względu na rozmiar i złożoność większości wdrożeń baz danych. Ilekroć wymagana jest interwencja ręczna, rośnie ryzyko wystąpienia błędów. Ograniczenie ręcznego zarządzania danymi jest głównym celem nowej technologii zarządzania danymi — autonomicznej bazy danych.

Platforma zarządzania danymi to podstawowy system do gromadzenia i analizowania dużych ilości danych w organizacji. Komercyjne platformy danych zazwyczaj obejmują narzędzia do zarządzania, opracowane przez dostawcę bazy danych lub przez zewnętrznych dostawców. Te rozwiązania do zarządzania danymi pomagają zespołom IT i administratorom baz danych wykonywać typowe zadania, takie jak

  • Identyfikacja, alarmowanie, diagnozowanie i rozwiązywanie błędów w systemie baz danych lub podstawowej infrastrukturze
  • Przydzielanie pamięci bazy danych i zasobów pamięci masowej
  • Wprowadzanie zmian w projekcie bazy danych
  • Optymalizacja odpowiedzi na zapytania do bazy danych w celu zwiększenia wydajności aplikacji

Coraz chętniej stosowane platformy danych w chmurze umożliwiają przedsiębiorstwom szybkie i ekonomiczne skalowanie w górę lub w dół. Niektóre są dostępne jako usługa, dzięki czemu organizacje mogą zaoszczędzić jeszcze więcej.

Oparta na chmurze autonomiczna baza danych wykorzystuje sztuczną inteligencję (AI) i samouczenie się maszyn do automatyzacji wielu zadań zarządzania danymi, które zwykle wykonywane są przez administratorów, w tym zarządzania kopiami zapasowymi, bezpieczeństwem i dostrajaniem wydajności.

Autonomiczna baza danych, nazywana niekiedy samoczynną bazą danych zapewnia znaczne korzyści w zakresie zarządzania danymi — takie, jak

  • Ograniczona złożoność
  • Niższe ryzyko błędu ludzkiego
  • Wyższa niezawodność i bezpieczeństwo bazy danych
    • Poprawiona wydajność operacyjna
  • Niższe koszty

Coraz chętniej stosowane platformy danych w chmurze umożliwiają przedsiębiorstwom szybkie i ekonomiczne skalowanie w górę lub w dół. Niektóre są dostępne jako usługa, dzięki czemu organizacje mogą zaoszczędzić jeszcze więcej.


Systemy do zarządzania Big Data

W pewnym sensie Big Data jest dokładnie tym, na co wskazuje nazwa. To po prostu bardzo dużo danych. Ale Big Data to również większa różnorodność form danych oraz bardzo duże tempo ich gromadzenia. Pomyśl o wszystkich danych generowanych codziennie lub co minutę ze źródeł społecznościowych, takich jak Facebook. Ilość, różnorodność i szybkość tych danych sprawia, że są one bardzo cenne dla przedsiębiorstw, ale też zarządzanie nimi jest bardzo złożone.

Coraz więcej danych pochodzi z bardzo różnych źródeł, takich jak kamery wideo, media społecznościowe, nagrania audio i urządzenia IoT (Internet rzeczy), dlatego musiały powstać specjalne systemy do zarządzania Big Data. Systemy te specjalizują się w trzech ogólnych obszarach:

  • Integracja Big Data zbiera różne typy danych — od zbiorczych pakietów po transmisje strumieniowe — i przekształca je celem przetworzenia
  • Systemy zarządzające Big Data przechowują i przetwarzają dane w jeziorach lub hurtowniach danych w sposób wydajny, bezpieczny i niezawodny, często korzystając z pamięci obiektów.
  • Analiza Big Data pozwala docierać do nowych informacji dzięki analityce i wykorzystuje samouczenie się maszyn oraz wizualizację AI do budowania modeli.

Firmy używają Big Data do ulepszania i przyspieszania rozwoju produktów, konserwacji predykcyjnej, poprawy poziomu obsługi klientów, bezpieczeństwa, wydajności operacyjnej i wielu innych celów. Wraz ze wzrostem ilości Big Data rosną też możliwości.

 

Wyzwania związane z zarządzaniem danymi

Zasady zarządzania danymi i prywatność danych

Ogólne rozporządzenie o ochronie danych (RODO) uchwalone przez Unię Europejską i wdrożone w maju 2018 r. obejmuje siedem kluczowych zasad przetwarzania danych osobowych i zarządzania nimi. Zasady te obejmują zgodność z prawem, uczciwość i przejrzystość; ograniczenie celu użycia; dokładność; ograniczenie zajmowanej pamięci; integralność i poufność; i więcej.

RODO oraz inne obowiązujące przepisy, takie jak California Consumer Privacy Act (CCPA), zmieniają oblicze zarządzania danymi. Wymagania te zapewniają znormalizowane przepisy dotyczące ochrony danych, które dają jednostkom kontrolę nad ich danymi osobowymi i sposobem ich wykorzystania. W efekcie konsumenci stają się stronami w procesie zarządzania danymi dysponującymi realnymi środkami prawnymi w sytuacjach, w których organizacja nie uzyskała świadomej zgody na przechwytywanie danych, słabo kontroluje wykorzystywanie lub lokalizację przechowywania danych lub nie spełnia wymogów dotyczących usuwania lub przenoszenia danych.

Dowiedz się więcej o RODO i zarządzaniu danymi

Większość wyzwań w dzisiejszym zarządzaniu danymi wynika z szybszego tempa działalności i rosnącej liczby danych. Rosnąca różnorodność, szybkość i ilość danych dostępnych dla organizacji zmusza je do poszukiwania skuteczniejszych narzędzi do zarządzania, aby nadążyć za zmianami. Oto kilka najważniejszych wyzwań, przed jakimi stają organizacje:

  • Nie wiedzą, jakie dane są w ich posiadaniu. Gromadzone i przechowywane są dane z coraz większej liczby źródeł takich jak czujniki, urządzenia inteligentne, media społecznościowe i kamery wideo. Ale żaden z tych typów nie jest przydatny, jeśli organizacja nie wie, jakimi danymi dysponuje, gdzie one się znajdują i jak z nich korzystać.
  • Muszą utrzymywać poziomy wydajności w miarę rozszerzania się warstwy danych. Organizacje stale przechwytują, przechowują i wykorzystują coraz więcej danych. Aby utrzymać maksymalny czas reakcji w tej rozrastającej się warstwie, organizacje muszą stale monitorować typ pytań, na które odpowiada baza danych, i zmieniać indeksy w miarę jak zmieniają się zapytania — bez wpływu na wydajność.
  • Muszą spełniać stale zmieniające się wymagania dotyczące zgodności. Przepisy dotyczące zgodności są złożone i wielopłaszczyznowe i nieustannie się zmieniają. Organizacje muszą być w stanie łatwo przeglądać swoje dane i identyfikować wszystko, co podlega nowym lub zmienionym wymaganiom. W szczególności chodzi tu o dane umożliwiające identyfikację użytkownika (dane osobowe), które muszą być wykrywane, śledzone i monitorowane pod kątem zgodności z coraz surowszymi globalnymi przepisami o ochronie prywatności.
  • Nie mają pewności, jak zmienić dane, aby przystosować je do nowych celów. Zbieranie i identyfikacja samych danych nie zapewnia żadnej wartości — organizacja musi je przetwarzać. Jeśli konwersja danych na potrzeby analizy wymaga dużo czasu i wysiłku, analiza ta nie dojdzie do skutku. W rezultacie potencjalna wartość tych danych zostaje utracona.
  • Muszą nadążyć za zmianami w magazynie danych. W nowej rzeczywistości zarządzania danymi organizacje przechowują dane w wielu systemach, w tym w hurtowniach danych i niestrukturalnych jeziorach danych, które przechowują dane w dowolnym formacie w jednym repozytorium. Analitycy danych w organizacji potrzebują sposobu na szybkie i łatwe przekształcanie danych z ich oryginalnego formatu na format lub model, umożliwiające ich jak najszerszą analizę.

Najważniejsze praktyki zarządzania danymi

Rozwiązywanie problemów z zarządzaniem danymi wymaga kompleksowego, dobrze przemyślanego zestawu najlepszych praktyk. I mimo że konkretne rozwiązania różnią się od siebie pod względem rodzaju danych oraz branży, to poniższe najlepsze praktyki pozwalają pokonać główne wyzwania związane z zarządzaniem danymi, przed którymi stają dziś organizacje:

Wartość środowiska analizy danych

Data science, czyli analityka danych, to interdyscyplinarna dziedzina badań, która wykorzystuje metody naukowe, procesy i algorytmy do wyodrębniania wartości z danych. Analitycy danych łączą szereg umiejętności — w tym statystykę, informatykę i wiedzę biznesową — w celu analizowania danych zebranych od klientów, z sieci WWW, smartfonów, czujników i innych źródeł.

Środowisko badania danych może pomóc organizacji w identyfikacji posiadanych danych, a następnie uczynić je użytecznymi. W tym środowisku analitycy danych mogą automatycznie tworzyć, testować i oceniać modele używane do znajdowania danych, a następnie przekształcać je w taki sposób, aby były użyteczne i wartościowe dla organizacji. Dzięki scentralizowanej platformie analitycy danych mogą pracować w środowisku pracy zespołowej, wykorzystując ulubione narzędzia open source, a ich pracę synchronizuje system kontroli wersji.

Dowiedz się więcej o badaniu danych Dowiedz się, jak uzyskać większy wpływ dzięki platformie do badania danych
  • Utwórz warstwę wykrywania, aby zidentyfikować swoje dane. Warstwa wykrywania ponad wszystkimi warstwami danych w organizacji umożliwia analitykom i badaczom danych na wyszukiwanie i przeglądanie zestawów danych, by umożliwić ich późniejsze wykorzystanie.
  • Stwórz środowisko badania danych, aby efektywnie zmienić ich przeznaczenie. Środowisko badania danych automatyzuje większość procesów transformacji danych, usprawniając tworzenie i ocenę modeli danych. Zestaw narzędzi eliminujących potrzebę ręcznej transformacji danych może przyspieszyć stawianie hipotez i testowanie nowych modeli.
  • Używaj autonomicznej technologii, aby utrzymywać odpowiednią wydajność w rozszerzającej się warstwie danych. Autonomiczne funkcje przetwarzania danych wykorzystują sztuczną inteligencję i samouczenie się maszyn do ciągłego monitorowania zapytań bazodanowych i optymalizacji indeksów w miarę zmieniania się zapytań. Dzięki temu baza danych może zapewniać krótki czas reakcji i uwalnia administratorów baz danych i analityków od czasochłonnych zadań ręcznych.
  • Użyj odkrywania, aby zapewnić zgodność z wszystkimi wymaganiami. Nowe narzędzia wykorzystują techniki wykrywania danych do przeglądania danych i identyfikowania łańcuchów połączeń, które muszą zostać wykrywane i monitorowane pod kątem zgodności z wieloma systemami prawnymi. Wraz ze wzrostem wymagań w zakresie zgodności na całym świecie, ta zdolność będzie coraz ważniejsza dla pracowników zajmujących się bezpieczeństwem i oceną ryzyka.
  • Używaj wspólnej warstwy zapytań do zarządzania wieloma zróżnicowanymi formami przechowywania danych. Nowe technologie umożliwiają współpracę między repozytoriami zarządzania danymi, dzięki czemu różnice między nimi znikają. Wspólna warstwa zapytań obejmująca wiele rodzajów przechowywania danych pozwala badaczom, analitykom i aplikacjom do przetwarzania danych uzyskiwać dostęp do danych bez konieczności sprawdzania, gdzie są one przechowywane i bez konieczności ręcznej konwersji na użyteczny format.

Zarządzanie danymi ewoluuje

Dane stają się nowym kapitałem firm, dzięki czemu coraz częściej dostrzegają one to, co pionierzy i innowatorzy świata cyfrowego wiedzą już od jakiegoś czasu: dane są cennym zasobem pozwalającym dostrzegać trendy, podejmować decyzje i zdobywać przewagę konkurencyjną. Nowe znaczenie danych w łańcuchu wartości pozwala organizacjom aktywnie szukać lepszych sposobów na czerpanie wartości z tego nowego kapitału.

W firmach zmieniają się również obowiązki administratorów baz danych, którzy nie muszą już wykonywać wielu żmudnych zadań i mogą skupić się na strategii i zarządzaniu danymi newralgicznymi w środowiskach chmurowych, co obejmuje kluczowe zadania, takie jak modelowanie i bezpieczeństwo danych.