6 typowych wyzwań związanych z uczeniem modelu sztucznej inteligencji

W przypadku projektów związanych ze sztuczną inteligencją (SI) każdy proces uczenia modelu przebiega w inny sposób. Zakres, odbiorcy, zasoby techniczne, ograniczenia finansowe, a nawet produktywność i umiejętności programistów — wszystkie te czynniki wpływają na ten proces, tworząc szerokie spektrum wyzwań.

Trudności związane z uczeniem konkretnego modelu mogą być unikatowe, ale można też wskazać kilka wspólnych motywów. W tym artykule omówiono sześć najczęstszych problemów występujących podczas uczenia modelu sztucznej inteligencji oraz zaproponowano rozwiązania i środki zaradcze zarówno dla zespołu programistów, jak i dla całej organizacji.

Dlaczego uczenie modelu sztucznej inteligencji jest takie trudne?

Pomimo szybkiego rozwoju zasobów związanych ze sztuczną inteligencją proces uczenia modelu sztucznej inteligencji nadal stanowi wyzwanie. Niektóre problemy prowadzą do nakręcenia się spirali problemów. W miarę jak zasoby stają się coraz większe i coraz bardziej dostępne, modele sztucznej inteligencji stają się coraz bardziej złożone. Czy są dokładne? Czy można je skalować?

Kluczowe wnioski

• Wyzwania związane z uczeniem modelu sztucznej inteligencji mogą obejmować szerokie spektrum czynników w całej organizacji i wykraczać poza problemy techniczne.
• Wyzwania techniczne często można rozwiązać poprzez powiększenie zestawów danych treningowych lub dodanie zewnętrznych zasobów chmurowych w celu zwiększenia mocy obliczeniowej.
• Pokonanie tych wyzwań wymaga połączenia wiedzy technicznej i elastycznych procesów oraz odpowiedniej kultury współpracy między interesariuszami.

6 typowych wyzwań związanych z uczeniem modelu sztucznej inteligencji

Od początkowego określenia zakresu projektu do ostatecznego wdrożenia, uczenie modelu sztucznej inteligencji obejmuje wiele różnych działów. Z perspektywy technicznej działy IT muszą zrozumieć wymagania dotyczące infrastruktury sprzętowej, inżynierowie danych muszą zadecydować o źródłach pozyskania danych treningowych, a programiści muszą rozważyć inwestycje w niezbędne oprogramowanie i systemy.

Z perspektywy operacyjnej rodzaj projektu związanego ze sztuczną inteligencją definiuje działy operacyjne, na które taki projekt ma wpływ. Na przeznaczenie, zakres i cele projektu mogą wpływać również działy marketingu, sprzedaży, kadr itp.

Oznacza to, że projekt uczenia modelu sztucznej inteligencji wymaga zaangażowania wielu osób. A im więcej jest takich osób, tym więcej pojawia się ograniczeń i zmiennych, które zwiększają wyzwania z perspektywy organizacyjnej. Na poniższej liście zebrano sześć najczęstszych wyzwań związanych z uczeniem modelu sztucznej inteligencji:

Na tej ilustracji przedstawiono sześć wyzwań związanych z uczeniem modelu sztucznej inteligencji:

• Sprzęt i oprogramowanie: Ograniczenia zasobów / zdolności sprzętu i niezgodne oprogramowanie
• Algorytmy: Wybór typu modelu, nadmierne lub niedostateczne dopasowanie
• Zbiory danych: Niewystarczające, niezrównoważone lub niskiej jakości dane
• Pracownicy: Dynamiczny rynek pracy i konkurencja o specjalistów ds. sztucznej inteligencji
• Zarządzanie projektami: Luki w komunikacji i problematyczne oczekiwania między działami
• Zarządzanie danymi: Kwestie bezpieczeństwa, prywatności, dostępu i własności w całej organizacji

1. Wyzwania związane ze zbiorem danych

Zbiory danych treningowych są podstawą każdego modelu sztucznej inteligencji. Oznacza to, że od jakości i zakresu tych zbiorów zależy stopień dokładności danych generowanych przez sztuczną inteligencję. W tym przypadku źródłem problemów z danymi może być:

• Nierównowaga danych. Brak równowagi danych prowadzi do pojawiania się stronniczości w modelu uczenia sztucznej inteligencji. Jeśli na przykład model sztucznej inteligencji sprzedawcy odzieży wykorzystuje wyłącznie dane dotyczące butów, nie będzie wówczas zdolny do uwzględnienia zmiennych tworzonych wyłącznie przez rozmiary koszul lub sukienek.
• Niewystarczające dane. Gdy modele uczenia sztucznej inteligencji korzystają jedynie z niewielkiej ilości danych, zdolność modelu do dokładnego przewidywania staje się niezwykle ograniczona. Modele wymagają zatem ilości danych treningowych wystarczającej do pełnego dopracowania rezultatów i usunięcia stronniczości. W przeciwnym razie proces uczenia będzie przypominać jazdę do celu z zaplanowanymi tylko niektórymi etapami.
• Niska jakość danych. Podczas gdy nierównowaga danych prowadzi do stronniczości w przewidywaniach i rezultatach, niska jakość danych prowadzi do ogólnej niedokładności. Pierwszym działaniem, które ma temu zapobiec, jest weryfikacja źródeł pod kątem jakości danych.

2. Wyzwania związane z algorytmami

Jeśli zbiory danych treningowych są podstawą modelu sztucznej inteligencji, to algorytm stanowi jego główną strukturę. Aby spójnie uzyskiwać dokładne wyniki z modelu sztucznej inteligencji, programiści muszą starannie opracować i wytrenować algorytm, aby zapewnić właściwe jego dopasowanie do potrzeb projektu.

• Wybór odpowiedniego algorytmu. Który algorytm jest odpowiedni dla danego projektu? Dostępnych jest wiele algorytmów sztucznej inteligencji, a każdy z nich ma swoje mocne i słabe strony. Na przykład algorytmy regresji logistycznej mogą szybko posuwać projekty naprzód, ale zwracają tylko wyniki w postaci binarnej. Dobranie odpowiedniego algorytmu wymaga odpowiedniego wyważenia kwestii związanych z zakresem, rezultatami i wykorzystaniem zasobów.
• Nadmierne dopasowanie. Nadmierne dopasowanie ma miejsce wtedy, gdy model sztucznej inteligencji staje się zbyt dostosowany do właściwego rezultatu, powodując, że pomija inne wyniki, które powinny znajdować się w jego zakresie. Sytuacja taka występuje z różnych powodów, w tym z powodu zbyt małej liczby zbiorów danych treningowych, zbyt jednorodnych zbiorów danych treningowych i zbyt złożonych modeli prowadzących do nieporozumień i „zaszumienia danych”.
• Niedopasowanie. Niedopasowanie ma miejsce wtedy, gdy model uczenia sztucznej inteligencji wymaga dalszego treningu i zapewnia dokładne wyniki tylko w bardzo ograniczonych okolicznościach. Typowym przykładem niedopasowania jest sytuacja, w której model działa dobrze na bazie początkowych zbiorów danych treningowych, ale zawodzi zarówno w przypadku dalszej walidacji, jak i danych rzeczywistych. Niedopasowanie często pojawia się wtedy, gdy model jest zbyt prosty w odniesieniu do celów projektu lub zespoły nie czyszczą odpowiednio zbiorów danych treningowych przed ich użyciem.

3. Wyzwania związane ze sprzętem i oprogramowaniem

Obsługa procesu uczenia modeli sztucznej inteligencji stawia przed działami IT różne wyzwania związane ze sprzętem i oprogramowaniem. Do wyzwań takich można zaliczyć zapewnienie wystarczającej mocy obliczeniowej i pojemności pamięci masowej, odpowiednich zasobów danych oraz odpowiednich mechanizmów integracji i zgodności, aby doprowadzić do końca projekt uczenia sztucznej inteligencji.

Ogólnie rzecz biorąc, udane zakończenie takiego projektu wymaga zarządzania bardzo dużymi zbiorami danych. Oznacza to, że działy IT muszą zapewnić trenerom wystarczającą ilość pamięci masowej, niezbędny dostęp, system zarządzania danymi oraz zgodne narzędzia i frameworki.

• Sprzęt. Aby przetwarzać i analizować duże zbiory danych, zwłaszcza w przypadku bardzo złożonych modeli, takich jak modele stosowane w badaniach medycznych, dział IT musi zapewnić wystarczającą wydajność serwerów i systemów pamięci masowej. Uczenie modelu sztucznej inteligencji wymaga dużej mocy obliczeniowej, należy się zatem wcześniej upewnić, że zakres projektu jest zgodny z dostępnymi zasobami.
• Oprogramowanie. Uczenie modelu sztucznej inteligencji wymaga integracji szeregu specjalnych narzędzi programistycznych, frameworków i systemów, zarówno na wyższym, jak i niższym szczeblu. Sprawdzenie zgodności jest zatem kluczowym elementem wstępnych prac nad projektem, ponieważ integracja specjalistycznych narzędzi z istniejącymi systemami IT może okazać się bardzo skomplikowana.

4. Wyzwania związane z zatrudnieniem dobrych specjalistów

Do opracowania i iteracji modeli uczenia sztucznej inteligencji oraz zarządzania nimi potrzebni są specjaliści z różnych dziedzin technicznych. Brak doświadczenia w jakimkolwiek obszarze może łatwo zniweczyć proces uczenia, ostatecznie prowadząc do konieczności rozpoczęcia projektu od nowa.

• Zapotrzebowanie na specjalistów ds. sztucznej inteligencji. Aby zebrać doskonały zespół programistów i inżynierów danych, trzeba zatrudniać mądrze. Umiejętności w zakresie sztucznej inteligencji i samouczenia się maszyn są jednak na tyle pożądane, że pozyskanie odpowiednich osób może wymusić zastosowanie bardzo konkurencyjnego procesu rekrutacji. Pracodawcy mogą zatem działać szybko po zidentyfikowaniu kandydata i być na bieżąco ze stanem zapotrzebowania na rynku. Aby przyciągnąć najlepszych specjalistów, warto pokazać swoje zaangażowanie w tę technologię, na przykład poprzez uruchomienie centrum doskonalenia rozwiązań związanych ze sztuczną inteligencją.
• Brak wyszkolonych specjalistów ds. sztucznej inteligencji. Jeśli projekt dotyczący sztucznej inteligencji rozpoczyna się ze szczupłym zespołem programistów, może on doprowadzić do generowania trwale niedokładnych lub stronniczych wyników, o ile w ogóle zostanie ukończony. Angażowanie się w taki projekt bez udziału wykwalifikowanych specjalistów to strata czasu i pieniędzy, dlatego należy być przygotowanym na inwestowanie zarówno w pracowników, jak i technologię.

5. Wyzwania związane z zarządzaniem projektem z zakresu sztucznej inteligencji

Projekty związane ze sztuczną inteligencją w przedsiębiorstwie mogą być kosztowne i zasobochłonne. Poza bezpośrednimi problemami związanymi z tworzeniem modeli, opieką nad źródłami danych i uczeniem modeli sztucznej inteligencji, wspomniane zarządzanie wymaga zachowania równowagi między nadzorem finansowym, technologicznym i planistycznym.

• Niedostateczna komunikacja. W każdej branży efektywne zarządzanie projektami wymaga dobrej komunikacji, przy czym w przypadku projektów związanych ze sztuczną inteligencją niezbędna jest współpraca z wieloma interesariuszami, w tym z działami informatycznym, prawnym i finansowym oraz z użytkownikami końcowymi. Niedostateczna komunikacja może prowadzić do problemów, które wywołają efekt domina i będą kosztować organizację czas, pieniądze i dokładność lub wszystkie te rzeczy naraz.
• Niedostosowane oczekiwania. Kultura popularna określiła wyśrubowane oczekiwania co do możliwości sztucznej inteligencji. Sprowadzenie tych oczekiwań na ziemię wymaga efektywnej komunikacji ze strony kierowników zespołów na temat przeznaczenia, celów i rezultatów projektu związanego ze sztuczną inteligencją. Bez tych działań użytkownicy mogą nie zrozumieć praktycznych aspektów lub ograniczeń projektu.

6. Wyzwania związane z zarządzaniem danymi

W kontekście uczenia modelu sztucznej inteligencji na poszczególnych jego etapach zastosowanie mają różne elementy dotyczące bezpieczeństwa danych. To wszystko razem tworzy szereg wyzwań związanych z zarządzaniem danymi.

• Własność i dostęp do danych. Kto ma dostęp do danych treningowych? Kto ma dostęp do wyników treningu? Kto nadzoruje proces uczenia, kto go archiwizuje i kto nim zarządza? Odpowiedzi na wszystkie te pytania należy wziąć pod uwagę. Bez dobrej strategii zarządzania danymi, na przykład wykorzystującej dostęp oparty na rolach, logistyka projektu może zawieść nawet na najdrobniejszym kroku i spowodować znacznie większe problemy z bezpieczeństwem.
• Prywatność i bezpieczeństwo danych. Zbiory danych szkoleniowych mogą zawierać dane wrażliwe, w tym informacje umożliwiające identyfikację, dane finansowe i poufne plany korporacyjne. Zapewnienie prywatności może wymagać szyfrowania lub czyszczenia zarówno danych treningowych, jak i danych wyjściowych. Ponadto standardowe obawy dotyczące cyberbezpieczeństwa także mają zastosowanie do modelu sztucznej inteligencji zarówno podczas uczenia, jak i wdrażania, zwłaszcza gdy projekt obejmuje zasoby publiczne lub zewnętrzne.

Pokonywanie wyzwań związanych z uczeniem modelu sztucznej inteligencji

Podczas procesu uczenia modeli sztucznej inteligencji wyzwania mogą nadejść ze wszystkich stron. Kwestie techniczne związane z zasobami sprzętowymi, praktycznymi algorytmami lub zbiorami danych mogą sprawić, że programiści będą się zastanawiać, jak dany projekt przeprowadzić.

Pokonanie tych wyzwań wymaga planowania, inteligentnego używania zasobów i przede wszystkim częstej, kompleksowej i włączającej komunikacji.

Inteligentne używanie technologii również może być tu pomocne.

Rozwiązania techniczne

Problemy techniczne związane z uczeniem modeli sztucznej inteligencji mogą mieć wiele przyczyn. W niektórych przypadkach konkretny typ modelu wymaga więcej zasobów niż organizacja jest w stanie zapewnić. W innych przypadkach zbiór danych treningowych może nie być odpowiednio przygotowany lub model może potrzebować więcej takich zbiorów niż jest dostępnych. W pokonaniu typowych wyzwań technicznych mogą pomóc następujące trzy techniki.

• Rozszerzenie danych: Jeśli model uczenia sztucznej inteligencji potrzebuje więcej zbiorów danych treningowych lub większej różnorodności w tych zbiorach, ale dalsze zasoby pozostają niedostępne, zespoły mogą być podjąć próbę wygenerowania własnych zbiorów. Rozszerzenie danych to proces ręcznego rozszerzania zbiorów danych treningowych w celu zapewnienia dalszego uczenia modeli, czasami z myślą o konkretnym celu.
• Regularyzacja. Nadmierne dopasowanie jest jednym z najczęstszych problemów występujących podczas uczenia modelu sztucznej inteligencji. Regularyzacja oferuje techniki kompensacji tego zjawiska w zbiorze danych treningowych. Dzięki regularyzacji modele można skalibrować, aby zrekompensować nadmierne dopasowanie poprzez różne optymalizacje, które tworzą prostszy, dokładniejszy wynik. Typowe techniki regularyzacji obejmują regresję grzbietową, regresję LASSO i Elastic Net.
• Transfer początkowych wartości wag. Transfer początkowych wartości wag pozwala programistom przeskoczyć o kilka kroków naprzód, wykorzystując istniejący algorytm jako punkt wyjścia. Skuteczność transferu początkowych wartości wag zależy od kilku czynników. Przede wszystkim musi istnieć wykonalny model, który pokazuje udany podobny proces, a jednocześnie jest wystarczająco elastyczny, aby dostosować go do kontekstu nowego projektu. Ponadto zakres i cele projektu muszą być możliwe do dostosowania do istniejących prac.

Rozwiązania organizacyjne

W każdej organizacji efektywne modele sztucznej inteligencji wymagają nie tylko wiedzy technicznej. Ze względu na to, że w proces uczenia mogą być zaangażowani różni interesariusze, w tym zajmujący się kwestiami nietechnicznymi, takimi jak finanse i planowanie, sukces projektu często zależy od zaangażowania całej organizacji. Stworzenie jednolitego frontu jest zatem wyzwaniem samym w sobie.

Oto kilka praktycznych sposobów na usprawnienie procesu organizacyjnego.

• Ustanowienie przejrzystych kanałów komunikacji. Projekty związane ze sztuczną inteligencją mogą wymagać różnych zestawów umiejętności w różnych zespołach. Wyzwania mogą pojawić się wtedy, gdy zespoły te ze sobą nie współpracują. Dlatego też otwarta i jasna komunikacja na temat celów, zakresu i harmonogramu projektu buduje jedność i ogranicza nieporozumienia, które mogą prowadzić do powielania pracy lub pomijania kroków.
• Promowanie kultury współpracy. Udane projekty związane ze sztuczną inteligencją angażują wielu różnych interesariuszy o różnych punktach widzenia. Połączenie tych wszystkich osób w spójny zespół roboczy wymaga kultury współpracy. Aby zapewnić kreatywne rozwiązania, należy zadbać o to, aby poszczególne opinie mogły być wyrażane i dyskutowane w sposób konstruktywny i pełen szacunku.
• Zachęcanie do ciągłego uczenia się. W ciągu ostatniej dekady funkcje sztucznej inteligencji znacznie się rozwinęły, a moc obliczeniowa i łatwość dostępu do chmury rozwijały się w szczególnie szybkim tempie. Pojawiają się nowe możliwości, umiejętności i strategie, a nadążanie za postępami wymaga ciągłej nauki. Zespoły powinny pamiętać o przyszłości, nawet jeśli realizują bieżące projekty.

Pokonywanie z Oracle wyzwań związanych z uczeniem modelu sztucznej inteligencji

Wyzwania związane z uczeniem modeli sztucznej inteligencji mogą mieć różny charakter, od technicznego po organizacyjny; na szczęście wszystkie z nich można pokonać dzięki zastosowaniu m.in. rozwiązania Oracle Cloud Infrastructure (OCI). Skalowalne zasoby obliczeniowe i zasoby pamięci masowej mogą obsługiwać uczenie nawet złożonych modeli sztucznej inteligencji za pomocą dużych zbiorów danych, a zaawansowane zabezpieczenia i narzędzia nadzoru pomagają spełnić najnowsze wymagania w zakresie prywatności i bezpieczeństwa.

Ponadto infrastruktura OCI usprawnia współpracę i komunikację między działami, umożliwiając udostępnianie i łączenie źródeł danych, a wszystko to w celu zapewnienia większej przejrzystości podczas prac rozwojowych. Dzięki pełnemu zakresowi dostępnych technologii obliczeniowych, pamięci masowej oraz usług sieciowych, bazodanowych i platformowych, OCI oferuje elastyczną i mocną przewagę w kontekście uczenia modeli sztucznej inteligencji przy jednoczesnym obniżeniu kosztów projektowych i organizacyjnych.

Dla organizacji, które przeprowadzą do końca proces uczenia modelu sztucznej inteligencji, korzyści mogą obejmować wyższy poziom automatyzacji i większą przewagę konkurencyjną, a nawet opracowanie zupełnie nowych produktów i usług na bazie informacji, do których bez udziału sztucznej inteligencji nie dałoby się dotrzeć.

Zespoły IT, kierownicy projektów i członkowie ścisłego kierownictwa dysponują narzędziami pozwalającymi pokonać te i inne wyzwania związane z uczeniem modelu sztucznej inteligencji w konkretnych przypadkach. Potrzeba do tego tylko odrobiny kreatywnego myślenia.

Wyzwania związane z uczeniem modelu sztucznej inteligencji — często zadawane pytania

Jak można użyć transferu początkowych wartości wag do poprawy dokładności modeli sztucznej inteligencji?

Transfer początkowych wartości wag w modelach sztucznej inteligencji odnosi się do procesu wykorzystywania istniejącego modelu jako punktu wyjścia dla nowego projektu. Zapewnia to projektom przewagę na starcie, ale wiąże się z pewnymi ograniczeniami. Transfer początkowych wartości wag najlepiej sprawdza się wtedy, gdy istniejący model dotyczy ogólnej sytuacji, a nowy model ma się skupić na bardziej szczegółowych kwestiach. W miarę zwiększania zaawansowania funkcji sztucznej inteligencji zakres punktów początkowych/końcowych właściwych dla transferu początkowych wartości wag powinien się coraz bardziej się poszerzać.

W jaki sposób można promować kulturę współpracy między osobami zaangażowanymi w uczenie modeli sztucznej inteligencji?

Sukces projektów związanych ze sztuczną inteligencją często wymaga współpracy osób o zróżnicowanych umiejętnościach. Aby do takiej współpracy zachęcać, kierownictwo powinno promować otwartą komunikację, zaangażowanie i konstruktywną dyskusję wśród wszystkich interesariuszy, a także podejście oparte na ciągłej nauce. Akcentując przyczyny i sposoby współpracy projektowej oraz potrzebę szukania kolejnych możliwości, organizacja może uczynić krok w kierunku większej spójności i lepszej komunikacji w ramach swoich zespołów.

W jaki sposób można przezwyciężyć ograniczenia sprzętowe i programowe podczas uczenia modelu sztucznej inteligencji?

Może w tym pomóc wiele rozwiązań. Niektóre z nich można zastosować w ramach organizacji, na przykład przydzielając personel wewnętrzny z większym doświadczeniem do oceny i udoskonalenia konkretnego modelu. Inne mogą dotyczyć samych zbiorów danych treningowych i polegać na ich odpowiednim oczyszczeniu i przygotowaniu, aby ograniczyć ich wpływ na zasoby. Czasami korzystanie z zasobów zewnętrznych, takich jak platforma chmurowa, może pozwolić zespołom na łatwiejsze i bardziej elastyczne skalowanie, aby poradzić sobie z zapotrzebowaniem na moc obliczeniową.