6 provocări comune legate de instruirea modelelor AI

Atunci când vine vorba de proiecte de inteligență artificială, fiecare proces de formare a modelului este diferit. Domeniul de aplicare, audiența, resursele tehnice, constrângerile financiare și chiar viteza și abilitățile dezvoltatorilor, toate acestea intră în ecuație, creând o gamă largă de provocări.

Cu toate că fiecare set de dificultăți de formare a modelelor poate fi unic, există anumite tipare. Acest articol trece în revistă șase dintre cele mai frecvente probleme întâlnite în timpul instruirii modelelor de inteligență artificială și oferă soluții și căi de rezolvare atât pentru echipa de dezvoltare, cât și pentru organizație în ansamblu.

Ce face ca instruirea modelelor de inteligență artificială să fie atât de dificilă?

În ciuda expansiunii rapide a resurselor legate de inteligența artificială, procesul de formare a modelelor de inteligență artificială încă este o provocare. Unele aspecte creează o serie de probleme în spirală: Pe măsură ce resursele devin mai puternice și mai disponibile, modelele de inteligență artificială cresc în complexitate. Sunt precise? Sunt scalabile?

Concluzii cheie

• Provocările legate de instruirea modelelor de inteligență artificială pot cuprinde o gamă largă de factori în cadrul unei întregi organizații și depășesc problemele tehnice.
• Provocările tehnice pot fi adesea rezolvate prin mărirea seturilor de date de instruire sau prin adăugarea de resurse cloud externe pentru mai multă putere de calcul.
• Depășirea acestor provocări necesită o combinație de expertiză tehnică, procese flexibile și o cultură a colaborării între părțile interesate.

6 provocări comune legate de instruirea modelelor AI

De la definirea inițială a proiectului până la implementarea finală, formarea modelelor de inteligență artificială intră în legătură cu multe departamente diferite. Dintr-o perspectivă tehnică, departamentele IT trebuie să înțeleagă cerințele de infrastructură hardware, cercetătorii de date trebuie să ia în considerare sursa setului de date de instruire, iar dezvoltatorii trebuie să cântărească investițiile în alt software și alte sisteme.

Din punct de vedere organizațional, tipul de proiect de inteligență artificială definește departamentele operaționale afectate de proiect: Marketing, vânzări, resurse umane și alte echipe pot avea contribuții la scopul, domeniul de aplicare sau obiectivele proiectului.

Prin urmare, există o mulțime de bucătari în bucătăria de formare a modelelor de inteligență artificială. Și cu cât sunt mai mulți bucătari, cu atât cresc și constrângerile și variabilele, ceea ce sporește provocările organizaționale. Următoarea listă analizează în profunzime șase dintre cele mai frecvente provocări cu care ne confruntăm în timpul instruirii modelelor de inteligență artificială:

Această imagine prezintă 6 provocări de formare a modelelor de inteligență artificială:

• Hardware și software: limitări de resurse/capacități hardware și software incompatibil
• Algoritmi: Selectarea tipului de model, supraadaptare sau subadaptare
• Seturi de date: Date insuficiente, dezechilibrate sau de proastă calitate
• Fondul de talente: O piață a muncii încinsă și concurență pentru lucrătorii calificați în domeniul AI
• Managementul proiectelor: Lacune de comunicare și așteptări problematice între departamente
• Gestionarea datelor: Preocupări legate de securitate, confidențialitate, acces și proprietate în întreaga organizație.

1. Provocări legate de setul de date

Seturile de date de instruire reprezintă fundamentul oricărui model de inteligență artificială. Acest lucru înseamnă că calitatea și amploarea seturilor de date de instruire dictează acuratețea – sau lipsa acesteia – a datelor produse de AI. Problemele legate de date pot include

• Date dezechilibrate: Datele dezechilibrate creează o prejudecată în modelul de formare AI. De exemplu, dacă un model de inteligență artificială pentru un comerciant de îmbrăcăminte utilizează doar date despre pantofi, modelul nu va putea lua în considerare variabilele create exclusiv de dimensiunile pentru cămăși sau rochii.
• date insuficiente: Atunci când modelele de formare AI lucrează doar cu un volum mic de date, capacitatea modelului de a prezice cu acuratețe devine extrem de limitată. Proiectele necesită date de instruire suficiente pentru a rafina pe deplin rezultatele și pentru a elimina prejudecățile. Altfel, este ca și cum ați conduce spre o destinație având doar o parte din drumuri trasate.
• Date de calitate slabă: În timp ce datele dezechilibrate creează distorsiuni în predicții și rezultate, datele de calitate slabă duc la inexactitate generală. Verificarea calității surselor este un prim pas esențial.

2. Provocări legate de algoritmi

Dacă seturile de date de instruire reprezintă fundația modelului de inteligență artificială, algoritmul reprezintă structura principală. Pentru a obține în mod constant rezultate precise de la modelul de inteligență artificială, dezvoltatorii trebuie să elaboreze și să antreneze cu atenție algoritmul pentru a se asigura că acesta se potrivește perfect nevoilor proiectului.

• Alegerea algoritmului potrivit: Care este algoritmul potrivit pentru proiectul dumneavoastră? O gamă largă de algoritmi de inteligență artificială este disponibilă ca punct de plecare și fiecare dintre ei are propriile puncte forte și puncte slabe. De exemplu, algoritmii de regresie logistică pot face ca proiectele să avanseze rapid, dar oferă doar rezultate binare. Echilibrul corect între domeniul de aplicare, rezultate și utilizarea resurselor reprezintă cea mai bună alegere pentru proiectul dumneavoastră.
• Supraadaptare: Supraadaptarea apare atunci când un model de inteligență artificială devine prea atent la un anumit rezultat, ceea ce îl face să rateze alte rezultate care ar trebui să fie în domeniul de aplicare. Aceste situații apar din diverse motive, inclusiv seturi de date de instruire prea puține, seturi de date de instruire omogene și modele prea complexe care duc la neînțelegeri și „zgomot de date”.
• Subadaptarea: Subadaptarea este atunci când un model de inteligență artificială necesită o pregătire suplimentară și oferă rezultate precise numai în circumstanțe extrem de limitate. Un exemplu comun de subadaptare este atunci când modelul funcționează bine cu seturile inițiale de date de instruire, dar eșuează atât cu validarea ulterioară, cât și cu datele din lumea reală. Subadaptarea apare adesea atunci când modelul este prea simplu pentru obiectivele proiectului sau când echipele nu reușesc să curețe în mod corespunzător seturile de date de formare înainte de utilizare.

3. Provocări hardware și software

Departamentele IT se confruntă cu provocări hardware și software atunci când sprijină formarea modelelor de inteligență artificială. Printre obstacolele potențiale se numără existența unei puteri de calcul și a unei capacități de stocare suficiente, a unor resurse de date, precum și a unor instrumente de compatibilitate și de integrare pentru a urmări un proiect de inteligență artificială până la finalizare.

În general, succesul formării modelelor de inteligență artificială implică gestionarea unor seturi de date foarte mari. Aceasta înseamnă că departamentele IT trebuie să se asigure că instructorii dispun de suficient spațiu de stocare a datelor, de accesul necesar, de un sistem de gestionare a datelor și de instrumente și cadre software compatibile.

• Resurse hardware: Pentru a face față procesării și analizei unor seturi mari de date (în special pentru modele foarte complexe, cum ar fi cele pentru cercetare medicală) departamentul IT trebuie să asigure suficiente servere și sisteme de stocare de înaltă performanță. Formarea modelelor de inteligență artificială necesită o putere de calcul semnificativă, astfel încât organizațiile trebuie să se asigure că domeniul de aplicare al unui proiect se aliniază cu resursele disponibile.
• Aspecte legate de software: Proiectele de formare în domeniul inteligenței artificiale trebuie să integreze o serie de instrumente software specializate, cadre și sisteme, atât în amonte, cât și în aval. Acest lucru face ca verificarea compatibilității să fie o parte esențială a pregătirii inițiale a unui proiect, deoarece integrarea instrumentelor specializate cu sistemele IT existente poate fi o sarcină complexă.

4. Provocări privind recrutarea de talente calificate

Este nevoie de oameni cu aptitudini specializate în diferite discipline tehnice pentru a dezvolta, gestiona și repeta formarea modelelor de inteligență artificială. Lipsa de experiență în orice domeniu ar putea deraia cu ușurință procesul de formare, ducând în cele din urmă la o repornire completă a unui proiect.

• Cererea de talente în domeniul AI: Pentru a asambla o echipă excelentă de dezvoltatori și cercetători de date, va trebui să angajați cu înțelepciune. Cu toate acestea, competențele în domeniul AI și al învățării automate sunt extrem de căutate, ceea ce înseamnă că aducerea oamenilor potriviți poate forța organizațiile să intre într-un proces de angajare extrem de competitiv. Astfel, angajatorii trebuie să acționeze rapid atunci când identifică o persoană calificată și să se țină la curent cu situația cererii de pe piață. Pentru a atrage cele mai bune talente, arătați-vă angajamentul față de această tehnologie, de exemplu, prin lansarea unui centru de excelență în inteligență artificială.
• Lipsa de profesioniști calificați în domeniul inteligenței artificiale: Dacă o organizație începe un proiect de inteligență artificială cu o echipă de dezvoltare restrânsă, inițiativa poate sfârși prin a fi cronică, inexactă sau părtinitoare – asta în cazul în care chiar ajunge la finalizare. Dacă mergeți înainte fără a avea destui profesioniști calificați, veți risipi timp și bani, așa că fiți pregătiți să investiți atât în talente, cât și în tehnologie.

5. Provocări în gestionarea proiectelor de inteligență artificială

Proiectele de inteligență artificială la nivel de întreprindere pot fi eforturi costisitoare și consumatoare de resurse. Dincolo de preocupările imediate de dezvoltare a modelelor, de conservare a surselor de date și de formare a modelelor de inteligență artificială, managementul necesită un echilibru fin de supraveghere financiară, tehnologică și de planificare.

• Lacunele de comunicare: Un management de proiect eficient pentru orice industrie necesită o comunicare solidă, dar managerii de proiect AI trebuie să interacționeze cu mai multe echipe, inclusiv IT, juridic și financiar, împreună cu utilizatorii finali ai proiectului. Lacunele de comunicare pot duce la probleme cu efecte în lanț și pot costa organizația în termeni de acuratețe, timp, bani sau toate acestea.
• Așteptări nepotrivite: Populația a creat așteptări mărețe cu privire la ceea ce poate face inteligența artificială. Pentru a coborî aceste așteptări la realitate este nevoie de o comunicare eficientă din partea liderilor de echipă cu privire la scopul, obiectivele și capacitățile proiectului de inteligență artificială. Fără aceasta, este posibil ca utilizatorii să nu înțeleagă aspectele practice sau limitele proiectului.

6. Provocări în gestionarea datelor

În contextul formării AI, în fiecare etapă se aplică diferite elemente de securitate a datelor. În ansamblu, acest lucru creează o serie de provocări sub umbrela gestionării datelor.

• Accesul și proprietatea datelor: Cine are acces la datele de instruire? Cine poate vedea rezultatele formării? Cine organizează, arhivează şi gestionează procesul? Toate aceste întrebări trebuie luate în considerare. Fără strategii solide de gestionare a datelor, cum ar fi utilizarea accesului pe bază de roluri, logistica proiectului poate fi împiedicată de cei mai mici pași, iar aceste piedici pot da naștere la probleme de securitate.
• Confidențialitatea și securitatea datelor: Seturile de date de formare pot conține date sensibile, inclusiv informații de identificare personală, detalii financiare și planuri corporative sensibile. Asigurarea confidențialității poate necesita criptarea respectiv curățarea atât a datelor de formare, cât și a celor de ieșire. În plus, preocupările standard în materie de securitate cibernetică se aplică modelului de inteligență artificială atât în timpul formării, cât și în timpul implementării, în special atunci când proiectul implică resurse publice sau externe.

Depășirea provocărilor de formare a modelelor AI

În timpul procesului de formare a modelelor de inteligență artificială, provocările pot veni din toate părțile. Problemele tehnice care implică resurse hardware, aspecte practice ale algoritmilor sau seturi de date pot face ca dezvoltatorii să se întrebe: „Cum vom reuși să realizăm acest lucru?”

Depășirea acestor provocări necesită planificare, utilizarea inteligentă a resurselor și – poate cel mai important aspect – o comunicare frecventă, completă și inclusivă.

De asemenea, utilizarea inteligentă a tehnologiei poate fi de ajutor.

Soluţii tehnice

Dificultățile tehnice în formarea modelelor de inteligență artificială pot avea mai multe cauze. În unele cazuri, tipul de model necesită mai multe resurse decât poate furniza organizația. Alteori, setul de date de instruire nu este pregătit corespunzător sau modelul poate avea nevoie de mai multe seturi de date de instruire decât cele disponibile. Următoarele trei tehnici pot ajuta la depășirea provocărilor tehnice comune.

• Augmentarea datelor: Dacă modelul dvs. de inteligență artificială are nevoie de mai multe seturi de date de instruire sau de o diversitate mai mare în aceste seturi de date, dar nu aveți acces la alte resurse, echipele ar putea să genereze propriile date. Augmentarea datelor se referă la procesul de mărire manuală a seturilor de date de formare pentru a asigura o formare suplimentară a modelului, uneori cu un scop specific.
• Regularizare: Supraadaptarea este una dintre cele mai frecvente probleme întâlnite în timpul instruirii modelului AI. Regularizarea oferă tehnici de compensare a acestei situații în cadrul unui set de date de instruire. Prin regularizare, modelele se calibrează pentru a compensa supraadaptarea prin diverse optimizări care creează rezultate mai simple și mai precise. Printre tehnicile comune de regularizare se numără regresia ridge, regresia lasso și plasa elastică.
• Învățarea prin transfer: Învățarea prin transfer permite dezvoltatorilor să sară peste mai mulți pași, folosind un algoritm existent ca punct de plecare. Succesul învățării prin transfer depinde de mai mulți factori. În primul rând, trebuie să existe un model viabil, un model care să demonstreze un proces similar de succes, fiind în același timp suficient de flexibil pentru a se adapta la contextul unui nou proiect. În al doilea rând, domeniul de aplicare și obiectivele proiectului trebuie să fie capabile să se adapteze la lucrările existente.

Soluţii organizaţionale

În orice organizație, modelele AI de succes necesită mai mult decât expertiză tehnică. Deoarece în procesul de formare se pot implica numeroase părți interesate, inclusiv în ceea ce privește aspectele netehnice, cum ar fi finanțele și obiectivele, succesul proiectului depinde adesea de implicarea întregii organizații. Astfel, crearea unui front unit este o provocare în sine.

Iată câteva modalități practice de a obține un proces de organizare mai ușor.

• Stabiliți canale de comunicare clare: Proiectele de inteligență artificială pot necesita diverse seturi de competențe în diferite echipe. Provocările pot apărea atunci când aceste echipe nu lucrează împreună în mod normal. Astfel, o comunicare deschisă și clară cu privire la obiectivele, domeniul de aplicare și ritmul de lucru al unui proiect creează unitate și limitează confuzia care poate duce la activități redundante sau la ratarea unor etape.
• Promovarea unei culturi a colaborării: Proiectele AI de succes implică multe părți interesate diferite, cu puncte de vedere diferite. Integrarea tuturor acestor oameni într-o unitate de lucru coerentă necesită o cultură a colaborării. Pentru a obține soluții creative, asigurați-vă că fiecare își poate exprima și dezbate opiniile într-o manieră constructivă și respectuoasă.
• Încurajați învățarea continuă: Capacitățile de inteligență artificială au evoluat semnificativ în ultimii 10 ani, iar puterea de calcul și accesibilitatea în cloud au crescut deosebit de rapid. Apar tot mai multe posibilități, competențe și strategii noi, iar pentru a rămâne la curent cu progresele înregistrate este nevoie de o învățare continuă. Echipele ar trebui să se gândească la viitor, chiar și atunci când avansează în proiectele curente.

Depășiți provocările legate de formarea modelelor AI cu Oracle

Provocările legate de formarea modelelor de inteligență artificială pot varia de la cele tehnice la cele organizaționale; din fericire, Oracle Cloud Infrastructure (OCI) poate fi o parte a soluției pentru aproape toate acestea. Resursele scalabile de calcul și de stocare pot alimenta instruirea chiar și cu seturi mari de date și modele complexe, în timp ce instrumentele de securitate și guvernanță aprofundată ajută la respectarea celor mai recente cerințe de confidențialitate și securitate.

OCI facilitează, de asemenea, colaborarea și comunicarea între departamente, permițând partajarea datelor și conectarea surselor de date, toate acestea pentru a oferi mai multă transparență în timpul dezvoltării. Cu o acoperire cuprinzătoare a serviciilor de calcul, de stocare, de rețea, de baze de date și de platformă, OCI oferă un avantaj flexibil și puternic pentru formarea modelelor de inteligență artificială, reducând în același timp costurile proiectului și ale organizației.

Pentru organizațiile care persistă și depășesc provocările inerente formării modelelor de inteligență artificială, beneficiile pot include niveluri îmbunătățite de automatizare și avantaje competitive, chiar și produse și servicii complet noi, bazate pe informații care nu ar putea fi descoperite fără inteligență artificială.

Echipele IT, managerii de proiect și conducerea executivă dispun de instrumentele necesare pentru a depăși aceste provocări și altele care implică instruirea modelelor de inteligență artificială specifice fiecărui caz în parte. Este nevoie doar de puțină creativitate.

Întrebări frecvente privind provocările de formare a modelelor AI

Cum poate fi utilizată învățarea prin transfer pentru a îmbunătăți acuratețea modelelor AI?

Învățarea prin transfer în modelele de inteligență artificială se referă la procesul de utilizare a unui model existent ca punct de plecare pentru un nou proiect. Acest lucru oferă proiectelor un avantaj, dar are și limitări. Învățarea prin transfer funcționează cel mai bine atunci când modelul existent abordează o situație generală, iar noul proiect intră mai adânc în detalii. Pe măsură ce capacitățile de inteligență artificială devin din ce în ce mai sofisticate, ar trebui să se lărgească din ce în ce mai mult latitudinea punctelor de început și de sfârșit ale învățării prin transfer.

Cum pot organizațiile să promoveze o cultură a colaborării între membrii echipei implicați în formarea modelelor de inteligență artificială?

Organizațiile au adesea nevoie de colaborarea între echipe cu diverse seturi de competențe pentru a finaliza cu succes proiectele de inteligență artificială. Pentru a încuraja colaborarea, liderii ar trebui să încurajeze liniile deschise de comunicare, contribuțiile și discuțiile constructive între toate părțile interesate, precum și o filozofie a învățării continue. Prin sublinierea modului și a motivelor pentru care suntem cu toții implicați în acest proiect, în timp ce analizează posibilitățile viitoare, o organizație poate face un pas spre o mai bună coeziune și comunicare generală în cadrul diverselor sale echipe.

Cum pot organizațiile să depășească limitările hardware și software în timpul instruirii modelelor de inteligență artificială?

Multe soluții diferite pot depăși limitările hardware și software. Unele pot fi realizate în cadrul organizației, de exemplu prin alocarea de personal intern cu mai multă experiență pentru a evalua și perfecționa modelul respectiv. Un alt exemplu poate fi reprezentat de seturile de date de instruire în sine – acestea pot necesita o curățare și o pregătire corespunzătoare pentru a limita impactul lor asupra resurselor. În alte situații, utilizarea resurselor externe, cum ar fi o platformă de infrastructură bazată pe cloud, poate permite echipelor să se extindă mai ușor, cu o mai mare flexibilitate pentru a face față cererilor de calcul.