In che modo il lavoro iterativo e le conoscenze condivise influenzano le prestazioni dei progetti di machine learning?

Host: Benvenuti a un nuovo episodio di A.I.S. Insights — powered by Living Knowledge. Sono Anna Ivy Summers. Oggi esaminiamo uno studio intitolato "Sovrapposizione delle conoscenze e sviluppo iterativo nei progetti di ML: una prospettiva di elaborazione delle informazioni", condotto da Oliver Krancher, Ilan Oshri e Julia Kotlarsky, presentato alla International Conference on Information Systems, ICIS 2024. Questo studio analizza come i team di machine learning affrontano l'incertezza dello sviluppo, basandosi su un sondaggio condotto su 141 team per valutare l'effetto dello sviluppo iterativo e della sovrapposizione di competenze tra data scientist ed esperti di dominio su efficienza ed efficacia. Con me c'è Alex Ian Sutherland. Benvenuto, Alex.
Expert: Grazie Anna. È un piacere essere qui.
Host: Alex, affrontiamo subito il problema centrale che molte organizzazioni riscontrano: gestire progetti di machine learning comporta spesso un livello significativo di incertezza e rischio operativo. Da cosa scaturiscono queste difficoltà secondo lo studio?
Expert: Lo studio identifica due fonti principali di incertezza nei progetti di machine learning. La prima riguarda i casi d'uso e i requisiti aziendali, che all'avvio possono essere poco definiti, rendendo difficile stabilire chiaramente gli obiettivi del progetto. La seconda fonte è legata all'imperscrutabilità o opacità di molti modelli statistici, spesso paragonabili a scatole nere. Questa caratteristica rende difficile interpretare i risultati e individuare come correggerli. Insieme, queste condizioni aumentano l'esigenza di elaborare e integrare informazioni tra il contesto di business e quello tecnico.
Host: Per comprendere come i team gestiscono questa complessità, quale approccio metodologico hanno adottato i ricercatori?
Expert: Gli autori hanno utilizzato la prospettiva teorica dell'elaborazione delle informazioni. Dal punto di vista empirico, hanno raccolto e analizzato dati provenienti da un sondaggio somministrato a 141 team di progetto di machine learning. Hanno misurato il livello di incertezza, l'uso di metodologie iterative e il grado di sovrapposizione delle competenze tra data scientist ed esperti di dominio, esaminando la loro associazione con l'efficienza temporale e di budget e con l'efficacia della soluzione finale.
Host: Quali sono i risultati principali emersi da questa analisi su 141 team?
Expert: I dati mostrano che le diverse risposte organizzative producono risultati differenti a seconda del tipo di incertezza. In primo luogo, la presenza di competenze di data science tra gli esperti di dominio è associata a una maggiore efficienza complessiva del progetto. Inoltre, quando l'incertezza sui casi d'uso è elevata, queste competenze tecniche diffuse nel team di business sono correlate anche a una maggiore efficacia della soluzione.
Host: E cosa succede invece nel caso in cui siano i data scientist ad avere competenze di business?
Expert: È una distinzione interessante evidenziata dallo studio. Le competenze di business dei data scientist risultano associate a una maggiore efficacia della soluzione in modo specifico quando i modelli di machine learning presentano un'elevata imperscrutabilità. Infine, lo sviluppo iterativo mostra un'associazione positiva con l'efficienza del progetto, specialmente quando l'incertezza iniziale sui casi d'uso è alta.
Host: Questo è un aspetto molto rilevante per la gestione aziendale. Quali sono le indicazioni pratiche che i responsabili possono trarre da queste conclusioni?
Expert: L'indicazione principale per i manager è che non conviene applicare un approccio unico a tutti i progetti di intelligenza artificiale. È utile diagnosticare innanzitutto la fonte primaria di incertezza. Se l'incertezza risiede nei requisiti e nel caso d'uso, è opportuno privilegiare cicli di sviluppo iterativi e fornire agli specialisti di dominio competenze di base in data science. Se invece la difficoltà principale risiede nell'opacità dei modelli complessi, diventa prioritario inserire data scientist che abbiano una solida comprensione del contesto operativo aziendale.
Host: Quindi la composizione del team e la formazione trasversale devono essere calibrate sulla specifica tipologia di incertezza presente nel progetto.
Expert: Esattamente. Allineare la struttura delle competenze e il processo di sviluppo alle caratteristiche tecniche e operative del compito permette di ottimizzare le risorse e ridurre le inefficienze.
Host: Riassumendo, lo studio di Krancher, Oshri e Kotlarsky mostra come l'efficacia e l'efficienza nei progetti di machine learning dipendano dalla capacità di adattare sia l'iterazione che la sovrapposizione delle conoscenze allo specifico contesto di incertezza. Alex, grazie per aver condiviso questa analisi.
Expert: Grazie a te, Anna.
Host: Ringraziamo tutti i nostri ascoltatori per aver seguito questo episodio di A.I.S. Insights — powered by Living Knowledge. Al prossimo appuntamento.