Retour à la bibliothèque

Question clé Nouveau

Traité par IA · Validé par l'auteur

Comment le travail itératif et le partage de connaissances influencent-ils la performance des projets de machine learning face à l'incertitude ?

Knowledge Overlap and Iterative Development in ML Projects: An Information Processing View
Oliver Krancher, Ilan Oshri, Julia Kotlarsky · International Conference on Information Systems (ICIS) · 2024

14 vues

Illustration pour : Comment le travail itératif et le partage de connaissances influencent-ils la performance des projets de machine learning face à l'incertitude ?

Charge le lecteur Spotify ; Spotify peut déposer des cookies. Cet appareil mémorise votre choix.

Principaux résultats

  • Les connaissances en science des données des experts métier sont associées à une meilleure efficience globale du projet et à une plus grande efficacité de la solution lorsque l'incertitude liée aux cas d'usage est élevée.
  • Les connaissances du domaine métier des scientifiques des données sont particulièrement précieuses pour l'efficacité de la solution lorsque les modèles de ML sont très opaques.
  • Le développement itératif est associé à une meilleure efficience du projet, en particulier lorsque l'incertitude liée aux cas d'usage est élevée.
  • Les résultats indiquent que différentes sources d'incertitude exigent des réponses distinctes : l'itération et le chevauchement des connaissances doivent être adaptés à l'incertitude spécifique à laquelle le projet est confronté.

Ce que cela implique pour vous

DSI / Dirigeant IT

Allocate budget to enroll all enterprise domain experts in a foundational machine learning and data literacy bootcamp to build cross-functional knowledge overlap.

Responsable informatique

Schedule a planning session to restructure the upcoming ML sprint cycle into short, iterative feedback loops specifically for projects with high use-case uncertainty.

Stratège d'entreprise

Identify and assign two senior domain experts to embed directly with the data science team to help interpret highly inscrutable model outputs.

Chercheur

Draft an experimental design matrix to test the interaction effects of model inscrutability and cross-functional knowledge overlap on project performance in your upcoming study.

Décideur public

Draft a guideline requiring state-funded AI initiatives to incorporate mandatory cross-training protocols between technical developers and domain stakeholders to mitigate project uncertainty.

Résumé

Cette étude examine comment les équipes de projets de machine learning font face à l'incertitude du développement selon une perspective de traitement de l'information. Les auteurs analysent les données d'une enquête menée auprès de 141 équipes de projets afin d'évaluer comment le développement itératif et le chevauchement interdisciplinaire des connaissances entre scientifiques des données et experts métier influencent l'efficience du projet et l'efficacité de la solution.

Problématique

Les projets de machine learning sont souvent confrontés à une incertitude considérable. Les équipes peinent parfois à identifier les cas d'usage pertinents et les exigences, tandis que l'opacité de nombreux modèles de ML complique la compréhension et l'amélioration de leurs résultats. Ces défis renforcent la nécessité pour les équipes de traiter et d'intégrer des informations issues à la fois des domaines métiers et techniques.

Transcription
Host: Bonjour et bienvenue dans A.I.S. Insights — powered by Living Knowledge. Je suis Anna Ivy Summers. Aujourd'hui, nous nous penchons sur une étude intitulée « Chevauchement des connaissances et développement itératif dans les projets de ML : une perspective de traitement de l'information ». Cette recherche a été menée par Oliver Krancher, Ilan Oshri et Julia Kotlarsky, et présentée à l'ICIS en 2024. Elle explore la façon dont les équipes de machine learning gèrent l'incertitude liée au développement, en analysant l'impact du développement itératif et du partage de connaissances entre experts métier et scientifiques des données. Pour en discuter avec nous, voici notre analyste, Alex Ian Sutherland. Bonjour Alex.
Expert: Bonjour Anna.
Host: Alex, pour commencer, quel est le problème concret auquel s'intéresse cette étude ?
Expert: Les initiatives en apprentissage automatique rencontrent fréquemment des difficultés opérationnelles liées à deux formes d'incertitude distinctes. La première concerne l'incertitude liée aux cas d'usage : il est souvent difficile pour les équipes de cerner précisément les besoins métier et de formaliser les exigences initiales. La seconde provient de l'opacité des modèles : certains algorithmes complexes fonctionnent comme des boîtes noires, ce qui complique l'interprétation des résultats et leur ajustement. Pour réussir, les équipes doivent continuellement traiter et intégrer des flux d'informations à la fois techniques et fonctionnels.
Host: Comment les auteurs ont-ils analysé ces dynamiques ?
Expert: Les chercheurs ont adopté la théorie du traitement de l'information pour examiner des données quantitatives recueillies auprès de 141 équipes de projets de machine learning. Ils ont évalué comment deux mécanismes précis — le développement itératif et le chevauchement interdisciplinaire des connaissances — influencent deux variables clés : l'efficience du projet, c'est-à-dire le respect des délais et des coûts, et l'efficacité de la solution produite.
Host: Quels sont les constats majeurs issus de cet échantillon de 141 équipes ?
Expert: L'étude met en évidence des relations spécifiques selon le type d'incertitude rencontré. Premièrement, lorsque l'incertitude liée aux cas d'usage est élevée, le fait que les experts métier possèdent des compétences en science des données est associé à une meilleure efficience du projet et à une meilleure efficacité de la solution. Deuxièmement, quand les modèles présentent une forte opacité, c'est la connaissance du domaine métier par les scientifiques des données qui s'avère particulièrement corrélée à l'efficacité finale de la solution.
Host: Et qu'en est-il du développement itératif ?
Expert: Les résultats indiquent que l'approche itérative est positivement associée à l'efficience globale du projet, surtout en présence d'une forte incertitude sur les cas d'usage. En revanche, les auteurs soulignent qu'il n'existe pas de solution universelle : les mécanismes doivent être alignés sur la nature exacte de l'incertitude à laquelle l'équipe fait face.
Host: Venons-en aux implications pratiques pour les décideurs. Que peuvent concrètement mettre en œuvre les organisations à partir de ces données ?
Expert: Cela a des retombées directes sur la formation, le recrutement et la gestion des processus. Concernant la montée en compétences, former les analystes et experts métier aux bases de la science des données facilite la définition des besoins en amont et optimise les ressources du projet. Inversement, pour les projets reposant sur des algorithmes complexes et peu transparents, intégrer des scientifiques des données formés aux réalités de l'industrie permet de mieux valider la cohérence des résultats produits. Enfin, sur le plan organisationnel, les cycles de développement courts et itératifs sont particulièrement pertinents pour clarifier des besoins flous, mais ne suffisent pas à eux seuls pour surmonter les défis posés par l'opacité algorithmique.
Host: En somme, cette étude montre l'importance d'adapter la collaboration interdisciplinaire et les méthodes de travail selon que le défi principal réside dans la définition des besoins ou dans la complexité des modèles. Merci beaucoup, Alex, pour cette analyse claire.
Expert: Merci Anna.
Host: Merci à toutes et à tous de nous avoir suivis sur A.I.S. Insights — powered by Living Knowledge. À très bientôt pour un nouvel épisode.
Artificial Intelligence & Automation

Machine learning development projects, Knowledge overlap, Project success, Iterative development, Information processing view