Voltar para a biblioteca

Pergunta central Novo

Processado por IA · Aprovado pelo autor

Como o trabalho iterativo e o conhecimento compartilhado afetam o desempenho de projetos de aprendizado de máquina sob incerteza?

Knowledge Overlap and Iterative Development in ML Projects: An Information Processing View
Oliver Krancher, Ilan Oshri, Julia Kotlarsky · International Conference on Information Systems (ICIS) · 2024

14 visualizações

Ilustração para: Como o trabalho iterativo e o conhecimento compartilhado afetam o desempenho de projetos de aprendizado de máquina sob incerteza?

Carrega o reprodutor do Spotify; o Spotify pode definir cookies. Este dispositivo memoriza a sua escolha.

Principais conclusões

  • O conhecimento em ciência de dados dos especialistas de domínio está associado a uma maior eficiência geral do projeto e a uma maior eficácia da solução quando a incerteza do caso de uso é alta.
  • O conhecimento do domínio de negócios dos cientistas de dados é particularmente valioso para a eficácia da solução quando os modelos de AM são altamente inescrutáveis.
  • O desenvolvimento iterativo está associado a uma maior eficiência do projeto, especialmente quando a incerteza do caso de uso é alta.
  • Os resultados sugerem que diferentes fontes de incerteza exigem respostas diferentes: a iteração e a sobreposição de conhecimento devem ser ajustadas à incerteza específica que o projeto enfrenta.

O que isso significa para você

CIO / Executivo de TI

Allocate budget to enroll all enterprise domain experts in a foundational machine learning and data literacy bootcamp to build cross-functional knowledge overlap.

Gerente de TI

Schedule a planning session to restructure the upcoming ML sprint cycle into short, iterative feedback loops specifically for projects with high use-case uncertainty.

Estrategista de Negócios

Identify and assign two senior domain experts to embed directly with the data science team to help interpret highly inscrutable model outputs.

Pesquisador

Draft an experimental design matrix to test the interaction effects of model inscrutability and cross-functional knowledge overlap on project performance in your upcoming study.

Formulador de Políticas

Draft a guideline requiring state-funded AI initiatives to incorporate mandatory cross-training protocols between technical developers and domain stakeholders to mitigate project uncertainty.

Resumo

Este estudo examina como equipes de projetos de aprendizado de máquina lidam com a incerteza do desenvolvimento a partir da Visão do Processamento da Informação. Os autores analisam dados de pesquisa de 141 equipes de projeto para avaliar como o desenvolvimento iterativo e a sobreposição de conhecimento multifuncional entre cientistas de dados e especialistas de domínio influenciam a eficiência do projeto e a eficácia da solução.

Problema

Projetos de aprendizado de máquina frequentemente enfrentam incertezas substanciais. As equipes podem ter dificuldades para identificar casos de uso e requisitos adequados, enquanto a opacidade de muitos modelos de AM pode dificultar a compreensão e o aprimoramento de seus resultados. Esses desafios aumentam a necessidade de as equipes processarem e integrarem informações entre os domínios de negócios e técnicos.

Transcrição
Host: Olá a todos e bem-vindos ao A.I.S. Insights — powered by Living Knowledge. Eu sou Anna Ivy Summers. Hoje vamos analisar o estudo intitulado "Sobreposição de Conhecimento e Desenvolvimento Iterativo em Projetos de Aprendizado de Máquina: Uma Visão do Processamento da Informação", de autoria de Oliver Krancher, Ilan Oshri e Julia Kotlarsky, apresentado na International Conference on Information Systems de 2024. Para discutir esses dados comigo, temos Alex Ian Sutherland.
Expert: Olá, Anna. Este estudo investiga a forma como equipes de aprendizado de máquina gerenciam a incerteza durante o ciclo de desenvolvimento. Usando a perspectiva da Teoria do Processamento da Informação, os autores analisam a relação entre o desenvolvimento iterativo, a sobreposição de conhecimento funcional e o desempenho final das iniciativas.
Host: Alex, no contexto corporativo, projetos de aprendizado de máquina costumam apresentar taxas consideráveis de retrabalho ou falhas na entrega de valor. Qual é o problema prático central abordado pelos autores?
Expert: O ponto focal é que essas equipes enfrentam duas fontes primordiais de incerteza. A primeira refere-se à incerteza do caso de uso: muitas vezes não se sabe previamente se os dados disponíveis atendem aos objetivos de negócio ou quais são os requisitos exatos. A segunda é a inescrutabilidade do modelo, ou seja, a opacidade dos algoritmos de aprendizado de máquina, em que compreender como determinadas variáveis influenciam os resultados não é uma tarefa direta. Isso impõe uma carga de comunicação muito complexa entre a equipe técnica e as áreas de negócio.
Host: E qual foi o método adotado no estudo para mensurar esses impactos?
Expert: Os autores coletaram e analisaram dados de pesquisa com 141 equipes de projetos de aprendizado de máquina. O foco metodológico consistiu em avaliar duas dimensões de desempenho: a eficiência do projeto, ligada a custos e cumprimento de prazos, e a eficácia da solução, que diz respeito à precisão e à utilidade real do modelo implantado.
Host: Quais foram os principais achados empíricos que os autores observaram nesses dados?
Expert: Os resultados revelam padrões específicos dependendo do tipo de incerteza enfrentado. Primeiro, o conhecimento em ciência de dados por parte dos especialistas de domínio está associado a uma maior eficiência geral do projeto. Quando a incerteza do caso de uso é alta, esse mesmo conhecimento técnico dos profissionais de negócios também se associa a uma maior eficácia da solução final.
Host: E o que acontece no cenário inverso, quando analisamos o conhecimento de negócios por parte dos cientistas de dados?
Expert: Esse aspecto mostrou-se determinante diante da opacidade técnica. Quando os modelos de aprendizado de máquina são altamente inescrutáveis, o conhecimento do domínio de negócios detido pelos cientistas de dados associa-se diretamente a uma maior eficácia da solução. Além disso, o desenvolvimento iterativo demonstrou relação positiva com a eficiência do projeto, de forma mais acentuada quando a incerteza do caso de uso é elevada.
Host: Pensando na tomada de decisão dos gestores de tecnologia e negócios, por que esses resultados são relevantes e como eles podem ser aplicados?
Expert: A relevância prática reside em entender que não existe uma intervenção única para todos os cenários. As equipes devem alinhar suas práticas ao tipo específico de incerteza presente. Se o projeto tem requisitos de negócio indefinidos, investir em capacitar os especialistas de negócios em conceitos básicos de aprendizado de máquina e adotar ciclos iterativos reduz desperdício de tempo e recursos. Por outro lado, se o desafio central é lidar com modelos matematicamente opacos, o foco prioritário deve ser garantir que os cientistas de dados compreendam a fundo o contexto operacional da empresa.
Host: O diagnóstico correto do tipo de incerteza orienta a formação e a capacitação das equipes de modo muito mais direcionado. Alex, obrigada por compartilhar essa análise.
Expert: Obrigado, Anna.
Host: E a todos os nossos ouvintes, obrigada por nos acompanhar. Até o próximo episódio do A.I.S. Insights — powered by Living Knowledge.
Artificial Intelligence & Automation

Machine learning development projects, Knowledge overlap, Project success, Iterative development, Information processing view