Wie beeinflussen iterative Arbeit und geteiltes Teamwissen die Leistung von Machine-Learning-Projekten bei Unsicherheit?

Host: Willkommen zu einer neuen Ausgabe von A.I.S. Insights — powered by Living Knowledge. Mein Name ist Anna Ivy Summers, und an meiner Seite ist wie immer Alex Ian Sutherland. Heute sprechen wir über eine Studie mit dem Titel: „Wissensüberschneidung und iterative Entwicklung in ML-Projekten: Eine Perspektive der Informationsverarbeitung“. Die Autoren Oliver Krancher, Ilan Oshri und Julia Kotlarsky untersuchen darin, wie Teams in Machine-Learning-Projekten mit verschiedenen Entwicklungsunsicherheiten umgehen.
Expert: Hallo Anna. Die Studie analysiert auf Basis einer Informationsverarbeitungsperspektive, wie bereichsübergreifende Wissensüberschneidungen zwischen Data Scientists und Fachexperten sowie iterative Arbeitsweisen die Projekteffizienz und die Lösungseffektivität beeinflussen.
Host: Machine-Learning-Projekte gelten in Unternehmen oft als anspruchsvoll und mit Risiken behaftet. Welche spezifischen Probleme adressiert die Studie hierbei?
Expert: Die Autoren unterscheiden zwei wesentliche Quellen von Unsicherheit. Auf der einen Seite steht die Unsicherheit über den Anwendungsfall: Es ist für Teams oft schwierig festzustellen, welche Geschäftsprobleme sich überhaupt eignen und welche konkreten Anforderungen erfüllt werden müssen. Auf der anderen Seite besteht eine technische Modellunsicherheit. Viele moderne Machine-Learning-Modelle sind hochgradig undurchsichtig. Wenn ein Modell wie eine Blackbox arbeitet, ist es schwer nachzuvollziehen, warum Vorhersagen zustande kommen und wie das Modell gezielt verbessert werden kann.
Host: Um zu untersuchen, wie Teams diese Herausforderungen bewältigen, haben die Autoren einen empirischen Ansatz gewählt. Wie sah das methodische Vorgehen aus?
Expert: Die Untersuchung basiert auf einer Umfrage unter 141 Machine-Learning-Projektteams. Die Autoren erfassten quantitative Daten über den Entwicklungsansatz, das Wissen der Beteiligten und den Projekterfolg. Der Projekterfolg wurde dabei zweidimensional gemessen: als Projekteffizienz, also die Einhaltung von Zeit und Budget, und als Lösungseffektivität, also die technische Leistungsfähigkeit und der geschäftliche Nutzen des entwickelten Modells.
Host: Kommen wir zu den Ergebnissen. Was zeigt die statistische Analyse bezüglich der Wissensverteilung in den Teams?
Expert: Ein zentrales Ergebnis betrifft das Data-Science-Wissen von Fachexperten. Wenn Fachkräfte aus den Geschäftsbereichen grundlegendes Wissen über Data Science besitzen, steht dies generell in Zusammenhang mit einer höheren Projekteffizienz. Liegt zudem eine hohe Unsicherheit bezüglich des Anwendungsfalls vor, ist dieses Wissen auch mit einer höheren Lösungseffektivität verbunden.
Host: Und wie stellt sich der umgekehrte Fall dar, wenn Data Scientists über Wissen im jeweiligen Fachbereich verfügen?
Expert: Dieses Fachbereichswissen bei Data Scientists ist vor allem dann mit einer höheren Lösungseffektivität assoziiert, wenn die verwendeten Modelle eine hohe Undurchsichtigkeit aufweisen. In solchen Fällen hilft das Domänenwissen den Data Scientists dabei, unerwartetes Modellverhalten im geschäftlichen Kontext zu interpretieren und sinnvolle Anpassungen vorzunehmen.
Host: Ein weiteres Element der Untersuchung war die iterative Entwicklung. Welcher Zusammenhang zeigte sich dort?
Expert: Eine iterative Vorgehensweise ist positiv mit der Projekteffizienz verbunden. Dieser Zusammenhang ist besonders stark ausgeprägt, wenn eine hohe Unsicherheit bezüglich des Anwendungsfalls besteht. Regelmäßige Feedbackschleifen ermöglichen es dem Team, Annahmen schrittweise zu überprüfen.
Host: Das sind klare empirische Befunde. Was bedeutet das nun konkret für die Unternehmenspraxis?
Expert: Die wichtigste Erkenntnis für Führungskräfte ist, dass Unsicherheit nicht pauschal begegnet werden sollte. Unterschiedliche Unsicherheitsquellen erfordern differenzierte Reaktionen. Wenn Teams noch nach dem richtigen Anwendungsfall suchen, sind iterative Prozesse und Fachanwender mit Data-Science-Kenntnissen besonders wirksam. Werden hingegen komplexe, schwer interpretierbare Modelle entwickelt, sollte sichergestellt werden, dass die Data Scientists den fachlichen Kontext der jeweiligen Geschäftsdomäne verstehen.
Host: Das heißt, Unternehmen sollten Weiterbildung und Teambesetzung gezielt auf die spezifischen Risiken des jeweiligen Projekts ausrichten.
Expert: Genau. Es geht um eine gezielte Abstimmung: Wissensüberschneidungen und Arbeitsmethoden sollten dort aufgebaut werden, wo die Unsicherheit im Projekt am größten ist.
Host: Zusammenfassend zeigt die Studie von Oliver Krancher, Ilan Oshri und Julia Kotlarsky, dass der Erfolg von Machine-Learning-Projekten davon abhängt, wie passgenau Teams ihre Zusammenarbeit auf die jeweiligen Unsicherheiten ausrichten. Vielen Dank für diese Einblicke, Alex.
Expert: Sehr gerne, Anna.
Host: Und vielen Dank an Sie fürs Zuhören. Bis zur nächsten Ausgabe von A.I.S. Insights — powered by Living Knowledge.