Volver a la biblioteca

Pregunta clave Nuevo

Procesado con IA · Aprobado por los autores

¿Cómo se compara la confianza en la retroalimentación de la IA con la humana y cómo afecta al desempeño?

When AI Credibility Fractures: Human vs. AI Feedback Sources in Global Virtual Student Team Projects
Dhruv Pratap SINGH, Vasyl Taras · International Conference on Information Systems (ICIS) · 2026
Ilustración para: ¿Cómo se compara la confianza en la retroalimentación de la IA con la humana y cómo afecta al desempeño?

Carga el reproductor de Spotify; Spotify puede utilizar cookies. Este dispositivo recuerda su elección.

Hallazgos clave

  • Las percepciones de credibilidad de la retroalimentación humana (profesores y entrenadores) se condensan en un único juicio global, mientras que la credibilidad de la IA se mantiene diferenciada entre competencia, confiabilidad y buena voluntad.
  • La credibilidad del profesor predijo positivamente tanto el desempeño evaluado por pares (β = .155, p < .001) como el autoevaluado (β = .113, p < .001).
  • Las dimensiones de credibilidad de la IA mostraron efectos opuestos: la competencia de la IA se asoció positivamente con el desempeño evaluado por pares (β = .138, p = .003), mientras que la confiabilidad de la IA se asoció negativamente con dicho desempeño (β = −.268, p < .001).
  • Los efectos de la credibilidad en todas las fuentes fueron significativamente más intensos o solo estuvieron presentes en participantes que interactuaron activamente con la fuente de retroalimentación durante la tarea.
  • Modelar la credibilidad de la IA como una puntuación global única ocultó mecanismos subyacentes divergentes, produciendo una asociación neta negativa engañosa con el desempeño evaluado por pares.

Qué significa para usted

CIO / Ejecutivo de TI

Review enterprise AI deployment dashboards to ensure tools emphasize demonstrable task competence rather than conversational 'trustworthiness' features, as the research shows AI trustworthiness perceptions negatively predict collaborative performance.

Director de TI

Audit internal team AI integration guides to ensure employees are actively engaging with AI as a task-specific competence tool rather than passively trusting its outputs, since credibility effects only activate through active engagement.

Estratega empresarial

Reallocate training budgets away from general AI trust-building initiatives and toward skills-based prompt engineering that highlights AI competence and factual verification.

Investigador

Revise survey instruments to measure AI credibility across multidimensional criteria (competence, trustworthiness, goodwill) rather than a single composite score, preventing the masking of opposing performance effects.

Responsable de políticas

Draft guidelines requiring educational and workplace AI tools to clearly display functional competence and source limitations rather than simulating interpersonal trustworthiness, mitigating risks of detrimental over-reliance.

Resumen

Este estudio examina si la teoría de la credibilidad de la fuente se extiende de los comunicadores humanos a las fuentes de retroalimentación de IA generativa en el aprendizaje colaborativo digital. A partir de datos de encuestas y rendimiento de 3.776 estudiantes de 31 países en un proyecto virtual global de consultoría de 11 semanas, los autores midieron la credibilidad otorgada a profesores, entrenadores y herramientas de IA generativa. Se utilizaron modelos de ecuaciones estructurales para evaluar cómo estas percepciones de credibilidad se relacionan con el desempeño posterior autoevaluado y evaluado por pares.

Problema

A medida que las herramientas de IA generativa se integran en los flujos educativos y colaborativos junto con instructores humanos, los estudiantes reciben retroalimentación de fuentes humanas y no humanas. Sin embargo, se sabe poco sobre si las personas evalúan la credibilidad de la IA usando los mismos criterios multidimensionales que con comunicadores humanos. Además, no está claro si confiar en la retroalimentación de la IA favorece o perjudica el desempeño real en entornos colaborativos.

Transcripción
Host: Bienvenidos a A.I.S. Insights — powered by Living Knowledge. Soy Anna Ivy Summers. En este episodio analizamos el estudio titulado "Cuando la credibilidad de la IA se fractura: fuentes de retroalimentación humanas frente a las de IA en proyectos globales de equipos virtuales de estudiantes", desarrollado por Dhruv Pratap SINGH y Vasyl Taras para la conferencia ICIS 2026. El estudio investiga cómo la retroalimentación de la inteligencia artificial generativa y la de evaluadores humanos influyen en el rendimiento de equipos colaborativos. Me acompaña nuestro analista, Alex Ian Sutherland. Alex, bienvenido.

Expert: Gracias, Anna. Un gusto estar aquí para analizar este estudio.

Host: Alex, las herramientas de inteligencia artificial generativa ya forman parte cotidiana de los flujos de trabajo y la educación. Sin embargo, el estudio plantea una incógnita central sobre cómo procesamos esa retroalimentación. ¿Cuál es el problema fundamental?

Expert: Tradicionalmente, la teoría de la credibilidad de la fuente se construyó estudiando a comunicadores humanos, evaluando tres dimensiones: competencia, confiabilidad y buena voluntad. Con la llegada de la IA a entornos de trabajo conjunto, las personas reciben comentarios tanto de instructores como de sistemas automatizados. El problema es que no sabíamos si evaluamos a la IA con esos mismos criterios multidimensionales, ni si confiar en sus sugerencias mejora o perjudica el desempeño real de los equipos.

Host: Para responder a esto, los autores analizaron un entorno de trabajo a gran escala. ¿Cómo fue la metodología del estudio?

Expert: El estudio recolectó datos de encuestas y rendimiento de 3.776 participantes de 31 países que trabajaron durante 11 semanas en un proyecto virtual de consultoría global. Los investigadores midieron la credibilidad atribuida a profesores, entrenadores y herramientas de IA generativa. Luego, mediante modelos de ecuaciones estructurales, evaluaron cómo estas percepciones se relacionaban con el rendimiento posterior, medido tanto por autoevaluación como por la evaluación de los pares del equipo.

Host: Y los resultados muestran diferencias marcadas entre humanos e inteligencia artificial. ¿Qué observaron?

Expert: La primera conclusión es estructural. Mientras que en los evaluadores humanos las percepciones de competencia, confiabilidad y buena voluntad se integran en un único juicio global de credibilidad, en la IA esa percepción se fractura y mantiene esas dimensiones separadas. Además, la credibilidad del profesor predijo positivamente tanto el desempeño evaluado por pares, con un coeficiente beta de punto ciento cincuenta y cinco, como el autoevaluado, con beta de punto ciento trece, ambos estadísticamente significativos.

Host: Pero con la inteligencia artificial ocurrió algo particular entre la competencia y la confiabilidad, ¿correcto?

Expert: Exacto, encontramos efectos divergentes. La competencia percibida de la IA se asoció de forma positiva con el desempeño calificado por los compañeros de equipo, con un coeficiente beta de punto ciento treinta y ocho. Sin embargo, la confiabilidad atribuida a la IA mostró una asociación negativa con ese mismo desempeño, con un coeficiente beta de menos punto doscientos sesenta y ocho. Además, estos efectos solo fueron significativos en los participantes que interactuaron activamente con la fuente durante la tarea.

Host: ¿Por qué considerar que la IA es confiable se traduce en un menor rendimiento evaluado por pares?

Expert: El estudio indica que cuando los usuarios perciben una alta confiabilidad en la IA, pueden incurrir en una aceptación acrítica o complacencia con sus resultados, reduciendo la verificación y el rigor analítico dentro del equipo. En cambio, reconocer la competencia técnica de la herramienta permite aprovechar sus capacidades analíticas sin delegar ciegamente la toma de decisiones. De hecho, si los investigadores hubieran medido la credibilidad de la IA como un puntaje único, el resultado neto habría sido erróneamente negativo, ocultando este matiz.

Host: Llevando esto al mundo empresarial, ¿cuáles son las implicaciones prácticas para los líderes de equipo y gestores de tecnología?

Expert: Hay dos lecciones clave para las organizaciones. Primero, los programas de capacitación corporativa en IA no deben enfocarse únicamente en fomentar la adopción o la confianza ciega, sino en enseñar pensamiento crítico hacia sus respuestas. La herramienta debe tratarse como un colaborador técnicamente capaz pero que requiere validación humana continua. Segundo, al diseñar métricas internas de adopción tecnológica, las empresas deben medir la percepción de competencia técnica de forma independiente a la confianza operativa depositada en el sistema.

Host: Un enfoque pragmático para integrar la IA en flujos de trabajo sin comprometer la calidad del resultado final. Alex, muchas gracias por clarificar estos datos.

Expert: Gracias a ti, Anna.

Host: A nuestros oyentes, gracias por acompañarnos en A.I.S. Insights — powered by Living Knowledge. Hasta nuestro próximo episodio.
Artificial Intelligence & Automation Information Systems & Management Human-Computer Interaction Data Analytics & Big Data Digital Transformation & Strategy Cybersecurity & Privacy Cloud & Infrastructure E-Commerce & Digital Platforms Operations & Supply Chain Sustainability & Green IS

Generative AI, source credibility, CASA, global virtual teams, calibrated reliance, peer evaluation, digital learning