Informe Repsol

XXX

Impacto de la adopción de IA generativa en la eficiencia, calidad y experiencia de empleado en una compañía energética global

1

2

XXX

Autores

Autores Guillermo Lorbada Rodríguez Doctor en Management Avanzado Beatriz Fernández Martín Licenciada en Ciencias Económicas Miguel Castrillo Espina Licenciado en Filosofía Juan José Casado Quintero Licenciado en Administración y Dirección de Empresas Fernando Sierra Perler Ingeniero Industrial Enrique Fernández Puertas Ingeniero Industrial

3

04

Agradecimientos

Agradecimientos Espónsores del proyecto: Carmen Muñoz, Luis Cabra, Juan Manuel García, Enrique F. Puertas. Comité P&O y Comité CIO/CDO. Equipo core: Mercedes Ferrero (Repsol), Santiago Maestro (Repsol), Beatriz Idáñez (Microsoft), Miguel Vázquez (Microsoft), Ander Pérez (Microsoft), Alba López (Accenture), Pilar García (Accenture), Ángel Carrillo (Accenture-Avanade).

Equipo Microsoft, especialmente a Juan Íscar y Microsoft España, Grupo de producto M365 y Copilot M365 de Microsoft.

Equipo Accenture y Avanade, especialmente a Javier Ochoa y Luis Navas.

Centro de Competencia de IA generativa de Repsol: Muy especialmente a Juan Rodríguez, José Luis Toribio y Jairo Cerezo. También a Julia Díaz, Mari Ángeles Arroyo, Augusto Ruiz, Adolfo Menéndez y todas las personas de los equipos de los tracks.

Equipo del Grupo de Plataforma Microsoft 365 Repsol: Muy especialmente a Juan Rodríguez, José Luis Toribio, Jairo Cerezo y tamién a Javier Castro, Carmen García, Luis Miguel López, Sergio Moreno, Clara Díaz, Ángel Honrubia, Andrea Serrano, Mario Bragado, Stella López, Isaac Hernández, Néstor Mediero, Jerónimo Peña.

Equipos de Ciberseguridad (David Corral y Estefanía Eiras), Protección de la información (Enrique Carro), PowerBI (Daniel Colorado) y Do It Yourself (Javier Espasa).

Directivos, P&O BPs, ITD BPs, líderes y todas las personas participantes del piloto (igualmente al grupo de control y al de Copilot para Microsoft 365).

Proyecto realizado en Repsol con la colaboración de Microsoft y Accenture-Avanade.

Abstract 05

00 Abstract Los grandes modelos de lenguaje (LLMs) han despertado interés por su potencial para rediseñar los procesos de trabajo actuales a través del uso de la inteligencia artificial generativa (IAG). Este estudio, llevado a cabo desde Repsol en colaboración con Accenture-Avanade y Microsoft, tiene el objetivo de evaluar el impacto de Copilot para Microsoft 365 -herramienta de IA generativa que usa LLMs- en los ejes profesionales de eficiencia, calidad y experiencia.

Esta investigación práctica se ha realizado en el contexto de un programa de acompañamiento de gestión del cambio en la compañía multienergética global Repsol durante un periodo de cuatro meses, implementando un diseño experimental pre y posttest con un grupo de control equivalente.

La muestra se compuso de 550 personas: 300 en el grupo experimental y 250 en el grupo de control, en base a criterios objetivos. Se priorizó a la muestra según el ranking de uso de Microsoft 365 y se replicó la distribución de la compañía en cuanto a empleados por Dirección General, categoría profesional, grupo de familia de puestos, sexo y edad. Se emplearon experimentos reales basados en casos de uso prácticos, encuestas, focus groups y entrevistas. El plan de medición incluyó análisis descriptivos, contraste de

hipótesis, regresión lineal, análisis de correlación y clustering. Además, el acompañamiento se realizó a través de una comunidad de usuarios activos, a los que se les facilitó capacitación práctica, un córner de ayuda y un programa de gamificación.

Los resultados del estudio evidencian un ahorro de 121 minutos de media a la semana ajustándolo con factores que se han descubierto que impactan, como el grado de adopción de la herramienta, el número de aplicaciones en las que se usa Copilot para Microsoft 365 y el “productivity capture”, que indica la parte del tiempo ahorrado que se dedica a otro tipo de tareas que no implican mejorar la productividad (por ejemplo, al cuidado de la salud y bienestar, dedicar tiempo a temas espontáneos, tiempo de cohesión con compañeros, etc.).

También se ha medido un incremento del 16% en la calidad de los entregables. A nivel de experiencia, los participantes han declarado sentirse seguros, tranquilos y motivados, además de que al 61,9% de los usuarios con licencia no les gustaría volver a trabajar sin Copilot para Microsoft 365 y la frustración aflora cuando las herramientas no funcionan adecuadamente o cuando está disponible solo para algunas personas.

06 XXX

“Al 61,9% de las personas con licencia no les gustaría volver a trabajar sin Copilot para Microsoft 365.”

Índice 07

Índice Introducción

p. 8

Metodología

p. 10

Metodología de investigación

p. 10

Hipótesis de investigación

p. 12

Instrumentos de medida

p. 14

Técnicas de análisis

p. 16

Desarrollo de la investigación

p. 18

Metodología de gestión del cambio

p. 20

Resultado

p. 22

Adopción y uso de herramientas de inteligencia artificial generativa

p. 22

Impacto en la eficiencia y ahorro de tiempo

p. 24

Impacto en la calidad del trabajo

p. 27

Impacto en la experiencia del empleado

p. 28

Conclusiones

p. 30

Limitaciones y líneas futuras

p. 31

Bibliografía

p. 32

08 Introducción

01

Introducción

La proliferación de herramientas basadas en IAG, así como su protagonismo creciente en entornos profesionales, han generado un reto importante para las organizaciones: encontrar respuestas en los datos para tomar decisiones basadas en evidencias y que el impacto de esta tecnología se convierta en una oportunidad en las formas y modelos de trabajo.

“La compañía está decidida a transformar los negocios con IA generativa, impulsando su productividad y digitalizando a todos los empleados para permitir la transformación digital a escala.”

Repsol apuesta por la IAG como un eje habilitador y transformador de la forma de trabajar.

En este contexto, la compañía, fundada en 1986 y con más de 25.000 empleados (Repsol SA, 2024b), tiene como objetivo estratégico acelerar su transformación para avanzar en su transición energética y en su compromiso pionero en el sector a escala mundial de ser cero emisiones netas en 2050. v (Repsol SA, 2024a). Para Repsol la tecnología y las personas son habilitadores de la transformación (Repsol SA, 2024a) y, por ello, lidera esta iniciativa y se plantea junto a su partner estratégico, Microsoft (Repsol SA, 2021), realizar un programa de gestión del cambio con el que abordar el desafío de transformar la manera en la que se trabaja (Microsoft, 2023).

El objetivo de Repsol es liderar la contribución para el avance social siendo la primera empresa energética en mejorar la experiencia de las personas, así como la productividad de sus empleados usando la IA generativa. Para ello impulsa en la compañía una línea de trabajo conjunta entre las direcciones generales de Personas y Organización, en el marco del Proyecto del Modelo de Trabajo Repsol, que busca mejorar la forma en la colaboran los empleados y, por otro lado, la dirección general de Transición energética, Tecnología, Institucional & adjunto al CEO, con la creación del Centro de Competencia de inteligencia artificial generativa y la Segunda Ola del Programa Digital (2023-2027) que persigue fomentar “nuevas formas de trabajo” incorporando la IA en el día a día de los empleados.

Introducción 09

La IA, como tecnología para la eficiencia Microsoft anuncia Copilot para Microsoft 365 a inicios de 2023 (Spataro J., 2023) como la integración de la tecnología de IAG de OpenAI en una versión evolucionada del clásico asistente de Microsoft 365. Copilot para Microsoft 365 se integra en distintas aplicaciones de Microsoft 365 (Outlook, Teams, PowerPoint, Word, etc.) y ofrece funciones de IAG tales como análisis, composición, síntesis y creación de nuevo contenido en función de los prompts introducidos por el usuario. Para ello, se basa en la información de la organización disponible en la nube, respetando los privilegios de acceso de cada usuario, y ofrece asimismo la posibilidad de ampliarla mediante contenidos web proporcionando siempre la referencia de la fuente original.

Empieza a existir cierto grado de consenso en los estudios recientes sobre IA generativa en torno a la idea de que esta tecnología propicia un ahorro de tiempos o esfuerzos en la realización de tareas rutinarias y creativas, e incluso se han evidenciado mejoras en la calidad de la redacción de textos (Dell’Acqua et al., 2023; Noy & Zhang, 2023). A estos primeros se suma que un 58% de los profesionales de recursos humanos esperan que la IAG transforme significativa o

totalmente su trabajo en los próximos tres años (Future For Work Institute, 2024).

No obstante, en concreto Copilot para Microsoft 365, está en una fase aún incipiente de adaptación en las organizaciones pudiendo, según Mc Gregor J. (2023), alcanzar en los inicios de esta investigación solo a 600 empresas a nivel mundial. Es por ello por lo que son escasos los datos sobre el impacto que tiene su uso en el desempeño de las tareas cotidianas del empleado y solo se encuentran aquellas impulsadas por el Microsoft Research (Cambon et al., 2023; Microsoft, 2023).

Surge, por tanto, la necesidad de investigar su repercusión para explorar el valor que puede tener para la organización la adopción de Copilot para Microsoft 365 a gran escala. No obstante, dado que el presente estudio comenzó en octubre de 2023 y el lanzamiento oficial de Copilot para Microsoft 365 no tuvo lugar hasta noviembre, se ha tratado como parte del EAP (Early Access Program) iniciado en agosto de ese año, por el que se proporcionó un avance privado del producto aún sujeto a mejoras de estabilidad y rendimiento.

10 Metodologías

02

Metodologías

Metodología de investigación Analizar el diseño e implementación de un programa de prueba de una IA generativa y valorar su influencia en una corporación son tareas complejas dada la multiplicidad de fuentes de recogida de información y de tipologías de participantes.

Se ha empleado un estudio de caso: una estrategia de investigación que analiza en profundidad un fenómeno en un contexto natural, es decir, sin manipulación de variables o del entorno, utilizando diversas fuentes de evidencia y métodos de recolección y análisis de datos. Un estudio de caso permite explorar, describir, explicar y comprender las características, los procesos, los problemas y los resultados del caso estudiado, así como generar teoría o probar hipótesis. (Yin, 2003; Stake, 1995; Merriam, 1998).

Para minimizar el impacto sobre la validez interna y externa de la investigación que puede tener el hecho de no controlar las variables, se ha realizado una selección cuidadosa y justificada del caso a estudiar y se ha llevado a cabo la triangulación de las fuentes de evidencia y de los métodos de recolección y análisis de datos

Metodologías

cualitativos como cuantitativos, buscando la complementariedad entre ambos. Además, se ha realizado la elaboración de un protocolo de estudio que detalle los pasos a seguir y los criterios a aplicar, el contraste de los hallazgos con otros investigadores como el propio Microsoft Research y con los participantes del estudio, usando el grupo de control como referencia.

Se han explicitado las limitaciones y las implicaciones de la investigación. (Yin, 2003; Stake, 1995; Merriam, 1998).

El diseño de la investigación ha sido, por tanto, un diseño experimental con grupo de control y con análisis pre (antes de la integración de Copilot para Microsoft 365 en el día a día de los 300 participantes con licencia) y análisis post (Hinkelmann Klaus & Kempthorne Oscar, 2008; Mark Mitchel & Janina Jolley, 1988), es decir, después de la incorporación de la herramienta. El grupo experimental estuvo compuesto por 300 empleados con licencia y el grupo de control por 250, siendo el segundo un espejo del primero y representando en ambos casos la distribución de la compañía en cuanto a empleados por Dirección General, categoría profesional, grupo de familia de puestos (agrupación de perfiles de puesto por función), sexo y edad y priorizando a la muestra según el ranking de uso de Microsoft 365.

Así, se ha analizado: a) La evaluación de resultados en cuanto a eficiencia, calidad y experiencia de ambos grupos para proceder a la comparación e identificación del posible impacto de Copilot para Microsoft 365, realizando un análisis estadístico de las diferencias de medias de muestras independientes (grupo experimental vs. grupo control). b) La evolución de los indicadores de eficiencia, calidad y experiencia a lo largo del periodo en el que se desarrolla el piloto, realizando un análisis estadístico de las diferencias de medias en muestras relacionadas (sujetos con Copilot para Microsoft 365) en dos momentos diferentes (encuesta inicial y encuesta final). c) El uso de la herramienta mediante la adopción de Copilot para Microsoft 365 entre los participantes del piloto. d) Las correlaciones de las variables de la encuesta y sociodemográficas para identificar patrones y análisis exploratorio de arquetipos de empleados (clustering) para identificar posibles escenarios de adopción.

11

12 Metodologías

Hipótesis de investigación Las hipótesis que se han contrastado a lo largo del estudio y las variables correspondientes para medir el efecto de incorporar Copilot para Microsoft 365 en un grupo de empleados frente a uno sin ello, han sido: Eje de eficiencia.

Eje de calidad.

Para el eje de eficiencia, las hipótesis tratan de evidenciar si incorporar Copilot para Microsoft 365:

Para el eje de calidad, las hipótesis persiguen evidenciar si incorporar Copilot para Microsoft 365:

1. Genera un ahorro de tiempo en gestión de tareas o permite aumentar la velocidad en su desarrollo. Este ahorro es cuantificado en minutos por semana, a través de los experimentos (medidas con cronómetro en tiempo real) y a partir de las encuestas (autopercepción). El dato final de ahorro en minutos a la semana se obtendrá ponderando un 70% del resultado de los experimentos, más un 30% el resultado procedente de la encuesta.

1. Mejora la calidad de los resultados del trabajo. Se mide a través del porcentaje de favorabilidad evaluado en los experimentos por dos observadores distintos en cada uno de ellos a través de una rúbrica en la que se ha establecido un scoring en cinco dimensiones de calidad: redacción, comunicación, originalidad, diseño y pensamiento analítico (Anexo 1); y por el participante a través de una autopercepción a través de encuestas.

2. Reduce el esfuerzo en gestión de tareas. Se mide mediante percepción de favorabilidad (“de acuerdo” y “muy de acuerdo” con respecto al total de respuestas) tanto en experimentos como en encuestas.

2. En la ejecución de los entregables impacta en que los empleados no revisen los resultados.

3. Genera cambios de comportamientos en la actividad de los usuarios. Se mide a través de los indicadores avanzados de Viva Insights (Microsoft, 2024).

Metodologías

Eje de experiencia.

Para el eje de experiencia, las hipótesis persiguen evidenciar si incorporar Copilot para Microsoft 365: 1. Mejora la experiencia de empleado. Medida tanto como satisfacción, como recomendación a través del Net Promoter Score (NPS) de Copilot para Microsoft 365 en general y por aplicación.

Se toma la definición de NPS de Bahre S. (2022) “del porcentaje de personas que puntúan con un 9 y 10 (promotores) menos el porcentaje de personas cuya puntuación esta entre 0 y 6 (detractores)” preguntando con la fórmula “hasta qué punto recomendarías un determinado producto/servicio a un determinado colectivo” de manera estándar.

2. Mejora la confianza en Copilot para Microsoft 365 y en la IAG con el paso del tiempo.

3. Impacta en las emociones y sentimientos de los participantes.

4. Genera efecto en la convivencia de personas con y sin Copilot para Microsoft 365.

En todos los casos se ha medido la satisfacción, recomendación (NPS Copilot para Microsoft 365 general y por aplicación), confianza y sentimientos mediante variables de percepción en las encuestas. A efectos de adopción el objetivo es validar si a través de las acciones de gestión del cambio los empleados adoptan la herramienta incrementando el uso de la misma y el uso por aplicación. Para ello se usa el cuadro de mando disponible en Microsoft en el que facilita la última fecha de conexión de cada semana tanto para Copilot para Microsoft 365 como el uso por aplicación y la frecuencia de uso declarada por cada empleado en las encuestas.

13

14 Metodologías

Instrumentos de medida Los instrumentos de medida utilizados han sido:

7 experimentos.

Participaron 118 empleados (la mitad con licencia y la otra mitad sin licencia) y se evaluaron 14 indicadores de eficiencia (medición de tiempos en tiempo real), 26 ítems sobre la calidad de los resultados (rúbrica con elementos evaluables observables (Anexo 1). Al principio de cada experimento se realizó una encuesta de habilidades y, al final, una encuesta de medición y satisfacción (detalles en anexo 2).

Cada experimento se diseña como “una parte de la investigación donde se controlan ciertas variables para observar el efecto en otras” (Campbell Donald T. & Stanley Julian C., 2015) y así, cada uno de ellos, representa una situación real de distintos ámbitos de la compañía. Constaban de tres tareas cada uno. Se les dio a los participantes cerca de 1,5 h para completarlas, siendo la diferencia entre el momento en el que recibían el correo con la tarea a realizar y el momento en el que enviaban el correo con cada tarea finalizada, el cálculo del tiempo que tardaban en realizar cada tarea. Por ejemplo, se simuló una reunión diaria de un proyecto de ingeniería de la que debían hacer el acta y la propuesta de agenda para la próxima reunión y preparar una presentación para el Comité de Dirección con el estado de situación del proyecto.

7 Focus Group.

Cada grupo de personas participantes en un experimento se conformó atendiendo a conocimiento, interés, etc. (León O. G. & Montero I, 2003; Sampieri R. H. & Collado C. F., 2005) y participaron también en un focus group en el que se debatía sobre los beneficios y las barreras de la integración de la IAG en el día a día.

Metodologías

Informes semanales de actividad.

De cara a la medición del uso de la herramienta, el input fundamental fueron los Informes de actividad que Microsoft facilita semanalmente, donde se especifica la última fecha de actividad del usuario tanto en general en Copilot para Microsoft 365 como en cada una de las aplicaciones en las que esta herramienta está integrada (Teams, Outlook, PowerPoint, Word, Excel, Loop y Whiteboard). La adopción se calcula como el número de semanas activas con respecto al total de semanas en las que la licencia ha estado disponible para cada usuario.

Una semana se considera activa si un usuario hace al menos una consulta en cualquiera de las aplicaciones en las que se encuentra Copilot para Microsoft 365.

2 encuestas de percepción.

Se realizó una al inicio y otra al final del experimento para el grupo con licencia y para el grupo de control. Se incluyeron cinco preguntas de cualificación, diez preguntas de experiencia, ocho preguntas de eficiencia, y cuatro de calidad. En la segunda encuesta se introdujeron cuatro preguntas específicas para los líderes dentro del piloto. La evaluación de las preguntas se planteó con escala Likert de favorabilidad o frecuencia. La participación en cada encuesta se distribuye según la siguiente tabla y el detalle está en el anexo 3.

Licencia

Control

Población

300

250

1ª encuesta

65,3%

87,2%

2ª encuesta

62,0%

80,8%

20 entrevistas.

Se realizaron más de 20 entrevistas semiestructuradas de contraste (León O. G. & Montero I, 2003) con participantes a lo largo del proceso para contrastar los datos de percepción obtenidos de encuestas y los resultados cuantitativos obtenidos de los experimentos, así como, para entender las limitaciones que se encontraron los participantes con menor actividad.

Análisis de métricas avanzadas de Viva Insights.

De forma transversal, se dispuso de los informes de Viva Insights que Microsoft proporciona para medir la forma de colaborar de los empleados, con distintos indicadores sobre sus dinámicas diarias (tiempos de reunión, concentración, emails, multitarea, coasistencia, tiempo con el mánager…) (Microsoft, 2024) (anexo 4).

Informes sociodemográficos.

Por último, se usaron informes de variables sociodemográficas (grupos de edad y sexo) disponibles en la compañía, así como variables de puesto (grupos de familia o tipo de puesto, dirección de pertenencia, categoría profesional, etc.) (anexo 4).

15

16 Metodologías

Técnicas de análisis La forma en la que se ha llevado a cabo el análisis estadístico de los resultados:

Análisis descriptivo: Dado que el tipo de datos del estudio han sido cuantitativos de tipo discreto, se han desarrollado diagramas de frecuencias. Este tipo de gráficas permiten entender las respuestas más comunes a cada tipo de pregunta y sirven de apoyo para sacar conclusiones y ver perspectivas de manera visual e intuitiva.

Matriz de correlaciones: Muestra la intensidad y la dirección de la relación lineal entre dos o más variables, útil para resumir un conjunto de datos y encontrar patrones en ellos.

Clustering: Identifica similitudes entre los datos y los divide en grupos diferenciados (clústeres), a través de la identificación de patrones (Hair Joseph Franklin et al., 2010).

Para este estudio se han utilizado dos metodologías de clustering: K-modes. Debido a la naturaleza de los datos (variables numéricas de tipo discreto) se ha probado a utilizar un algoritmo que considere la distancia entre los grupos a partir de la moda (define grupos en función del número de categorías coincidentes entre puntos de datos). Esto contrasta con el algoritmo k-means más conocido, que agrupa datos numéricos basándose en la distancia euclidiana.

Clustering jerárquico. El agrupamiento jerárquico es un método de análisis de grupos puntuales, que busca construir una jerarquía de grupos. Para este caso, se ha probado con el método aglomerativo que es el tipo más común de agrupamiento jerárquico, el cual consiste en un enfoque

Metodologías

“ascendente” en el que cada objeto empieza en su grupo respectivo, llamado hoja. Los dos grupos más parecidos son unidos en un nuevo grupo más grande en cada fase del algoritmo, estos son conocidos como nodos.

Es un método iterativo, que se repite hasta que todos los puntos pertenecen a un único grupo mayor, llamado raíz, el cual contiene todos los datos.

Contraste de hipótesis: Método para evaluar si una característica que se asume en una población es consistente con lo que se observa en una muestra de esa población. Más concretamente, para este análisis se han llevado a cabo contraste de hipótesis no paramétricos, es decir, sobre un determinado conjunto de datos para el que no se conoce su distribución de probabilidad.

Los contrastes de hipótesis utilizados han sido: Contraste de Wilcoxon: Para muestras relacionadas, por ejemplo, cuando se comparan las respuestas de los empleados en momentos de tiempo distintos (ej.: pregunta sobre el tiempo de ejecución de las tareas antes y después de usar Copilot para Microsoft 365).

Contraste de la U de Mann-Whitney: Para muestras independientes entre sí, por ejemplo, cuando se quieren comparar las respuestas de los empleados en función de la frecuencia de uso de Copilot para Microsoft 365 (ej.: comparar las respuestas entre el grupo de empleados con licencia que utiliza Copilot para Microsoft 365 a diario vs. aquellos que lo utilizan un día a la semana).

17

18 Metodologías

Desarrollo de la investigación La investigación ha durado cuatro meses; desde octubre de 2023 hasta enero de 2024, aunque en julio de 2023 se asignaron licencias de Copilot para Microsoft 365 a un grupo de 15 personas, que formarían el núcleo del equipo desde el que se gestionó todo el piloto. Este grupo (“Family and Friends”) fue muy útil esos primeros meses para poner en práctica todas las primeras acciones que se iban a tener que llevar a cabo con las otras 285 personas que obtendrían las licencias posteriormente.

Las primeras acciones de bienvenida y actividades de dinamización del uso de Copilot para Microsoft 365, comenzaron en octubre y en noviembre se envió la primera encuesta a todos los participantes (grupo experimental y control). Ambas encuestas eran comparables en los aspectos de eficiencia, calidad y satisfacción en la ejecución de tareas cotidianas, aunque no se incluían preguntas para evaluar el impacto de Copilot para Microsoft 365. Además, a ambos grupos, se les pidió que en esta encuesta inicial definieran 3 tareas de su día a día y detallaran el tiempo que tardaban en realizarlas en minutos/ semana. De esta manera, la comparativa tanto intragrupos como intergrupos se realizaría sobre tareas reales declaradas por los participantes. La participación fue de 196 respuestas de empleados con licencia y 218 para el grupo de control.

Se continuaron las acciones de dinamización de la comunidad, capacitación, y soporte con las 300 personas que conformaban el grupo con licencia y se identificaron casos de uso en los que Copilot para Microsoft 365 podía aportar mayor valor. Además, se lanzó una acción de gamificación para reconocer y recompensar el compromiso de las personas con mayor partici-

pación y compromiso, que servía a su vez para dinamizar la comunidad.

En enero de 2023 se comenzaron a realizar los experimentos. La muestra se compuso por 118 empleados, la mitad aproximadamente del grupo experimental y la otra mitad del grupo de control. Los participantes fueron escogidos en base a criterios objetivos: en primer lugar, pasaron un criterio previo de “engagement” medido en función de su participación en las sesiones de dinamización y según los informes del uso de Copilot para Microsoft 365. En el caso del grupo de control, se seleccionó entre aquellos que habían contestado a la encuesta inicial. Los 118 participantes se dividieron en siete experimentos divididos por aplicación y caso, teniendo en cuenta la representatividad que las tareas de cada experimento tenían en su día a día laboral por la función que desempeñan.

Al inicio de cada experimento los 118 participantes respondieron a una encuesta en la que se evaluaba su valoración sobre sus habilidades en el uso de Copilot para Microsoft 365 para desempeñar tareas como las que encontrarían en los experimentos.

Metodologías

A finales de enero, todos los participantes volvieron a recibir la encuesta sobre su percepción con el uso de Copilot para Microsoft 365 y su impacto en eficiencia (reducción de tiempos), calidad de los resultados (percibida) y experiencia (satisfacción, sentimiento, confianza y recomendación). El objetivo de volver a realizar la misma encuesta era contrastar la mejora en los tres ejes y las hipótesis anunciadas.

En el transcurso de las tres tareas que componen cada experimento, los participantes estuvieron acompañados por dos evaluadores que observaban el experimento, el tiempo transcurrido en llevar a cabo cada tarea y valoraban la calidad siguiendo la rúbrica de calidad de los resultados.

Para paliar el posible efecto de sesgos de los evaluadores, se definieron parejas de dos evaluadores distintos para cada entregable de cada experimento.

Al terminar el experimento, los participantes contestaban una encuesta en la que valoraban su percepción respecto a la calidad de los resultados, ahorro de tiempo en el caso de los participantes con licencia y explicitaban cómo se habían sentido durante el experimento.

Para finalizar, se producía la conversación de cierre entre los participantes (Focus Group) con el objetivo de que los participantes, en función de su experiencia, compartieran sus ideas y visión sobre el impacto de la integración de la IA generativa en el día a día. Sus intervenciones eran recogidas por los evaluadores.

Además, en esta encuesta se incluyeron cuatro preguntas para los líderes que habían participado en el piloto Copilot para Microsoft 365 sobre el papel del liderazgo en la gestión del cambio hacia nuevas formas de trabajar con IA, su potencial a largo plazo y las skills que serán necesarias para su integración.

La participación en esta segunda encuesta fue de 202 empleados con licencia y 186 empleados del grupo de control.

Adicionalmente, y de forma complementaria, durante el transcurso de toda la investigación se obtuvieron semanalmente informes del uso real de Copilot para Microsoft 365 por parte de los participantes con licencia, haciendo así un seguimiento de la actividad o uso (adopción) de la herramienta a nivel general y por aplicación.

Al final del proyecto también se realizó una comparativa entre octubre y diciembre de 2022 y el mismo periodo de 2023 de los indicadores agregados procedentes de Microsoft Viva Insights relativos a colaboración para analizar las diferencias del grupo experimental versus el grupo de control (ver anexo 4), teniendo en cuenta también el grupo de familia, la categoría profesional y el sexo.

19

20 Metodologías

Metodología de gestión del cambio Repsol cuenta con un marco de gestión del cambio inspirado en una hibridación entre el modelo ADKAR (Hiatt, 2006) y los ocho pasos del modelo de cambio de Kotter (2012). Este marco es fruto del aprendizaje de la compañía, y se sintetiza en tres fases equivalentes a las del modelo de Kotter (2012): 1. Activa: donde se genera una visión común y se visualiza el impacto.

2. Adapta: donde se planifica, ejecuta y da seguimiento a las acciones.

3. Avanza: donde se pone foco en hacer el cambio sostenible.

Para el objetivo de maximizar la adopción de Copilot para Microsoft 365 se ha tenido que enriquecer el marco Activa-Adapta-Avanza a través de modelos como OpenSpace Beta y Lean Change Management dotando a las prácticas de mayor adaptabilidad (Hermann et al., 2018) y buscando un impacto más alto en menos tiempo (Little, 2014).

Así, la primera iteración del plan de gestión del cambio comenzó con un colectivo pequeño (15 empleados) con el objetivo de pre testear la herramienta, las capacitaciones, las encuestas, etc. y así dispuso de licencia dos meses antes que el resto y que sirvió para poner a prueba y validar las acciones que luego se desarrollarían en la comunidad en siguientes iteraciones. Además del plan de medición, explicado en el apartado anterior, se desarrollaron tres planes adicionales que dotan de estructura a este piloto Copilot para Microsoft 365:

1.

El Plan de Comunicación del proyecto con el objetivo de asegurar la participación y el compromiso de los empleados con licencia, aunque también de los que no la tenían. El estilo de la comunicación se diseñó bajo los principios de cercanía, sencillez y simpatía.

Prepiloto: Presentación del proyecto en los comités de cada dirección y a todos los stakeholders clave (directivos, mánagers, HR Business Partners y participantes).

Al inicio: Comunicaciones de bienvenida y arranque a participantes.

Durante el piloto: Comunicaciones sobre capacitaciones y córners digitales, sobre tips&tricks, sobre las encuestas de satisfacción y medición, y comunicaciones de la gamificación, comunicación de resultados y del estado del proyecto a los interesados.

Al final del piloto: Comunicación de los resultados en todos los foros clave para decidir el escenario de adopción, así como de forma informativa a los participantes del piloto Copilot para Microsoft 365.

Metodologías

2.

El Plan de Acompañamiento se centró en garantizar un aprendizaje y respaldo constante durante todo el proceso, desarrollando un plan completo que abarcó desde la capacitación, generando recursos de apoyo y sesiones online, hasta el soporte continuo para la resolución de dudas generando FAQs (Preguntas frecuentes de sus siglas en inglés) y córners digitales semanales, incorporando elementos de gamificación para fomentar la adopción. Se activó una comunidad de Copilot para Microsoft 365 como el principal canal de comunicación con los participantes con licencia y como un espacio para el intercambio de conocimientos, experiencias y mejores prácticas, en la que se compartían trucos novedades y recordatorios diarios. Se realizó un seguimiento y fomento de la actividad, contactando a los usuarios inactivos que dio lugar a la reasignación de cuatro licencias durante el proyecto. Por último, la gamificación, mediante la identificación de los diez top usuarios semanales y los tres mejores usuarios al final del piloto con un sistema de puntos basado en la participación en las encuestas y en las sesiones de capacitación y en la interacción en la comunidad.

3.

La tecnología abordó la gestión de incidencias, actualizaciones y cualquier aspecto técnico relacionado con Copilot para Microsoft 365 con el objetivo de garantizar un funcionamiento fluido y eficiente de la herramienta, minimizando interrupciones y asegurando una experiencia de usuario óptima. Se revisó la seguridad de los sitios compartidos y se enfatizó la importancia de la correcta gestión de los permisos antes del comienzo del piloto, garantizando los espacios de confidencialidad. Se incluyeron personas de los equipos de ciberseguridad y protección de la información para realizar pruebas de los extremos de seguridad del modelo. Además, se resolvieron todas las incidencias que fueron surgiendo con la herramienta y que llevaron a la mejora continua del producto como feedback al equipo de producto a través de los canales establecidos y a un equipo explícito de Microsoft para entender las necesidades y retos y acelerar la velocidad de resolución.

21

22 Resultados

03

Resultados

Los resultados de este estudio ayudan a entender el potencial de incorporar herramientas de inteligencia artificial generativa alrededor de los ejes de medición y de la propia adopción.

Adopción y uso de herramientas de inteligencia artificial generativa El 20,2% de la muestra participante declara que, previamente al piloto, usaban alguna herramienta de IA generativa de manera frecuente. Y solo un 4% habían usado la versión premium de alguna herramienta, adquiriendo a título personal la licencia.

Respecto a las medidas de adopción de Copilot para Microsoft 365 en cualquiera de sus aplicaciones, se alcanzaron los niveles máximos alrededor del 90% en las semanas iniciales del piloto. Después, se redujeron hasta situarse en una media de un 60%, estabilizada durante semanas. Los picos intermedios se explican con la coincidencia directa de las acciones de acompañamiento. Dentro de estas acciones, los participantes (tanto en encuestas como entrevistan) destacan: las sesiones de capacitación que obtuvieron más de un 95 % de asistencia de

participantes y se valoraron con un 92% con la escala de Net Promoter Score (NPS); los córners de soporte que alcanzan un 83% de participación y un NPS extraordinario de 100%; y, por último, los trucos y novedades compartidos a través de la comunidad durante la duración de la 1º fase del piloto.

La adopción de Copilot para Microsoft 365 en diferentes herramientas, sin embargo, ha sido desigual: Teams ha sido la aplicación con mejor adopción (65%) de Copilot para Microsoft 365, con una diferencia de 27 puntos porcentuales con respecto a Outlook en segunda posición, mientras que Excel ha sido la aplicación con peor adopción a pesar de ser una de las aplicaciones más usadas en la organización. Esto se debe, según se desprende de las entrevistas y focus groups, a la falta de madurez de Copilot para

Resultados 23

Uso previo de IA Generativa

20,2%

Adopción de Copilot para Microsoft 365

90%

Uso de Copilot para Microsoft 365

Adopción por aplicaciones

usaban alguna herramienta de IA generativa de manera recurrente

de adopción en la semanas iniciales del proyecto

4%

habían usado la versión premium de alguna herramienta

95%

asistencia en sesiones de capacitación

36,6%

de los participantes usan Copilot para Microsoft 365 entre cuatro y cinco días a la semana

65%

adopción de Copilot para Microsoft 365 en Teams

29% adopción en Word

Microsoft 365 en esta herramienta, por ejemplo, por la necesidad de hacer prompting en un lenguaje menos natural y más lógico. Asimismo, cabe mencionar que Copilot para Microsoft 365 se encontraba disponible solo en el nuevo Outlook, que no era la versión del programa habitual para los usuarios. Es importante notar que Copilot para Microsoft 365 en Excel estaba en preview pública durante esta investigación.

A pesar de que Copilot para Microsoft 365 está disponible en ocho aplicaciones, las personas lo usan, en promedio, en una sola por semana.

Los participantes afirman que un acompañamiento cercano es la clave de la gestión del cambio que han valorado con un NPS de 52%. Además, reconocen el valor de acciones de capacitación y una conversación continua compartiendo casos de éxito, trucos, ejemplos

92%

valoración (NPS) de las sesiones de capacitación

83%

participación en córners de soporte

100% NPS en córners de soporte

1 app

En promedio, los participantes usan Copilot para Microsoft 365 en una sola aplicación por semana

38%

adopción en Outlook

de prompts, etc. Se puede afirmar que el proceso de adopción, dado que impacta en la forma de trabajar, es un proceso de aprendizaje continuo que sitúa a las personas en el centro poniendo en valor la experimentación y la curiosidad.

Por otro lado, un 36,6% de los participantes ha integrado Copilot para Microsoft 365 en su día a día, utilizando la herramienta entre cuatro y cinco días a la semana. Los motivos principales para no hacerlo a diario, por orden de importancia, son: falta de tiempo, no responder a sus necesidades, y errores de Copilot para Microsoft 365 o limitaciones técnicas (como fue el caso de Copilot para Microsoft 365 en el nuevo Outlook).

A continuación, se muestran los resultados en los ejes principales de medición:

24 Resultados

Impacto en la eficiencia y ahorro de tiempo Los participantes en este experimento con Copilot para Microsoft 365 ahorraron 121 minutos brutos de media a la semana, es decir, 96,8 horas al año por empleado, ponderando el 70% del ahorro resultante en los experimentos y el 30% de la encuesta. Estos ahorros se maximizan en tareas como resumir contenido, buscar información, o gestionar email, y se minimizan en aquellas como traducir, gestionar equipos/planificar y analizar datos. Se identificó que los ahorros eran nulos al usar Copilot para Microsoft 365 en Excel en preview pública que, por las limitaciones derivadas de la falta de madurez de la herramienta y por la necesidad de usar el idioma inglés de una manera más lógica que natural, hicieron comprometer tanto la eficiencia como la calidad.

“Ahorraron 121 minutos brutos de media a la semana, es decir, 96,8 horas al año por empleado.”

Resultados 25

Estos ahorros de tiempo coinciden conceptualmente con los obtenidos en otras investigaciones en los que se alcanzan ahorros de tiempo de hasta un 37% en tareas genéricas determinadas (Noy et al., 2023) o de un 25,1% en experimentos con tareas más concretas en un colectivo de consultores (Dell’Acqua et al., 2023). En la investigación de Future for Work Institute (2024), en un colectivo de RR.HH., hubo práctica unanimidad (el 98% del total) entre las personas que más frecuentemente usaban IAG en torno a la idea que ésta permitirá hacer las tareas en menos tiempo.

En cuanto a los grupos de familia a los que más tiempo ahorra Copilot para Microsoft 365 en la realización de sus tareas son: Operaciones y producción (260,41 min/semana); Ingeniería y mantenimiento (225,42 min/semana); Financiera y seguros (218,67 min/semana) dejando entre los que menos ahorran a colectivos como asuntos jurídicos (34,5 min/semana) o impuestos (15,02 min/semana). Esta diferencia, revelada en las entrevistas semiestructuradas, se explica porque estos grupos de familia necesitan una información precisa y consistente en el tiempo, y no les sirven las inferencias que hace Copilot para Microsoft 365 ni tampoco la diferencia de respuesta basada en la información a la que el usuario tiene acceso.

Grupos de familia / Ahorro de tiempo semanal por persona Operaciones y producción

260,41 min

Ingeniería y mantenimiento

225,42 min

Financiera y seguros

218,67 min

Asuntos jurídicos

34,5 min

Fiscal

15,02 min

Si se atiende a la distribución de este ahorro de tiempo por categoría profesional, los empleados a los que más tiempo ahorra Copilot para Microsoft 365 en la realización de sus tareas son los perfiles técnicos cualificados (126,07 min/semana) y los profesionales (112,79 min/ semana) y profesionales sénior (101,83): sin embargo, personas que trabajan en campo (32,19 min/semana) o administrativos (75,87 min/semana) han logrado menores ahorros.

Categoría profesional / Ahorro de tiempo semanal por persona Técnicos cualificados

126,07 min

Profesionales

112,79 min

Profesionales sénior

101,83 min

Profesionales en campo

75,87 min

Administrativos

32,19 min

Se trató de identificar distintos clústeres en base a la eficiencia y considerando diferentes variables como categoría profesional, grupo de familia, etc. Sin embargo, la variedad existente entre los diferentes grupos provoca que no exista convergencia, no pudiendo identificar grupos homogéneos, aun habiendo aplicado diferentes métodos para analizarlo.

Con el fin de estimar el impacto en la productividad, se ha descubierto el efecto de determinados factores de ajuste que se suman al habitual aplicado por Forrester (2022) del productivity capture, que a efectos de esta investigación se asume el mismo valor (50%) que para herramientas como el propio Microsoft 365 E3, Viva, etc. (Diagne, 2022; Forrester, 2023). En primer lugar, se ha evidenciado el efecto de la adopción promedio en los ahorros obtenidos

26 Resultados

y, así, el propio grado de adopción medio de la herramienta (60%); en segundo lugar, se ha analizado el impacto dependiendo del número de aplicaciones clave (aquellas en el primer cuartil de uso) en las que se usa Copilot para Microsoft 365 (42%).

Aplicando estos factores de ajuste, el ahorro bruto antes mencionado, puede cuantificarse en un ahorro neto en productividad de 15 minutos a la semana por persona. Es importante reseñar que el tiempo restante hasta los 121 minutos, aunque no se consideren productividad, sí se traduce en beneficios asociados a la salud y el bienestar de las personas que impactan en el nivel de compromiso de empleados (Seymour & Dupré, 2008).

El 75% de los empleados con licencia percibe que Copilot para Microsoft 365 les ayuda a reducir el esfuerzo de ejecución de las tareas y un 76% a aumentar la velocidad con las que las realizan.

Por último, existe una correlación entre la frecuencia de uso semanal de Copilot para Microsoft 365 y el ahorro de tiempo obtenido.

De esta manera, las personas con mayor frecuencia de adopción semanal ahorran 81,4 minutos más (en total 202 a la semana) que las personas que lo utilizan con menor frecuencia.

Estos resultados coinciden con los evidenciados por otros estudios donde la variable de frecuencia de uso correlaciona positivamente con la percepción del grado de transformación que los puestos de trabajo tendrán en un futuro de tres años (Future For Work Institute, 2024).

Las tareas que más se delegarían a Copilot para Microsoft 365, por orden de favorabilidad, son: encontrar información (84,1%), resumir documentos (83,5%) y extraer conclusiones (71%).

Aunque un 56,8% de los usuarios considera que Copilot para Microsoft 365 le ayuda a mejorar

la creatividad, no es una de las tareas que más delegarían (36,4%). Tampoco delegarían la planificación de su día (32,4%).

Delegación de tareas a Copilot para Microsoft 365 84,1%

Encontrar información

83,5% Resumir documentos 71% Extraer conclusiones 35,4% Mejorar la creatividad 32,4% Planificación del día

Para poder evaluar el impacto en un cambio de hábitos, será necesario un estudio de mayor duración para poder capturar este extremo. Aun así, se ha comparado los datos de indicadores avanzados de Viva Insights del grupo de control vs. empleados con licencia en métricas sobre la dinámica de colaboración (reuniones, concentración, uso de email, Teams…) entre octubre y diciembre de 2023 y octubre y diciembre de 2022. El único indicador que tiene diferencias en estos periodos es el del tiempo de concentración de calidad (tiempo en bloques de una hora o más sin interrupciones de colaboración digitales (llamadas, reuniones, mensajes).

Mientras que en el grupo de control disminuye un 2% en el periodo analizado, en el grupo con licencia mejora un 9%. Para el caso del tiempo de concentración en la capa de liderazgo, este patrón se replica: disminuye un 1% para el grupo de control y aumenta un 12% en el grupo con licencia.

No se puede atribuir este cambio al hecho de tener licencia, aunque es relevante que se haya producido y habrá que monitorizar estos indicadores en futuras mediciones.

Resultados 27

Impacto en la calidad del trabajo Copilot para Microsoft 365 logra mejorar en un 16,2% la calidad de los resultados teniendo en cuenta el análisis de los experimentos mediante una rúbrica de evaluación. Se excluyen los resultados en aplicaciones sin mejora en la calidad, concretamente en Excel, ya que se trata de una herramienta con bajo nivel de madurez y provoca imprecisión en el resultado global. Esta mejora también es identificada desde la percepción del empleado en las encuestas. Los principales ámbitos de mejora de la calidad fueron la originalidad, con un incremento del 28%, el pensamiento analítico, que presenta una mejora del 23,5%, y, por último, el diseño, que aumenta un 22% en cuanto a la calidad de los entregables del grupo de control. Se fomenta, aunque en menor medida, la redacción con una mejora del 10%, y la comunicación de ideas en un 11%.

De nuevo estos resultados están alineados con los incrementos de calidad de un 18%, evidenciados en el experimento de Noy et al (2023) y un 40% en el de Dell’Acqua et al (2023).

Es importante resaltar que en el 100% de los experimentos se han identificado casos en los que los usuarios no revisan el resultado generado por Copilot para Microsoft 365, es decir, se confía en exceso en el contenido, calidad y precisión generado. Este concepto de sobre confianza en la IA (overreliance en inglés) está siendo estudiado en diversas investigaciones donde se han registrado resultados equivalentes. Por ejemplo, Passi, S. y Vorvonerau, M. (2022) identifican que ese exceso de confianza se invierte hasta desconfiar del resultado de la IAG.

28 Resultados

Impacto en la experiencia de empleado El 61,9% de los usuarios con licencia declararon que no les gustaría volver a trabajar sin Copilot para Microsoft 365. Un deseo que aumenta con el paso del tiempo, cuando los usuarios conocen más la herramienta. Además, indicaron que se sentirían decepcionados si no pudieran usarla, aunque no sería un motivo para abandonar la compañía.

Los usuarios recomiendan Copilot para Microsoft 365 con un NPS del 67%, cinco puntos por debajo de la primera medición, que puede ser debido a un ajuste de expectativas, ya que en esta segunda medición conocen mejor la herramienta. Cuanto mayor es el uso de Copilot para Microsoft 365, mejor es la recomendación. Las aplicaciones más recomendadas son Chat de Copilot y Copilot para Microsoft 365 en Teams.

Aplicación

% de uso de app

NPS Copilot

% de adopción Copilot

Chat de Copilot

NA

81,9%

NA

Microsoft Teams

90,8%

72,2%

65%

Word

54,9%

65,8%

29%

Outlook

89,8%

53,3%

38%

PowerPoint

55,4%

32,25%

18%

OneNote

39,5%

17,1%

0%

WhiteBoard

7,1%

5,7%

NA

Excel

70,7%

2,8%

6%

Loop

3,6%

-0,1%

0%

Resultados 29

Percepción de uso y sensaciones entre los participantes

Percepción de la capa de liderazgo

Ambos grupos muestran seguridad y tranquilidad. Los participantes con licencia sienten motivación y productividad (61,3%), aunque disminuye de la primera a la segunda encuesta.

Además, se frustran cuando no funciona Copilot para Microsoft 365 (46,6%). Los participantes sin licencia sienten curiosidad por conocer la herramienta (95,5%) y frustración por no tenerla cuando trabajan junto a personas con licencia (15,4%).

En cuanto a la percepción de los líderes es importante resaltar que consideran que en el futuro tendrá lugar cambios en los roles y funciones de las actuales estructuras organizativas (90,5%) y que las personas en roles de liderazgo han de ser referentes y liderar la integración de la IA generativa en el día a día (90,5%) dado que habrán de ser ejemplo en el necesario cambio de hábitos y forma de trabajar.

Los participantes con licencia consideran que Copilot para Microsoft 365 les ayudará más en: mejorar la eficiencia (49%); aprender más rápido (14%); y reducir el tiempo dedicado a reuniones (14%). Esperan que evolucione y mejore con el tiempo, y confían en el potencial de la herramienta para transformar la forma en que se realizan las tareas diarias.

Se apoyan en tres beneficios futuros que esperan de integrar Copilot para Microsoft 365 en el día a día: aumentar la productividad de los equipos (72%), evitar tareas repetitivas (46%) y hacer los procesos más eficientes (45%).

Consideran que las competencias más relevantes a desarrollar para que los equipos evolucionen y saquen partido de herramientas de IAG como Copilot para Microsoft 365 son la curiosidad y el aprendizaje continuo (26%), el manejo de IA y datos (19,1%) y el pensamiento creativo (15,5%).

30 Conclusiones

04

Conclusiones

El estudio llevado a cabo demuestra que la implementación de herramientas de inteligencia artificial generativa, como Copilot para Microsoft 365, puede tener un impacto significativo en la eficiencia, calidad y experiencia de los empleados en el ámbito corporativo. Durante los cuatro meses de experimentación, se ha observado que esta tecnología facilita la realización de tareas rutinarias y mejora la calidad de los entregables, así como también enriquece la experiencia laboral de los empleados.

Asimismo, se evidencia un ahorro promedio de 121 minutos brutos por semana en gestión de tareas, lo que se traduce en una mejora tangible en la productividad. También se han identificado factores de ajuste de ese ahorro para cuantificar en términos de productividad y de bienestar el

resultado. Además, se registra un aumento del 16% en la calidad de los trabajos realizados y, a nivel de experiencia, más del 60% de los usuarios con licencia han expresado su preferencia por continuar trabajando con Copilot para Microsoft 365, destacando su impacto positivo en la seguridad, tranquilidad y motivación.

Este estudio muestra la importancia de una adecuada e intensa gestión del cambio, que incluye capacitación pragmática, comunicación efectiva y un soporte constante a la comunidad. Estos tres elementos se erigen como cruciales para maximizar la adopción, la integración en el día a día y el aprovechamiento de IA generativa en entornos corporativos para evolucionar las formas de trabajar y los hábitos de las personas.

Consideraciones y líneas futuras

05

Consideraciones y líneas futuras A pesar de los resultados prometedores, el estudio enfrenta varias consideraciones que deben ser tenidas en cuenta para interpretar los hallazgos correctamente: 1. La generalización de los resultados: las evidencias han sido obtenidas en un contexto corporativo específico como Repsol que pueden no ser directamente extrapolables a otras industrias o culturas organizacionales. Por ello, es necesario realizar estudios similares en otros sectores, empresas de diferentes tamaños y con diversos grados de madurez digital, así como, fomentar la colaboración entre investigadores de diferentes disciplinas (psicología organizacional, ingeniería de sistemas, ciencias de la computación y sociología) y profesionales del sector para enriquecer el diseño y las estrategias de implantación de IA generativa.

2. La duración del estudio (cuatro meses): la adaptación a nuevas tecnologías y la transformación de prácticas laborales toman tiempo. Debería ampliarse en futuros estudios capturando datos en periodos de observación más prolongados.

3. Profundizar en el análisis de emociones, perspectivas y liderazgo, para entender cómo las herramientas de IA generativa afectan la experiencia de empleado, el bienestar general, la satisfacción laboral y la vida personal de los empleados.

4. La medición precisa del retorno económico de la IA generativa, considerando no solo la produc-

tividad y eficiencia, sino también los costes de implementación y mantenimiento.

5. Durante los dos primeros meses del estudio se trabajó con la versión preliminar de Microsoft 365. Se espera que, en próximas investigaciones, el desarrollo del producto permita apreciar un impacto positivo tanto en la adopción como en la intensidad de uso y en el número de aplicaciones del producto.

Estas consideraciones indican que, aunque los resultados son prometedores, se deben interpretar con precaución. Es recomendable realizar estudios adicionales que aborden estas líneas futuras, con periodos de observación más largos, una muestra más amplia y diversa, y pruebas en diferentes contextos organizacionales.

Los futuros resultados, además de enriquecer el entendimiento académico y práctico sobre la IA generativa, también guiarán el desarrollo de políticas y estrategias más efectivas para su implementación en el mundo empresarial, asegurando que estas tecnologías se utilicen de manera que beneficien a las personas, los equipos, las organizaciones y la sociedad.

31

32 Bibliografía

06

Bibliografía

Accenture. (2024). Accenture | Life Trends 2024 Life Trends 2024 Full Report | Accenture.

Babina, T., Fedyk, A., He, A. X., & Hodson, J. (2023). NBER WORKING PAPER SERIES FIRM INVESTMENTS IN ARTIFICIAL INTELLIGENCE TECHNOLOGIES AND CHANGES IN WORKFORCE COMPOSITION. http://www.nber.org/papers/w31325 Bahre, S. (2022). Net Promoter Score (NPS) as a Predictor of Future Sales Growth -Empirical Insights to Improve Manageria Practice. Obtenido de https:// link.springer.com/article/10.1007/s11747-021-00790-2 Boston Consulting Group. (2023). AI at Work: What People Are Saying.

Cambon, A., Hecht, B., Edelman, B., Ngwe, D., Jaffe, S., Heger, A., Vorvoreanu, M., Peng, S., Hofman, J., Farach, A., Bermejo-Cano, M., Knudsen, E., Bono, J., Sanghavi, H., Spatharioti, S., Rothschild, D., Goldstein, D. G., Kalliamvakou, E., Cihon, P., … Teevan, J. (2023). Early LLM-based Tools for Enterprise Information Workers Likely Provide Meaningful Boosts to Productivity A first update from Microsoft’s research initiative on AI and Productivity.

Campbell Donald T., & Stanley Julian C. (2015).

Experimental and Quasi-Experimental Designs for Research (Ravenio Book, Ed.).

Cazzaniga, M. (2024). Gen-AI. Staff Discussion Notes, 2024(001), 1. https://doi. org/10.5089/9798400262548.006

Chui, M., Hazan, E., Roberts, R., Singla, A., Smaje, K., Sukharevsky, A., Yee, L., & Zemmel, R. (2023). The economic potential of generative AI The next productivity frontier The economic potential of generative AI: The next productivity frontier.

Cramarenco, R. E., Burc-Voicu, M. I., & Dabija, D. C. (2023). The impact of artificial intelligence (AI) on employees’ skills and well-being in global labor markets: A systematic review. In Oeconomia Copernicana (Vol. 14, Issue 3, pp. 731–767). Institute of Economic Research. https://doi.org/10.24136/oc.2023.022 Dell’Acqua, Fabrizio and McFowland III, Edward and Mollick, Ethan R. and Lifshitz-Assaf, Hila and Kellogg, Katherine and Rajendran, Saran and Krayer, Lisa and Candelon, François and Lakhani, Karim R., Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality (September 15, 2023).

Harvard Business School Technology & Operations Mgt. Unit Working Paper No. 24-013, Available at SSRN: https://ssrn.com/abstract=4573321 or http://dx.doi. org/10.2139/ssrn.4573321 Diagne, M. (2022). The Total Economic ImpactTM Of Microsoft Viva Cost Savings And Business Benefits Enabled By Microsoft Viva.

Efri Ekaningrum, N., Syahrul Hidayat, M., & Yuliaty, F. (2023). Exploring the Future of Work: Impact of Automation and Artificial Intelligence on Employment.

In ENDLESS: International Journal of Future Studies (Vol. 6, Issue 1). https://endless-journal.com/index.php/ endless/125 Eprs, & Rapporteurs. (n.d.). BRIEFING EU Legislation in Progress Proposal for a regulation of the European Parliament and of the council laying down harmonised rules on artificial intelligence (artificial intelligence act) and amending certain Union legislative acts Committees responsible.

Bibliografía 33

Forrester. (2022). The Total Economic ImpactTM Of Microsoft 365 E3 Cost Savings And Business Benefits Enabled By E3.

Forrester. (2023). New Technology: The Projected Total Economic ImpactTM Of Microsoft Defender Experts For XDR.

León O. G., & Montero I. (2003). Métodos de investigación en psicología y educación (McGraw-Hill, Ed.).

Little, J. (2014). Lean Change Management: Innovative Practices For Managing Organizational Change.

Lucini Fernando, & Vohra Sanjeev. (2023). A practical primer on scaling AI for business value.

Future For Work Institute. (2023). ¿Qué sabe ChatGPT de Recursos Humanos. In 2023.

Mark Mitchel, & Janina Jolley. (1988). Research design explained. Holt, Rinehart & Winston Inc.

Future For Work Institute. (2024). Los profesionales de RRHH ante los desafíos de la IA.

Masriadi, & Dasmadi, & Ekaningrum, Nurul & Hidayat, Muhammad & Yuliati, Farida. (2023). Exploring the Future of Work: Impact of Automation and Artificial Intelligence on Employment. ENDLESS: INTERNATIONAL JOURNAL OF FUTURE STUDIES. 6. 125-136. 10.54783/endlessjournal.v6i1.131.

HAI. (2023). Artificial Intelligence Index Report 2023 Introduction to the AI Index Report 2023.

Hair Joseph Franklin, Black William, & Babin Barry J. (2010). Multivariate Data Analysis: A Global Perspective | Request PDF (Pearson, Ed.; 7th ed.). https://www. researchgate.net/publication/237009923_Multivariate_ Data_Analysis_A_Global_Perspective Hermann, S., Pflaeging, N., & Mezick, D. (2018).

OpenSpace Beta: A handbook for organizational transformation in just 90 days. Betacodex Publishing.

Hiatt, J. (2006). ADKAR: A model for change in business, government and our community. Model for Change in Business, Government, and Our Community, 146.

Hinkelmann Klaus, & Kempthorne Oscar. (2008).

Design and Analysis of Experiments. Introduction to Experimental Design (Wyley, Ed.; 2nd ed., Vol. 1).

Jo, H., & Park, D. H. (2024). Effects of ChatGPT’s AI capabilities and human-like traits on spreading information in work environments. Scientific Reports, 14(1). https://doi.org/10.1038/s41598-024-57977-0 Kotter John P. (2012). Leading Change. Harvard Business Review Press. https://www.amazon.es/ Leading-Change-New-Preface-Author-ebook/dp/ B00A07FPEO

Mc Gregor J. (2023). Microsoft Expands Copilot AI Tool To 600 Customers In Paid Preview As ‘Digital Debt’ Weighs On Workers. Forbes. https://www.forbes.com/ sites/jenamcgregor/2023/05/09/microsoft-expandscopilot-ai-tool-to-600-customers-in-paid-preview-asdigital-debt-weighs-on-workers/?sh=466cc6da7244 Mehdi J., & Microsoft. (2023). Announcing Microsoft Copilot, your everyday AI companion - The Official Microsoft Blog. https://blogs.microsoft.com/ blog/2023/09/21/announcing-microsoft-copilot-your-everyday-ai-companion/ Microsoft. (2023b). Work Trend Index | Will AI Fix Work? https://www.microsoft.com/en-us/worklab/ work-trend-index/will-ai-fix-work/ Microsoft. (2023c). Repsol incorpora a Microsoft como socio de su Centro de Competencias de IA generativa – Centro de noticias. https://news.microsoft.com/ es-es/2023/06/27/repsol-incorpora-a-microsoft-como-socio-de-su-centro-de-competencias-de-ia-generativa/ Microsoft. (2024). Advanced insights metric descriptions | Microsoft Learn. https://learn.microsoft.com/ en-us/viva/insights/advanced/reference/metrics

34 Bibliografía

Ministerio de Asuntos Económicos y Transformación Digital. Gobierno de España. (2020). Estrategia Nacional de Inteligencia Artificial. https://publications. jrc.ec.europa.eu/repository/bitstream/JRC118163/ jrc118163_ai_watch._defining_artificial_intelligence_1. pdf

Repsol SA. (2024b). Repsol - Perfil de la compañía.

Https://Www.Repsol.Com/Es/Conocenos/Perfil-deCompania/Index.Cshtml.

Morandini, S., Fraboni, F., de Angelis, M., Puzzo, G., Giusino, D., & Pietrantoni, L. (2023). THE IMPACT OF ARTIFICIAL INTELLIGENCE ON WORKERS’ SKILLS: UPSKILLING AND RESKILLING IN ORGANISATIONS. Informing Science, 26, 39–68. https://doi.org/10.28945/5078

Seymour, A., & Dupré, K. (2008). Advancing Employee Engagement Through a Healthy Workplace Strategy.

Http://Dx.Doi.Org/10.1258/Jhsrp.2007.007031, 13(SUPPL. 1), 35–40. https://doi.org/10.1258/ JHSRP.2007.007031

Noy, S., Zhang, M. W., Agarwal, N., Autor, D., Barros, L., Benheim, T., Finkelstein, A., Horton, J., Jäger, S., Leslie, A., Mejia, J., Noy, I., Noy, L., Partridge, E., Rafkin, C., Rao, A., Roussille, N., Roth, C., Schilbach, F., … Wu, S. (2023). Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence.

OpenAI, Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F. L., Almeida, D., Altenschmidt, J., Altman, S., Anadkat, S., Avila, R., Babuschkin, I., Balaji, S., Balcom, V., Baltescu, P., Bao, H., Bavarian, M., Belgum, J., … Zoph, B. (2023). GPT-4 Technical Report. http://arxiv.org/abs/2303.08774 Perifanis, N. A., & Kitsios, F. (2023). Investigating the Influence of Artificial Intelligence on Business Value in the Digital Era of Strategy: A Literature Review. In Information (Switzerland) (Vol. 14, Issue 2). MDPI. https://doi.org/10.3390/info14020085 Reilly Athena, Depa Joe, & Douglass Greg. (2023).

Provocative thinking, transformative insights, tangible outcomes From experimental to exponential Achieve competitive agility.

Repsol SA. (2024a). Actualización estratégica 20242027. Repsol SA. Repsol SA. (2021). Repsol y Microsoft amplían su colaboración para acelerar en innovación digital y en la transición energética. https://www.repsol.com/es/ sala-prensa/notas-prensa/2021/repsol-y-microsoft-amplian-su-colaboracion-para-acelerar-en-innovacion-digital-y-en-la-transicion-energetica/index.cshtml

Sampieri R. H., & Collado C. F. (2005). Metodología de la Investigación. UBA.

Solaiman, I., Talat, Z., Agnew, W., Ahmad, L., Baker, D., Blodgett, S. L., Daumé, H., Dodge, J., Evans, E., Hooker, S., Jernite, Y., Luccioni, A. S., Lusoli, A., Mitchell, M., Newman, J. Png, M.-T., Strait, A., & Vassilev, A. (2023).

Evaluating the Social Impact of Generative AI Systems in Systems and Society. http://arxiv.org/abs/2306.05949 Spataro J. (2023). Introducing Microsoft 365 Copilot – your copilot for work - The Official Microsoft Blog. https://blogs.microsoft.com/blog/2023/03/16/introducing-microsoft-365-copilot-your-copilot-for-work/ Theben, A., Plamenova, N., Perramon, J., & Llach, J. (n.d.). The impact of AI adoption on employee engagement: preparing the workforce for new realities Webb, T., Mondal, S. S., Wang, C., Krabach, B., & Momennejad, I. (2023). A Prefrontal Cortex-inspired Architecture for Planning in Large Language Models. http://arxiv.org/abs/2310.00194 West, P., Lu, X., Dziri, N., Brahman, F., Li, L., Hwang, J. D., Jiang, L., Fisher, J., Ravichander, A., Chandu, K., Newman, B., Koh, P. W., Ettinger, A., & Choi, Y. (2023).

The Generative AI Paradox: “What It Can Create, It May Not Understand.” http://arxiv.org/abs/2311.00059 Wiseman, B. (2023). 2023 Work Trend Index Special Report Work Trend Index Special Report What Can Copilot’s Earliest Users Teach Us About Generative AI at Work?

XXX 35

36 XXX