Polito AMI: Jamindi

Piloto AMIs: Caso Jamundí.

Caracterización de usuarios y detección de anomalías.

Reporte de exploración de datos y propuestas

Objetivo: Aplicar las metodología propuestas de caracterización del consumo y detección de anomalías al caso Jamundí.

Para mayor información sobre la propuesta, favor dirigirse al documento: https://issuu.com/guane.ai/docs/entregable_piloto_amis?fr=xIAEoAT3_NTU1

CONTENIDO 1.

2.

3.

4.

5.

6.

7.

8.

Descripción de la muestra de usuarios residenciales.

Clusterización: Identificación de residenciales de bajo consumo y sus comportamientos Caracterización de usuarios residenciales de bajo consumo.

Detección de anomalías: Primer enfoque. a. Resultados.

Detección de anomalías: Segundo enfoque. a. Resultados.

Conclusiones derivadas del análisis.

Limitaciones del análisis propuesto.

Recomendaciones.

Muestra de datos Se tienen registros de consumo de energía activa para 5626 usuarios residenciales AMI en Jamundí. Se tomó una muestra de 1000 de estos usuarios para explorar la clusterización y la detección de anomalías.

Clusterización Se utilizó el método del elbow con métrica Dynamic Time Warping (dtw) para determinar el número óptimo de clusters que describen los consumos de energía activa. Se generan 3 clusters y, para continuar la caracterización, se toma el más poblado de ellos (cluster 0, 998 usuarios), al que se denominó como residenciales de bajo consumo.

Clusterización Tras una segunda clusterización sobre los residenciales de bajo consumo con el propósito de buscar diferencias en los patrones de consumo, se encuentran 4 clusters principales.

Población por cluster

Caracterización Para cada uno de los 4 clusters identificados en los residenciales de bajo consumo, se puede extraer, por un lado, información a partir de sus series de tiempo centroide (baricentros) como el promedio de consumo horario, qué tan disperso es este consumo y cuáles y cuándo se dan típicamente los consumos mínimos y máximos.

Fácilmente se identifican categorías de mayor o menor consumo y con comportamientos distintos.

Distribución general de usuarios por estrato y circuito Por otro lado, también es posible caracterizar los clusters por medio de información socioeconómica y de red de sus usuarios como el estrato y el circuito al que pertenecen.

A primera vista se encuentra que la mayoría de los usuarios son de estrato 4 y pertenecen al circuito JAMUNDI 3.

Distribución de usuarios por estrato y circuito - Cluster 0 Nótese cómo, en contra de la intuición de que usuarios en condiciones socioeconómicas más favorables consumen más energía, la mayoría de los usuarios, incluso en el cluster 0 que es el de menores consumos dentro de los residenciales de bajo consumo, son de estrato 4.

Esto podría dar indicios de anomalías en los comportamientos de consumo de los usuarios.

Distribución de usuarios por estrato y circuito - Cluster 2 Este cluster, aunque es de consumos un poco más altos que los del cluster 0, también presenta el comportamiento de que la mayoría de los usuarios son de estrato 4, corroborando la tendencia anómala expuesta con anterioridad.

Detección de anomalías - Enfoque # 1.

Para este análisis se tomaron los lunes de enero de 2023. Para cada usuario, se calculó el baricentro de sus lunes y la inercia que presentan, que es una medida de qué tan regulares son los consumos. Para un usuario de alta inercia, sus lunes no se parecen entre ellos. Para un usuario de baja inercia, sus lunes son similares. Se estudia la distribución de inercias de los usuarios residenciales de bajo consumo.

Ejemplos de anomalías La alta inercia se caracteriza por cambios súbitos que son indicios de anomalías en los consumos.

Nótese cómo usuarios de alta inercia, con tendencia a la baja, se caracterizan por una caída súbita del consumo mientras que, como control, los usuarios con inercia promedio, también con tendencia a la baja, presentan una recuperación del consumo. Por otro lado, usuarios con alta inercia y con tendencia al alza, presentan subidas súbitas del consumo.

Ejemplos de anomalías En el caso de usuarios de muy baja inercia, se encontró que están caracterizados por consumos casi nulos con extremada regularidad.

Detección de anomalías - Enfoque # 2 Se tomó una muestra de n=100 usuarios AMIs de Jamundí para aplicar la metodología propuesta de detección de anomalías sobre las series de su consumo histórico de energía. ● n=100 ● Ventana de tiempo: Enero 2023 - Junio 2023. ● Tipo de muestra: Aleatoria.

(Para mayor información sobre la propuesta, favor dirigirse al documento de la propuesta: https://issuu.com/guane.ai/docs/entregable_piloto_amis?fr=xIAEoAT3_NTU1)

Detección de anomalías - Enfoque # 2 Algunos de los clientes a estudiar son (código punto medición o nombre): ['ALLEGRA CONSTRUCTORA BOLIVAR', 'LAURA ANDREA VALDERRAMA GOMEZ' 'ALBORADA CONSTRUCTORA BOLIVAR_14', 'MARIA DEL SOCORRO RENGIFO RODAS', 'CONSTRUCTORA MELENDEZ', 'ALBORADA CONSTRUCTORA BOLIVAR_2', ‘'JACAMAR JARAMILLO MORA', 'SOL DE CAMPO CONSTRUCTORA MELENDEZ', 'CARMEN ROSA RUALES VALDES', 'CARLOS CALDERON MORALES', 'SURCOS DE PANGOLA CONSTRUCTORA BOLIVAR', 'DOLORES MIRANDA GARCIA', '334023277500', '397059412000', '723002800900', '417001876000', '352052288900', '005036477600', '285026975600', '653044546900', '200069909800', '616059466600', 'ISABEL ELENA MU¿OZ GALVIS', '104068868100', '110034526900', '934066376300', '050022374100', '038028984900', '782023978700', '177049011700', 'JIMMY FERNANDO GONZALEZ ALARCON', '791054386800',

…

'894023242300', 'ARLEY MONTENEGRO BENAVIDEZ', 'PRODESIC S.A.', '962033920500', '372013595800', '672041363300', '428061636600', '776019191800', 'FLOR NELLY LOZANO SAAVEDRA', '455001125400', '023025007900', '822053909400', '051041904700', '019028187200', '391054156000', '914031444300']

Detección de anomalías - Enfoque # 2 La estrategia consiste en realizar un proceso de clustering para cada cliente y día típico de la semana.

Esto con el fin de detectar los múltiples patrones de consumo que un cliente puede tener para un mismo día.

En la siguiente gráfica se observa que el cliente seleccionado tiene 2 formas de comportarse al consumir energía los días lunes (2 cluster, 2 colores diferentes).

Detección de anomalías - Enfoque # 2 Para cada una de los clusters se calcula la serie cetrotide (baricentro) y para cada serie de consumo de cada cluster evaluamos su similaridad respecto a su cluster con con los siguientes pesos y calculamos el índice de anomalías para cada serie:

Detección de anomalías - Enfoque # 2 Obtenemos posteriormente la distribución del índice de anomalías para todo los casos de estudio.

Detección de anomalías - Enfoque # 2 La siguiente gráfica de coordenadas paralelas nos permite concluir que para el día lunes, nuestro cliente presenta como máximo un índice de 0.85 cuando el mayor valor posible es 1.

Detección de anomalías - Enfoque # 2 Buscamos la serie asociada al mayor índice observado para el día lunes de nuestro cliente y observamos las métricas calculadas que dieron pie a la anomalía.

Detección de anomalías - Enfoque # 2 Si observamos la serie en cuestión, con mayor indice de anomalia, observamos que: ● La serie hace parte del cluster de bajo consumo. ● La serie está por debajo de su baricentro. ● La serie tiene pendiente negativa. ● La serie tiene una tendencia diferente a su baricentro. ● La serie no se parece mucho a su baricentro, dado el índice de correlación, MSE y MPE.

Detección de anomalías - Enfoque # 2 En la siguiente gráfica se observa que el cliente seleccionado tiene 2 formas de comportarse al consumir energía los días viernes (2 cluster, 2 colores diferentes).

Detección de anomalías - Enfoque # 2 La siguiente gráfica de coordenadas paralelas nos permite concluir que para el día viernes, nuestro cliente presenta como máximo un índice de 1 cuando este es el mayor valor posible.

Detección de anomalías - Enfoque # 2 Buscamos la serie asociada al mayor índice observado para el día lunes de nuestro cliente y observamos las métricas calculadas que dieron pie a la anomalía.

Detección de anomalías - Enfoque # 2 Indice de anomalía igual a 1, significa que la serie de tiempo cumple con todas las condiciones que indican una anomalía: ● La serie pertenece a un cluster de bajo consumo. ● Está por debajo del “barycentro”. ● Tiene una pendiente negativa. ● Muestra una tendencia diferente al “barycentro”. ● Tiene una baja correlación con el “barycentro”, y tanto el error cuadrático medio como la distancia DTW son altos.

Conclusiones del Análisis para Jamundí ●

Detección Efectiva de Anomalías: La metodología aplicada permitió identificar con éxito series de tiempo de consumo eléctrico anómalas entre los clientes con medidores inteligentes (AMIs) en Jamundí. Las series con un alto índice de anomalía señalaron comportamientos sospechosos, indicando posibles casos a monitorear.

●

Clusters de Bajo Consumo: Se identificaron clusters de bajo consumo que mostraron una mayor propensión a contener series anómalas. Esto sugiere que los clientes con menor consumo promedio pueden ser más propensos a comportamientos irregulares o a la manipulación de medidores.

Conclusiones del Análisis para Jamundí ●

Métricas Relevantes: Las métricas utilizadas (pendiente de la serie, pendiente del baricentro, correlación, MPE, MSE y coeficiente DTW) proporcionaron información detallada sobre la relación entre las series individuales y sus baricentros.

Estas métricas fueron fundamentales para calcular el índice de anomalía y detectar comportamientos fuera de lo común.

Limitaciones del Análisis para Jamundí ●

Limitaciones de los Datos: Aunque se logró detectar anomalías con la información disponible, la falta de disponibilidad de datos adicionales (como información socioeconómica y demográfica, evidencia de fraudes históricos y eventos externos, entre otros) limita la capacidad de entender completamente las causas de las anomalías y su contexto.

Recomendaciones del Análisis para Jamundí ●

Integración de datos adicionales: Complementar la información de consumo eléctrico con datos adicionales, como: ■ Información socioeconómica de los clientes.

■ Historial detallado de consumo eléctrico.

■ Datos meteorológicos.

■ Eventos especiales o temporadas festivas.

Esto permitirá una mejor comprensión del contexto de las anomalías y una detección más precisa.

●

Colaboración con los analistas de Celsia: Colaborar con las expertos en la detección de casos de fraude para conocer a detalle los procesos en la operación que contribuyen actualmente a la detección de anomalías en el consumo orientadas a la detección de pérdidas no técnicas. Esto para incorporar la información del experto dentro de las métricas propuestas que definen un comportamiento anómalo.

Conclusión General El análisis de las series de tiempo del consumo eléctrico en Jamundí ha demostrado ser una herramienta valiosa para detectar anomalías. La metodología aplicada es robusta y puede mejorarse con la integración de datos adicionales y el ajuste continuo del modelo. La implementación de las recomendaciones sugeridas contribuirá a una gestión más eficiente del consumo eléctrico, aportando a la reducción de pérdidas no técnicas y mejorando la sostenibilidad del sistema en la región.