Caracterización de usuarios y detección de anomalías.
Reporte de exploración de datos y propuestas
Objetivo: Aplicar las metodología propuestas de caracterización del consumo y detección de anomalíasalcasoJamundí.
Para mayor información sobre la propuesta, favor dirigirse al documento:
https://issuu.com/guane.ai/docs/entregable_piloto_amis?fr=xIAEoAT3_NTU1
CONTENIDO
1. Descripcióndelamuestradeusuariosresidenciales.
2. Clusterización: Identificación de residenciales de bajo consumo y sus comportamientos
3. Caracterizacióndeusuariosresidencialesdebajoconsumo.
4. Deteccióndeanomalías:Primerenfoque. a. Resultados.
5. Deteccióndeanomalías:Segundoenfoque. a. Resultados.
6. Conclusionesderivadasdelanálisis.
7. Limitacionesdelanálisispropuesto.
8. Recomendaciones.
Muestra de datos
Se tienen registros de consumo de energía activa para 5626 usuarios residenciales AMI en Jamundí. Se tomó una muestrade1000deestosusuariosparaexplorarlaclusterizaciónyladeteccióndeanomalías.
Clusterización
Seutilizóelmétododelelbowconmétrica Dynamic Time Warping (dtw)paradeterminarelnúmeroóptimodeclustersque describen los consumos de energía activa. Se generan 3 clusters y, para continuar la caracterización, se toma el más pobladodeellos(cluster0,998usuarios),alquesedenominócomoresidencialesdebajoconsumo.
Clusterización
Tras una segunda clusterización sobre los residenciales de bajo consumo con el propósito de buscar diferencias en los patronesdeconsumo,seencuentran4clustersprincipales.
Poblaciónpor cluster
Caracterización
Para cada uno de los 4 clusters identificados en los residenciales de bajo consumo, se puede extraer, por un lado, información a partir de sus series de tiempo centroide(baricentros)comoelpromediodeconsumo horario, qué tan disperso es este consumo y cuáles y cuándo se dan típicamente los consumos mínimos y máximos.
Fácilmente se identifican categorías de mayor o menor consumo y con comportamientosdistintos.
Distribución general de usuariosporestratoycircuito
Por otro lado, también es posible caracterizar los clusters por medio de información socioeconómica y de red de sus usuarios comoelestratoyelcircuitoalquepertenecen.
A primera vista se encuentra que la mayoría de los usuarios son de estrato 4 y pertenecen alcircuitoJAMUNDI3.
Distribución de usuarios por estratoycircuito-Cluster0
Nótese cómo, en contra de la intuición de que usuariosencondicionessocioeconómicasmás
favorables consumen más energía, la mayoría de los usuarios, incluso en el cluster 0 que es el de menores consumos dentro de los residenciales de bajo consumo, son de estrato 4.
Esto podría dar indicios de anomalías en los comportamientosdeconsumodelosusuarios.
Distribución de usuarios por estratoycircuito-Cluster2
Este cluster, aunque es de consumos un poco más altos que los del cluster 0, también presenta el comportamiento de que la mayoría de los usuarios son de estrato 4, corroborando la tendencia anómala expuesta con anterioridad.
Detección de anomalías - Enfoque # 1.
Para este análisis se tomaron los lunes de enero de 2023. Para cada usuario, se calculó el baricentro de sus lunes y la inercia que presentan, que es una medida de qué tan regulares son los consumos. Para un usuario de alta inercia, sus lunes no se parecen entre ellos. Para un usuario de baja inercia, sus lunes son similares. Se estudia la distribución de inerciasdelosusuariosresidencialesdebajoconsumo.
Ejemplos de anomalías
La alta inercia se caracteriza por cambios súbitos que son indicios de anomalías en los consumos.
Nótese cómo usuarios de alta inercia, con tendencia a la baja, se caracterizan por una caída súbita del consumo mientras que, como control, los usuarios con inercia promedio, también con tendencia a la baja, presentan una recuperación del consumo. Por otro lado, usuarios con alta inercia y con tendencia al alza, presentan subidas súbitas delconsumo.
Ejemplos de anomalías
Enelcasodeusuariosdemuybajainercia,seencontróqueestáncaracterizadosporconsumoscasinulosconextremada regularidad.
Detección de anomalías - Enfoque # 2
Setomóunamuestraden=100usuariosAMIsdeJamundípara aplicarlametodologíapropuestadedeteccióndeanomalíassobre lasseriesdesuconsumohistóricodeenergía.
● n=100
● Ventanadetiempo:Enero2023-Junio2023.
● Tipo de muestra: Aleatoria.
(Para mayor información sobre la propuesta, favor dirigirse al documento de la propuesta: https://issuu.com/guane.ai/docs/entregable_piloto_amis?fr=xIAEoAT3_NTU1)
Detección de anomalías - Enfoque # 2
Algunos de los clientes a estudiar son (código punto mediciónonombre):
['ALLEGRACONSTRUCTORABOLIVAR', 'LAURAANDREAVALDERRAMAGOMEZ' 'ALBORADACONSTRUCTORABOLIVAR_14', 'MARIADELSOCORRO RENGIFO RODAS', 'CONSTRUCTORAMELENDEZ', 'ALBORADACONSTRUCTORABOLIVAR_2', ‘'JACAMAR JARAMILLO MORA', 'SOLDE CAMPO CONSTRUCTORAMELENDEZ', 'CARMEN ROSARUALES VALDES', 'CARLOS CALDERON MORALES', 'SURCOS DE PANGOLACONSTRUCTORABOLIVAR', 'DOLORES MIRANDAGARCIA', '334023277500', '397059412000', '723002800900', '417001876000', '352052288900', '005036477600', '285026975600', '653044546900', '200069909800', '616059466600', 'ISABELELENAMU¿OZ GALVIS', '104068868100', '110034526900', '934066376300', '050022374100', '038028984900', '782023978700', '177049011700', 'JIMMYFERNANDO GONZALEZALARCON', '791054386800', … '894023242300', 'ARLEYMONTENEGRO BENAVIDEZ', 'PRODESIC S.A.', '962033920500', '372013595800', '672041363300', '428061636600', '776019191800', 'FLOR NELLYLOZANO SAAVEDRA', '455001125400', '023025007900', '822053909400', '051041904700', '019028187200', '391054156000', '914031444300']
Detección
de anomalías - Enfoque # 2
La estrategia consiste en realizar un proceso de clustering para cada cliente y día típico de la semana. Esto con el fin de detectar los múltiples patrones de consumo que un cliente puede tener para un mismo día.
En la siguiente gráfica se observa que el cliente seleccionado tiene 2 formas de comportarse al consumir energía los días lunes (2 cluster, 2 colores diferentes).
Detección de anomalías - Enfoque # 2
Para cada una de los clusters se calcula la serie cetrotide (baricentro) y para cada serie de consumo de cada cluster evaluamos su similaridad respecto a su cluster con con los siguientes pesos y calculamos el índice de anomalías para cada serie:
Detección
de anomalías - Enfoque # 2
Obtenemos posteriormente la distribución del índice de anomalías para todo los casos de estudio.
Detección de anomalías - Enfoque
# 2
La siguiente gráfica de coordenadas paralelas nos permite concluir que para el día lunes, nuestro cliente presenta como máximo un índice de 0.85 cuando el mayor valor posible es 1.
Detección de anomalías - Enfoque # 2
Buscamos la serie asociada al mayor índice observado para el día lunes de nuestro cliente y observamos las métricas calculadas que dieron pie a la anomalía.
Detección de anomalías - Enfoque #
2
Si observamos la serie en cuestión, con mayor indice de anomalia, observamos que:
● La serie hace parte del cluster de bajo consumo.
● La serie está por debajo de su baricentro.
● La serie tiene pendiente negativa.
● La serie tiene una tendencia diferente a su baricentro.
● La serie no se parece mucho a su baricentro, dado el índice de correlación, MSE y MPE.
Detección de anomalías - Enfoque # 2
En la siguiente gráfica se observa que el cliente seleccionado tiene 2 formas de comportarse al consumir energía los días viernes (2 cluster, 2 colores diferentes).
Detección de anomalías - Enfoque # 2
La siguiente gráfica de coordenadas paralelas nos permite concluir que para el día viernes, nuestro cliente presenta como máximo un índice de 1 cuando este es el mayor valor posible.
Detección
de anomalías - Enfoque # 2
Buscamos la serie asociada al mayor índice observado para el día lunes de nuestro cliente y observamos las métricas calculadas que dieron pie a la anomalía.
Detección de anomalías - Enfoque # 2
Indice de anomalía igual a 1, significa que la serie de tiempo cumple con todas las condiciones que indican una anomalía:
● La serie pertenece a un cluster de bajo consumo.
● Está por debajo del “barycentro”.
● Tiene una pendiente negativa.
● Muestra una tendencia diferente al “barycentro”.
● Tiene una baja correlación con el “barycentro”, y tanto el error cuadrático medio como la distancia DTW son altos.
Conclusiones delAnálisis para Jamundí
● Detección Efectiva deAnomalías:
La metodología aplicada permitió identificar con éxito series de tiempo de consumo eléctrico anómalas entre los clientes con medidores inteligentes (AMIs) en Jamundí. Las series con un alto índice de anomalía señalaron comportamientos sospechosos,indicandoposiblescasosamonitorear.
● Clusters de Bajo Consumo:
Se identificaron clusters de bajo consumo que mostraron una mayor propensión a contener series anómalas. Esto sugiere que los clientes con menor consumo promedio pueden ser más propensos a comportamientos irregulares o a la manipulación de medidores.
Conclusiones delAnálisis para Jamundí
● Métricas Relevantes:
Lasmétricasutilizadas(pendientedelaserie,pendiente del baricentro, correlación, MPE, MSE y coeficiente DTW) proporcionaron información detallada sobre la relación entre las series individuales y sus baricentros.
Estas métricas fueron fundamentales para calcular el índicedeanomalíaydetectarcomportamientosfuerade locomún.
Limitaciones delAnálisis para Jamundí
● Limitaciones de los Datos:
Aunque se logró detectar anomalías con la información disponible,lafaltadedisponibilidaddedatosadicionales (como información socioeconómica y demográfica, evidencia de fraudes históricos y eventos externos, entre otros) limita la capacidad de entender completamente las causas de las anomalías y su contexto.
Recomendaciones delAnálisis para Jamundí
● Integracióndedatosadicionales:
Complementarlainformacióndeconsumoeléctricocondatosadicionales,como:
■ Informaciónsocioeconómicadelosclientes.
■ Historialdetalladodeconsumoeléctrico.
■ Datosmeteorológicos.
■ Eventosespecialesotemporadasfestivas.
Esto permitirá una mejor comprensión del contexto de las anomalías y una detecciónmásprecisa.
● ColaboraciónconlosanalistasdeCelsia: Colaborar con las expertos en la detección de casos de fraude para conocer a detalle los procesos en la operación que contribuyen actualmente a la detección de anomalíasenelconsumoorientadasaladeteccióndepérdidasnotécnicas.Estopara incorporarlainformacióndelexpertodentrodelasmétricaspropuestasquedefinenun comportamientoanómalo.
Conclusión General
El análisis de las series de tiempo del consumo eléctrico en Jamundí ha demostrado ser una herramienta valiosa para detectar anomalías. La metodología aplicada es robusta y puede mejorarse con la integración de datos adicionales y el ajuste continuo del modelo. La implementación de las recomendaciones sugeridas contribuirá a una gestión más eficiente del consumo eléctrico, aportando a la reducción de pérdidas no técnicas y mejorandolasostenibilidaddelsistemaenlaregión.
