IA EN GESTIÓN DE ACTIVOS Y RECURSOS
Unidad Planeación de Recursos T&D
ID: EPM-UPR-F003
VERSIÓN: 02 FECHA: 11.07.2024
PLANEACIÓN ÓPTI
IA en gestión de recursos y ac
Empresas Públicas de Medellín S.A. E.S.P.
Desarrollada por
Equipo de Desarrollo del Proyecto
guane emerging technologies
Medellín, Julio de 2024
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia
+57 321 6322202 @guaneai
ID: EPM-UPR-F003
Unidad Planeación de Recursos T&D
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 4
Arquitectura de software y cognitiva del desarrollo
Introducción
Este documento presenta la arquitectura de software y cognitiva para la solución del proyecto de optimización de la operación en el sistema de distribución presentada a EPM La presente propuesta contempla tres escenarios de infraestructura: Nube, Local (On-Premise) y Mixta. A lo largo del documento se detallarán las características, ventajas y desafíos asociados a cada uno de estos esquemas, con el n de brindar a los interesados una visión completa de las alternativas disponibles y facilitar la toma de decisiones informada.
Es importante destacar que la elección del escenario de implementación adecuado dependerá de diversos factores especí cos de la organización, tales como los acuerdos de niveles de servicio, donde se debe especi car requerimientos de disponibilidad, de durabilidad, de latencia, de concurrencia y de seguridad, también de la infraestructura tecnológica existente, los costos y las preferencias estratégicas. Por lo tanto, se recomienda realizar un análisis exhaustivo en conjunto de cada escenario en el contexto de las necesidades particulares de la organización antes de tomar una decisión nal.
La tabla 1 presenta una comparación para los diferentes escenarios de arquitectura considerando los aspectos más relevantes de cada arquitectura para las soluciones presentadas.
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co Medellín - Colombia +57 321 6322202 @guaneai
IA EN GESTIÓN DE ACTIVOS Y RECURSOS
Unidad Planeación de Recursos T&D
ID: EPM-UPR-F003
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 5
Tabla 1. Aspectos relevantes para los diferentes escenarios de arquitectura.
Las soluciones presentadas a EPM pueden resumirse mediante la arquitectura cognitiva presentada en la gura 1. Las diferentes fuentes de información se conectan a una serie de procesos denominados engine, que se encargan de analizar, ltrar, extraer y transformar la data original, para posteriormente insertarla a una serie de modelos que tendrán unos resultados denominados salidas. Dichas salidas deberán poder visualizarse en una vista mediante herramientas BI, como PowerBI. Una simpli cación de este flujo está disponible en la gura 2 considerando flujos de datos agnósticos.
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia +57 321 6322202 @guaneai
ID: EPM-UPR-F003
Unidad Planeación de Recursos T&D
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 6
Figura 1. Diagrama cognitivo de la solución integral de sendas de optimización La infraestructura varía en los tres escenarios, pero los modelos son invariantes ante el escenario seleccionado.
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia +57 321 6322202 @guaneai
ID: EPM-UPR-F003
Unidad Planeación de Recursos T&D
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 7
Figura 2. Diagrama de flujo de los datos considerando agnóstico cada modelo perteneciente a la solución integral.
1. Requisito de desarrollo de la solución tecnológica
EPM ha establecido requerimientos tecnológicos estandarizados para todos los desarrollos de software que se diseñen en la compañía. Esta decisión se basa en la necesidad de mantener un entorno tecnológico homogéneo y facilitar la integración entre la información disponible y las soluciones diseñadas, en busca de optimizar sus procesos, reducir costos, mejorar la seguridad, la experiencia del usuario, y sentar las bases para un crecimiento sostenible.
1.1. Ciberseguridad
- Certi cado digital: Los desarrollos aprobados por las direcciones deberán solicitar un certi cado digital con la dirección de TI para asegurar la comunicación. Los certi cados digitales juegan un rol fundamental en la ciberseguridad de los desarrollos de software al garantizar la autenticidad e integridad de las comunicaciones entre sistemas y aplicaciones. Cuando una compañía integra nuevos desarrollos, especialmente aquellos que involucran interacciones entre diferentes componentes o con sistemas externos, los certi cados digitales permiten establecer conexiones seguras mediante la autenticación de las partes involucradas y la encriptación de los datos transmitidos. Esto es fundamental para proteger la información sensible y prevenir accesos no autorizados o modi caciones malintencionadas de los datos durante la comunicación Esto fortalece la con anza tanto internamente, al proteger los activos de la empresa, como externamente, al ofrecer seguridad a los clientes y socios comerciales que utilizan los servicios del desarrollador
- Autenticación OAuth2.0: Las autenticaciones en los nuevos desarrollos deberán implementar el protocolo de autenticación OAuth2 0 OAuth 2 0
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co Medellín - Colombia +57 321 6322202 @guaneai
ID: EPM-UPR-F003
Unidad Planeación de Recursos T&D
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 8
permite a una compañía delegar el control de acceso sin necesidad de compartir contraseñas directamente En lugar de ello, los usuarios deben autenticar su identidad a través del proveedor de identidad (como Google, Facebook o un servidor propio), que emite tokens de acceso a las aplicaciones autorizadas. Estos tokens son temporales y pueden ser renovados, lo que reduce el riesgo de exposición prolongada de credenciales. Este protocolo simpli ca el proceso de autenticación y autorización, mejorando la experiencia del usuario al permitirles acceder a múltiples servicios con una sola cuenta. Además, promueve la seguridad al evitar la divulgación de contraseñas, minimizando así el riesgo de ataques de phishing o robo de credenciales.
- Secret Keys: Los desarrollos nuevos que se integren a la red de EPM que deban utilizar información sensible de los usuarios de EPM, deberán considerar secrets para exponer la información en el desarrollo. Estas claves, también conocidas como API keys o tokens de acceso, son cadenas de caracteres generadas de manera única y privada, utilizadas para veri car la identidad de una aplicación al comunicarse con servicios externos o APIs. Al integrar nuevos desarrollos, las Secret Keys permiten a una compañía controlar y limitar el acceso a sus recursos protegidos, garantizando que solo las aplicaciones autorizadas puedan utilizar sus funcionalidades.
1.2. Performance
- Timeout: Los desarrollos nuevos que se integran mediante peticiones API REST deberán considerar un timeout máximo de 4 minutos por solicitud. No es posible garantizar la disponibilidad de la información solicitada para aquellas solicitudes cuya respuesta pueda durar más de 4 minutos.
- Tamaño de respuesta: Existe un límite de 20MB para las respuestas de peticiones API REST que se realicen. No se garantizará la integridad de la data para aquellas respuestas con un tamaño superior a dicho límite.
- Paginación: Para aquellas solicitudes que incumplan alguno de los requisitos de desempeño descritos anteriormente, será necesario implementar un mecanismo de paginación
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co Medellín - Colombia +57 321 6322202 @guaneai
ID: EPM-UPR-F003
Unidad Planeación de Recursos T&D
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 9
1.3. Servicios de integración
EPM ofrece una cantidad de servicios para la integración de los nuevos desarrollos y su conexión con las fuentes de datos existentes
- Azure Logic App: En la organización Logic App se utiliza principalmente para integraciones entre servicios on-premise. Logic App permite crear flujos de trabajo automatizados que conectan aplicaciones y servicios tanto dentro como fuera de la nube. Logic App facilita la integración de los desarrollos, sin necesidad de escribir código extensivo, permitiendo a los desarrolladores crear flujos de trabajo visuales utilizando conectores prede nidos para una amplia gama de servicios y aplicaciones, incluyendo servicios de datos como SQL Server, Azure Blob Storage, APIs REST, entre otros, con una alta escalabilidad y disponibilidad, adaptándose a las necesidades cambiantes del negocio y garantizando un rendimiento óptimo durante picos de carga
- Azure Data Factory: En la organización Azure Data Factory se utiliza principalmente para integraciones entre servicios on-premise y servicios en la nube. Data Factory es un servicio de Azure proporcionado por Microsoft que permite a las organizaciones integrar, transformar y cargar datos a través de orígenes heterogéneos en diferentes destinos, tanto en la nube como en entornos locales. Funciona como una plataforma de ETL (Extract, Transform, Load) moderna y escalable, diseñada para manejar grandes volúmenes de datos de manera e ciente y con able. Utilizando flujos de trabajo gestionados, Data Factory puede orquestar y automatizar el movimiento y la transformación de datos entre diversas fuentes y destinos, lo que facilita la integración de servicios dentro de una organización.
- Azure BizTalk Server: Al interior de la organización BizTalk Server se utiliza principalmente para integraciones transaccionales de larga duración o con alta latencia en la respuesta. BizTalk Server es una plataforma de integración empresarial desarrollada por Microsoft, diseñada para facilitar la automatización, administración y monitorización de flujos de trabajo de negocio y procesos de integración dentro de una organización Funciona como un middleware que permite la conectividad entre diversos sistemas, aplicaciones y servicios tanto dentro como fuera de la empresa. BizTalk Server utiliza
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia +57 321 6322202 @guaneai
ID: EPM-UPR-F003
Unidad Planeación de Recursos T&D
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 10
adaptadores pre-con gurados para interactuar con una amplia gama de sistemas y tecnologías, incluyendo bases de datos, aplicaciones empresariales, servicios web, y protocolos estándar de la industria.
1.4. Stack Tecnológico
- De nición de Arquitectura Cloud u on-premise: En caso tal que la arquitectura seleccionada sea en la nube, la arquitectura debe estar basada en servicios como Azure DataBricks y Azure DataFactory para procesamiento y orquestación de datos. Para el caso local, se deberá establecer los servicios server a utilizar.
- Visualización con herramienta de BI: La arquitectura debe permitir la integración de la herramienta BI para la visualización de datos y resultados
- Desarrollo en Python: El código implementado en el proyecto debe ser en Python, aprovechando las capacidades de este lenguaje para análisis de datos y machine learning.
- Almacenamiento en el Lago de Datos de Analítica de EPM: Los datos de entrada y salida del proyecto deben ser almacenados en el lago de datos de analítica de EPM, garantizando la disponibilidad y la seguridad de los datos.
- Estrategia Cognitiva de Desarrollo: Se debe de nir una estrategia cognitiva que incluya buenas prácticas de desarrollo, control de versiones, documentación y capacitación del equipo de desarrollo.
- Seguridad y Cumplimiento: La arquitectura debe cumplir con los estándares de seguridad y cumplimiento de EPM, asegurando la con dencialidad y la integridad de los datos.
- Documentación detallada: Se debe proporcionar una documentación detallada que describa la arquitectura, la estrategia cognitiva de desarrollo y los procesos de implementación
ID: EPM-UPR-F003
Unidad Planeación de Recursos T&D
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 11
2. Dependencias para la implementación
2.1. Requerimientos técnicos
Los requerimientos técnicos implican permisos, data disponible y requisitos que deben cumplirse de parte de la compañía EPM para que el flujo del proyecto sea satisfactorio. Un retraso en los requerimientos técnicos podría implicar un retraso en el cronograma de implementación de las soluciones presentadas, toda vez que dichos requerimientos son imperativos para el desarrollo de las soluciones
- Acceso a las fuentes de información de incidencias (SP7).
- Acceso a las fuentes de información de los mantenimientos realizados a los activos (EAM Máximo).
- Acceso a la fuente de información del modelo de red con la información de la ubicación de los activos.
- Acceso al tablero de AzureDevOps para la gestión del proyecto.
- Acceso a los repositorios de AzureRepos para alojar las soluciones propuestas. Los roles y permisos se podrán de nir en la fase de implementación.
- SQL server para almacenamiento de KPIs
- Azure Storage Account para almacenamiento de archivos estáticos y planeación.
- Tablero de visualización para optimización de brigadas.
- Tablero de visualización BI para per lamiento de circuitos.
- Cluster de Azure DataBricks para ejecución de códigos
- Instancia de Azure DataFactory para programación de ejecuciones. 3.
Componentes Necesarios:
1.1. Hardware y Infraestructura
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia +57 321 6322202 @guaneai
ID: EPM-UPR-F003
Unidad Planeación de Recursos T&D
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 12
- Servidores físicos para procesamiento y almacenamiento de datos.
- Conmutadores de red y otros componentes de red para la conectividad
- Dispositivos de almacenamiento de alta capacidad (HDD/SSD).
1.2. Software y Herramientas
- Apache Spark: Para el motor de procesamiento de datos.
- Hadoop: Para almacenamiento distribuido si los volúmenes de datos son grandes
- Python/Scala: Para escribir scripts de procesamiento e inferencia en Spark.
- Bases de Datos (PostgreSQL, MySQL, MongoDB, etc.): Para almacenamiento de resultados.
- Power BI Report Server: Para visualización on-premise.
- Gestión de modelos de Machine Learning: Herramientas como MLlib (parte de Spark) para gestionar y ejecutar modelos.
1.3. Plan de Implementación:
1) Preparación de Infraestructura
- Evaluación de Requisitos: Determina la capacidad de hardware requerida según el volumen de datos y la complejidad de los modelos de inferencia.
- Adquisición de Hardware: Compra de servidores, dispositivos de almacenamiento, y componentes de red necesarios.
- Con guración de red: Con gura la red interna para permitir una comunicación rápida y segura entre los diferentes componentes.
2) Con guración de Software
- Sistema Operativo: Instalar y con gurar un sistema operativo adecuado (Linux es común para este tipo de implementación)
- Instalación de Spark y Hadoop: Con gura un clúster de Hadoop y Spark para procesamiento distribuido.
- Apache Hadoop: Instala Hadoop para el almacenamiento distribuido si es necesario.
- Apache Spark: Instala y con gura Spark en el clúster
- Base de Datos: Instalar y con gurar la base de datos seleccionada (PostgreSQL, MySQL, etc.).
- Power BI Report Server: Instalar y con gurar Power BI Report Server para la visualización de datos on-premise.
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia +57 321 6322202 @guaneai
ID: EPM-UPR-F003
Unidad Planeación de Recursos T&D
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 13
3) Desarrollo y Despliegue de Procesos de Datos
- Extracción de Datos: Desarrollar conectores o scripts para extraer datos de las fuentes (Source 1, Source 2, Source 3).
- Procesamiento de Datos en Spark:
- Crear scripts en Python o Scala para transformar y procesar los datos en Spark
- Integrar modelos de machine learning dentro de los scripts de Spark.
- Almacenamiento de Resultados:
- Con gurar scripts o procesos para almacenar los resultados en la base de datos seleccionada.
1.4. Visualización de Datos
- Con guración de Dashboards en Power BI Report Server:
- Conectar Power BI Report Server a la base de datos.
- Crear dashboards e informes para visualizar los datos procesados y las inferencias realizadas.
1.5. Consideraciones de Seguridad y Mantenimiento
- Seguridad:
- Asegurar todos los componentes de red y servidores con las medidas de seguridad necesarias.
- Implementar políticas de acceso y autenticación para asegurar los datos.
- Mantenimiento:
- Plani car tareas de mantenimiento regular para los servidores y dispositivos de almacenamiento
- Monitorear el rendimiento del clúster de Spark y la base de datos para optimizar el rendimiento.
Ventajas:
Control Total:
- Con guración Personalizada: Puedes personalizar y optimizar la con guración del hardware y software según las necesidades especí cas del proyecto.
- Seguridad y Privacidad: Mayor control sobre la seguridad de los datos y cumplimiento de regulaciones, ya que los datos no salen de la infraestructura interna.
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia +57 321 6322202 @guaneai
ID: EPM-UPR-F003
Unidad Planeación de Recursos T&D
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 14
Costos a Largo Plazo:
- Sin Costos de Suscripción: No hay necesidad de pagar suscripciones continuas a proveedores de servicios en la nube.
- Inversión Única en Hardware: Una vez adquirido el hardware, no se incurre en costos adicionales signi cativos, excepto mantenimiento y actualizaciones.
Rendimiento:
- Latencia Reducida: Reducción en la latencia debido a la proximidad de los servidores y los usuarios.
- Capacidad de Procesamiento: Posibilidad de adquirir hardware de alto rendimiento especí camente diseñado para las tareas del proyecto
Independencia de Proveedor:
- Sin Dependencia de Terceros: No dependes de la disponibilidad, políticas, o cambios en los servicios de un proveedor en la nube.
Desventajas:
Costo Inicial Alto:
- Inversión de Capital: Requiere una inversión inicial signi cativa en hardware, infraestructura de red, y licencias de software
- Gastos de Instalación: Costos asociados a la instalación, con guración, y puesta en marcha del sistema.
Mantenimiento y Soporte:
- Responsabilidad Interna: Todo el mantenimiento y soporte del hardware y software debe ser gestionado internamente.
- Actualizaciones y Parcheo: Necesidad de aplicar actualizaciones y parches regularmente para mantener la seguridad y el rendimiento.
Escalabilidad Limitada:
- Capacidad Física: Limitada a la capacidad física y recursos disponibles en el sitio. Escalar el sistema puede requerir adquirir y con gurar más hardware.
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co Medellín - Colombia +57 321 6322202 @guaneai
IA EN GESTIÓN DE ACTIVOS Y RECURSOS
Unidad Planeación de Recursos T&D
ID: EPM-UPR-F003
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 15
- Tiempo y Costos de Escalamiento: Incrementar la capacidad puede ser más lento y costoso en comparación con la nube, donde se pueden aprovisionar recursos adicionales rápidamente.
Redundancia y Resiliencia:
- Necesidad de Redundancia: Requiere establecer redundancia y sistemas de respaldo internos para garantizar alta disponibilidad y recuperación ante desastres
- Costos Adicionales: Implementar medidas de redundancia y resiliencia puede incrementar los costos.
Falta de Flexibilidad:
- Capacidad de Adaptación: Menos flexibilidad para adaptarse rápidamente a cambios en las necesidades del negocio o del proyecto en comparación con la nube.
La gura 3 muestra la infraestructura propuesta
IA EN GESTIÓN DE ACTIVOS Y RECURSOS
Unidad Planeación de Recursos T&D
ID: EPM-UPR-F003
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 16
4. Propuesta de Arquitectura Híbrida
En el esquema de arquitectura híbrida se propone utilizar la infraestructura on-premise para la información propia del core del negocio, manteniendo así la información sensible dentro de los límites internos de la compañía; mientras que los servicios de la nube se utilizan para el despliegue y uso de modelos que no requieren la información del core del negocio (Es decir, la salida de algunos otros modelos). En aquellos casos donde sea imperativo el uso de modelos con información del core del negocio, Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia +57 321 6322202 @guaneai
Figura 3 Infraestructura on-premise propuesta
ID: EPM-UPR-F003
Unidad Planeación de Recursos T&D
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 17
dependerá de los requerimientos computacionales del modelo la decisión de correr los modelos on-premise o en la nube
2.1. Componentes
Necesarios
On-Premise:
Hardware y Infraestructura Local
- Servidores físicos para procesamiento de datos críticos y almacenamiento sensible.
- Dispositivos de almacenamiento local (HDD/SSD).
- Conmutadores de red y otros componentes para la conectividad local.
Software y Herramientas Locales
- Apache Spark: Para procesamiento de datos
- Bases de Datos (PostgreSQL, MySQL, MongoDB, etc.): Para almacenamiento de resultados críticos.
- Power BI Report Server: Para visualización de datos on-premise.
Nube:
Servicios de Nube
- Plataforma en la Nube (Azure): Para almacenamiento y procesamiento elástico.
- Servicios de Machine Learning: Para modelos de inferencia y análisis avanzado.
- Almacenamiento en la Nube (S3, Azure Blob Storage, Google Cloud Storage): Para almacenamiento de datos no críticos y backups.
2.2. Conectividad
- VPN o Conexiones Dedicadas: Para integrar de manera segura la infraestructura on-premise con la nube
- Servicios de Red y Seguridad (Firewalls, Gateways): Para asegurar la comunicación entre on-premise y la nube.
2.3. Plan de Implementación
2.3.1. Preparación de Infraestructura
On-Premise:
- Evaluación de Requisitos: Determina la capacidad de hardware requerida.
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia +57 321 6322202 @guaneai
IA EN GESTIÓN DE ACTIVOS Y RECURSOS
Unidad Planeación de Recursos T&D
ID: EPM-UPR-F003
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 18
- Adquisición y Con guración de Hardware: Compra e instalación de servidores y dispositivos de almacenamiento
- Con guración de Red Local: Con gura la red interna para la comunicación e ciente entre los componentes locales.
Nube:
- Selección de Proveedor de Nube: Basado en lo conversado, se recomienda Azure como proveedor de la nube
- Con guración de Servicios en la Nube: Con gura los servicios de almacenamiento y procesamiento en la nube.
2.3.2. Integración de Software
On-Premise:
- Instalación de Spark: Con gura Spark en el clúster on-premise.
- Instalación de Bases de Datos: Con gura las bases de datos para el almacenamiento local de datos críticos.
- Con guración de Power BI Report Server: Para visualización local.
Nube:
- Con guración de Servicios de Machine Learning: Implementa modelos de machine learning en la nube.
- Con guración de Almacenamiento en la Nube: Para datos no críticos y backups.
2.3.3. Desarrollo y Despliegue de Procesos de Datos
On-Premise:
- Extracción y Preprocesamiento: Scripts para extraer y preprocesar datos de las fuentes locales.
- Procesamiento de Datos en Spark: Ejecución de procesos de datos críticos y sensibles
Nube:
- Procesamiento Elástico: Utiliza la nube para procesamiento adicional cuando la demanda supera la capacidad local.
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia +57 321 6322202 @guaneai
IA EN GESTIÓN DE ACTIVOS Y RECURSOS
Unidad Planeación de Recursos T&D
ID: EPM-UPR-F003
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 19
- Inferencia y Análisis Avanzado: Ejecuta modelos de machine learning en la nube para análisis avanzado
2.4. Almacenamiento y Visualización
On-Premise:
- Almacenamiento de Resultados Críticos: Utiliza bases de datos locales para almacenar resultados sensibles.
- Visualización Local: Dashboards e informes en Power BI Report Server.
Nube:
- Backups y Datos No Críticos: Almacena backups y datos no críticos en la nube
- Visualización en la Nube: Utiliza servicios de visualización en la nube para datos almacenados en la nube.
2.5. Ventajas y Desventajas de la Arquitectura Híbrida
Ventajas
Flexibilidad y Escalabilidad:
- Escalabilidad Elástica: La nube permite escalar recursos rápidamente según la demanda.
- Uso Óptimo de Recursos: Combina la estabilidad y seguridad de on-premise con la flexibilidad de la nube.
Costos E cientes:
- Costos Controlados: Usa la nube para procesamiento adicional sólo cuando sea necesario.
- Reducción de Inversión Inicial: Menor necesidad de inversión inicial en infraestructura comparado con una solución totalmente on-premise.
Resiliencia y Recuperación:
- Backups en la Nube: Almacena backups en la nube para recuperación ante desastres.
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia +57 321 6322202 @guaneai
ID: EPM-UPR-F003
Unidad Planeación de Recursos T&D
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 20
- Alta Disponibilidad: Uso de la nube para mantener la disponibilidad de los servicios en caso de fallos locales
Optimización del Rendimiento:
- Procesamiento Local y en la Nube: Ejecutar cargas de trabajo críticas localmente y utiliza la nube para tareas que requieren más recursos.
Desventajas
Complejidad en la Gestión:
- Gestión Doble: Necesidad de gestionar tanto la infraestructura on-premise como los servicios en la nube
- Integración y Conectividad: Requiere con guración avanzada para asegurar una integración y conectividad e cientes y seguras.
Costos de Red:
- Costos de Transferencia de Datos: Puede haber costos asociados a la transferencia de datos entre on-premise y la nube.
- Conexiones Seguras: Necesidad de implementar conexiones seguras como VPNs o enlaces dedicados.
Seguridad y Cumplimiento:
- Desafíos de Seguridad: Asegurar que tanto la infraestructura local como la nube cumplen con los estándares de seguridad.
- Cumplimiento Normativo: Asegurarse de que los datos críticos y sensibles cumplen con las regulaciones pertinentes
La gura 4 muestra la arquitectura híbrida propuesta
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia
+57 321 6322202 @guaneai
IA EN GESTIÓN DE ACTIVOS Y RECURSOS
Unidad Planeación de Recursos T&D
ID: EPM-UPR-F003
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 21
5. Propuesta de Arquitectura en la Nube con Azure
Implementar toda la infraestructura requerida para la solución propuesta en Microsoft Azure ofrece varias ventajas, incluyendo escalabilidad, flexibilidad, y la capacidad de aprovechar una amplia gama de servicios administrados. La propuesta de infraestructura de nube considera que todo el flujo de información deberá estar encriptada para reducir la fuga de información; además de requerimientos de ciberseguridad al manejar la información del core del negocio
3.1. Componentes Necesarios
Servicios de Procesamiento
- Azure Databricks: Para procesamiento de datos en gran escala y ejecución de trabajos de Apache Spark.
- Azure Machine Learning: Para desarrollo, entrenamiento, y despliegue de modelos de machine learning.
Servicios de Almacenamiento
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia +57 321 6322202 @guaneai
Figura 4. Infraestructura híbrida (on-premise - Nube) propuesta
IA EN GESTIÓN DE ACTIVOS Y RECURSOS
Unidad Planeación de Recursos T&D
ID: EPM-UPR-F003
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 22
- Azure Blob Storage: Para almacenamiento de datos sin estructura y semi-estructurados
- Azure SQL Database: Para almacenamiento de datos relacionales.
- Azure Data Lake Storage: Para almacenamiento y análisis de grandes volúmenes de datos.
Servicios de Red y Seguridad
- Azure Virtual Network: Para crear una red virtual segura y escalable.
- Azure VPN Gateway: Para conectar de manera segura la red local a la red de Azure.
- Azure Firewall: Para protección contra amenazas en la red.
Servicios de Integración y Orquestación
- Azure Data Factory: Para la integración de datos y la creación de pipelines de datos.
- Azure Logic Apps: Para automatización de flujos de trabajo.
Servicios de Visualización
- Power BI: Para la creación de dashboards interactivos y visualización de datos.
3.2. Plan de Implementación
Con guración de Infraestructura
Creación de Recursos en Azure:
- Con gurar Redes Virtuales: Crear y con gurar Azure Virtual Network para la comunicación segura entre los servicios
- Establecer VPN Gateway: Con gurar Azure VPN Gateway para conectar la red local con Azure.
- Con gurar Firewall y Seguridad: Implementar Azure Firewall y establecer reglas de seguridad.
Almacenamiento de Datos
Con guración de Almacenamiento: Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia +57 321 6322202 @guaneai
IA EN GESTIÓN DE ACTIVOS Y RECURSOS
Unidad Planeación de Recursos T&D
ID: EPM-UPR-F003
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 23
- Azure Blob Storage: Con gurar contenedores de almacenamiento para datos no estructurados
- Azure SQL Database: Crear bases de datos para almacenamiento relacional.
- Azure Data Lake Storage: Con gurar almacenamiento de datos para análisis de grandes volúmenes.
3.3. Procesamiento de Datos
Con gurar Azure Databricks:
- Cluster de Databricks: Crear y con gurar un clúster de Databricks para procesamiento de datos en Apache Spark.
- Conectores de Datos: Desarrollar conectores para extraer datos de las fuentes y almacenarlos en Azure Blob Storage o Data Lake.
Despliegue de Modelos de Machine Learning:
- Azure Machine Learning: Con gurar y entrenar modelos de machine learning.
- Integración con Databricks: Ejecutar modelos de machine learning dentro de los trabajos de Databricks.
Integración y Orquestación
Azure Data Factory:
- Pipelines de Datos: Crear pipelines para la integración y transformación de datos.
- Orquestación de Tareas: Automatizar flujos de trabajo y tareas recurrentes.
Azure Logic Apps:
- Automatización de Procesos: Con gurar flujos de trabajo para automatizar procesos empresariales.
3.4. Visualización de Datos
- Conectar Power BI a Azure: Establecer conexiones a Azure SQL Database, Blob Storage y otros servicios de Azure.
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia
+57 321 6322202 @guaneai
IA EN GESTIÓN DE ACTIVOS Y RECURSOS
Unidad Planeación de Recursos T&D
ID: EPM-UPR-F003
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 24
- Crear Dashboards e Informes: Desarrollar dashboards interactivos para la visualización de datos procesados y resultados de modelos
Ventajas y Desventajas de la Implementación en Azure
Ventajas
Escalabilidad y Flexibilidad:
- Escalabilidad Dinámica: Capacidad de escalar recursos según demanda sin necesidad de adquirir hardware adicional.
- Amplia Gama de Servicios: Acceso a una amplia gama de servicios administrados y herramientas avanzadas
Costos Controlados:
- Modelo de Pago por Uso: Pagar solo por los recursos utilizados, optimizando costos.
- Reducción de CapEx: Eliminación de costos de inversión en infraestructura física.
Seguridad y Cumplimiento:
- Seguridad Integrada: Herramientas y servicios de seguridad avanzados para proteger datos y aplicaciones.
- Cumplimiento de Normativas: Azure cumple con una amplia variedad de estándares y certi caciones de seguridad.
Disponibilidad y Resiliencia:
- Alta Disponibilidad: Servicios con SLA de alta disponibilidad y redundancia geográ ca
- Recuperación ante desastres: Soluciones integradas para respaldo y recuperación ante desastres.
Desventajas
Dependencia del Proveedor:
- Vendor Lock-in: Potencial dependencia de la plataforma y servicios especí cos de Azure.
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia +57 321 6322202 @guaneai
IA EN GESTIÓN DE ACTIVOS Y RECURSOS
Unidad Planeación de Recursos T&D
ID: EPM-UPR-F003
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 25
Migración Compleja: Puede ser complejo migrar aplicaciones y datos a otra nube o infraestructura
Costos Variables:
- Gastos Operacionales: Costos pueden variar según el uso, lo que requiere una gestión cuidadosa del presupuesto.
- Tarifas de Transferencia de Datos: Costos asociados a la transferencia de datos entre servicios y fuera de Azure.
La gura 5 presenta la infraestructura cloud propuesta usando servicios de azure
Figura 5. Infraestructura cloud propuesta.
Como se mencionó anteriormente, el escenario a seleccionar dependerá de los acuerdos de niveles de servicio que se requiera, dependerá del número de veces que se ejecuten los procesos, ya sea de manera intradiaria, diaria, semanal o mensual. También dependerá del esfuerzo y costos asociados al despliegue y el soporte de la
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia
+57 321 6322202 @guaneai
IA EN GESTIÓN DE ACTIVOS Y RECURSOS
Unidad Planeación de Recursos T&D
ID: EPM-UPR-F003
VERSIÓN: 02
FECHA: 11.07.2024 PÁGINA 26
aplicación. Se concluye que los tres escenarios son viables y funcionan para crear la solución,y se han expuesto las variables de decisión y para iniciar el desarrollo sería ideal contar con la arquitectura seleccionada para evitar futuros reprocesos.
Ruta N Complex, Landing 1040 luis@guane.com.co www.guane.com.co
Medellín - Colombia +57 321 6322202 @guaneai