Segunda Sesión 2011 de la Comisión Estatal de Estadística y la Comisión Estatal de Información Geografía del Estado de Guanajuato.
INTRODUCCIÓN AL ESTANDAR SDMX Contexto… utilidad y aplicaciones… ejemplo de adopción en INEGI … y futuro
Silvia.fraustro@inegi.org.mx jueves 23 de Junio del 2011
Diversidad de Dominios de Información Estadística
Demográfica y Social
Geográfica y del Medio Ambiente
Información Económica
Gobierno, Seguridad Pública e Impartición de Justicia
Diversidad de Formatos y Fuentes de Información vivienda educación
Ingreso y
Gasto… empleo
Demográfica y Social Marco de ref. geodésico Fauna Agua Datos catastrales, topográficos, RN, Flora clima. Límites costeros Suelo Residuos Atmósfera Datos de relieve
Geográfica y del Medio Ambiente
Cuentas nacionales.. Precios Comercio Ciencia y tecnología.. Exterior Información Trabajo financiera
Información Económica Función de gobierno – infraestructura y serv Persecución de delitos Readaptación Impartición de justicia ……….. Evaluación de daño Evaluación de la gestión
Gobierno, Seguridad Pública e Impartición de Justicia
Intercambio de información estadística Diversidad de Receptores
RECOLECTORES INTERNACIONALES
USUARIOS NACIONALES
PLATAFORMAS DIVERSAS SMART PHONE NOTEBOOK
PC
SERVER
APLICACIONES DIVERSAS
ANÁLISIS
MAPAS
DATOS
REDES SOCIALES
Intercambio de informaci贸n estad铆stica
Compartir la informaci贸n es como hablar un lenguaje Es una Torre de Babel en donde no nos podemos comunicar si no tenemos una serie de traducciones que nos permita tener
un lenguaje com煤n.
En Este Contexto • La iniciativa «Statistical Data and Metadata eXchange »
SDMX que ofrece un modelo de información estructurado y predecible con lo cual contribuye a: – Homogeneizar y simplificar la recolección y diseminación de datos y metadatos estadísticos, y – Facilitar el análisis y procesamiento de los datos y metadatos estadísticos. ISO TS17369 2005 Versión 2.1 de febrero del 2011, en aprobación
Los expertos de los diversos dominios pueden describir y dar formato a la información, para expresarlo posteriormente mediante un mismo “LENGUAJE”: SDMX
DSD CATEGORY SCHEMES CODELISTS CONCEPTS…
Este modelo hace que SDMX contribuya al entendimiento entre Emisores y Receptores , y las TICs en las que se basa hacen que contribuya también al procesamiento RECOLECTORES INTERNACIONALES
USUARIOS NACIONALES
PLATAFORMAS DIVERSAS
SMART NOTEBOOK PHONE SDMX
SDMX
SDMX
PC
SERVER
APLICACIONES DIVERSAS
ANÁLISIS
MAPAS
DATOS
REDES SOCIALES
Promotores
Problemas de entendimiento y de procesamiento PAISES MIEMBROS
ORGANISMO INTERNACIONAL
Fuentes de información Análisis y reproceso
WINDOWS
UNIX
Área integradora en Organismo Int.
Área de Proceso MANEJADOR BD, EXCELL, WORD, PDF, etc.
CUALQUIER COMBINACIÓN
Posterior publicación de la información
Problemas: Excesivo consumo de recursos, duplicidad y falta de oportunidad.
Cómo puede SDMX ayudar?
• SDMX puede ayudar a resolver problemas de entendimiento y de procesamiento ofreciendo: – Además de un modelo de información que hace tan valioso a SDMX (para representar datos y metadatos estadísticos)
– Lineamientos orientados al contenido (descriptores comunes, catálogos, clasificadores, etc) – Y propone una forma estándar de implementar WEB Services, incluyendo el uso de interfases REST y WSDL con Mensajes de Query, así como el uso de un Registry.
www.sdmx.org
Cómo sería el intercambio ideal con SDMX? RSS
(Notifica Actualizaciones)
Base Datos
PROVEEDOR DE DATOS (País miembro)
WEB SERVICE
Dos formas de recolección
Dos formas de actualización
DESCARGANDO
WEB SITE (Página del País Miembro)
RECOLECTOR DE DATOS (Organismo Intnal.)
Impacto en la forma de trabajo con SDMX • La estructura de la información se define una vez y queda disponible para todos los que usen el Web Service (WS) • Con el WS al actualizar la Base de Datos, el proveedor de información ya no tiene que “preparar” después su reporte de la misma información • La consulta de los indicadores se obtiene en tiempo real directamente de la Base de Datos • Con un servicio RSS el que consulta puede obtener actualizaciones de los indicadores en el momento en que estén disponibles • Se reduce el riesgo humano de cometer errores en el proceso de integración.
Beneficios del procesamiento ideal con SDMX?
• Se simplifica el proceso de recolección/reporte de información • Se facilita la interpretación de la información enviada/recibida • Basado en XML y por lo tanto “neutral” tecnológicamente • Se mejora el uso de recursos (no hay reprocesos ni para hacer el reporte ni para integrarlo, no hay re-consultas por falta de entendimiento) • Se mejora la oportunidad • De hecho, una organización que reporta información, la publica una vez, y deja a su(s) contraparte(s) que “jale(n)” la información y sus metadatos relacionados cada vez que lo requiera
Beneficios adicionales de adoptar SDMX Reducción de costos/tiempos • Reutilización de herramientas (Infraestructura de Eurostat, de OCDE, etc.) • Intercambio directo sin ser “INTRUSIVO” (Web Services) • Acelera la velocidad de producción (Integración de datos en tiempo real) • Herramientas para múltiples propósitos (navegador estadístico) • Posible combinación de aplicaciones (Mashups)
Reducción de errores • Reduce la intervención de personas en el camino de la información
Mejora la distribución y uso de la información • Información útil para ser procesada por los sistemas • Posible concentrar la información de diferentes fuentes en un punto, facilitando su localización
Facilita la comprensión Facilita la comparabilidad • Estandarización de clasificadores/conceptos
EJEMPLO DE USO DE SDMX EN INEGI
FLUJO DE INDICADORES DE CORTO PLAZO
Dimensiones y Atributos (key family) definidos en la Estructura de Datos (DSD) Indicadores de Corto Plazo DIMENSIONES
CATÁLOGOS
Área (REF_AREA)
CL_AREA
Ajuste (ADJUSTMENT)
CL_ADJUSTMENT
Frecuencia (FREQ)
CL_FREQ
Serie (INDICATOR_ST)
CL_INDICADORES_ST
ATRIBUTOS Formato de tiempo (TIME_FORMAT)
CL_TIME_FORMAT
Unidad de medida (UNIT_MEASURE_ST)
CL_UNIT_MEASURE_ST
Unidad mult. (UNIT_MULT)
CL_UNIT_MULT
Fuente (SOURCE_ST)
CL_SOURCE_ST
Decimales (DECIMALS)
CL_DECIMALS
Disponibilidad (AVAILABILTY)
CL_AVAILABILITY
Nota (NOTE)
CL_NOTE_ST
Estatus de observación (OBS_STATUS)
CL_OBS_STATUS
Mapping Assistant
DSD
Servicio Web Disponible
FAT CLIENT
WSDL MAPPING REST THIN CLIENT
Servicio REST para obtener los DATOS Indicadores de Corto Plazo
(URL de donde “jalarán” el flujo de datos la OCDE y otros Org. Intnales.) Short-Term Data flow http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Dat a/DF_SHORT_TERM_M/ALL?key=ALL&format=compact
Cómo obtener el DSD Siguiendo las especificaciones del servicio REST de la versión 2.1 del estándar SDMX, además de los “DATOS (que van con sus metadatos estructurales)”, se pueden obtener diversos “RECURSOS” (como el DSD, los Catálogos, etc.) siguiendo la siguiente sintaxis en la URL: www.sdmx.snieg.mx/sistemas/sdmx/restsdmx /{RESOURCE}/{AGENCYID}/{ID}/{VERSION}
El DSD de Short-Term está disponible en: www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/DataStr ucture/INEGI/DSD_SHORT_TERM/ALL
Para obtener los catálogos: Para obtener algún catálogo, se sustituye el “recurso” con la palabra “Codelist”, y se usa el “codelist_id” que ya se obtuvo del DSD. Ejemplos: • • • • • • • •
www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Codelist/ALL/CL_AREA/ALL www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Codelist/ALL/CL_AVAILABILITY/ALL www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Codelist/ALL/CL_FREQ/ALL www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Codelist/ALL/CL_INDICADORES_ST/ALL www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Codelist/ALL/CL_TIME_FORMAT/ALL www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Codelist/ALL/CL_UNIT_MEASURE_ST/ALL www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Codelist/ALL/CL_UNIT_MULT/ALL www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Codelist/ALL/CL_SOURCE_ST/ALL www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Codelist/ALL/CL_DECIMALS/ALL www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Codelist/ALL/CL_ADJUSTMENT/ALL www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Codelist/ALL/CL_NOTE_ST/ALL www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Codelist/ALL/CL_OBS_STATUS/ALL
Para filtrar la consulta: • Se pueden hacer consultas filtrando los datos por cualquier valor de las dimensiones de un flujo de datos. • Esto es, se le pueden dar parámetros a través del key family. • Por ejemplo, las dimensiones en el flujo de Short-term de acuerdo al DSD son: key={AREA}.{ADJUSTMENT}.{FREQ}.{INDICADOR_ST} Ejemplo: Para consultar solamente las series C1161 y C1301 de enero de 1990 a abril del 2010 se deben indicar los valores deseados para cada dimensión:
AREA=MX (que significa México), ADJUSTMENT=N+Y+S FREQ=M (que significa Mensual), ó Q+M (para incluir trimestral y mensual) INDICATOR_ST=C1161+C1301 (se utiliza el + para indicar “y”),
quedando la consulta así: http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_SHORT_TERM_M/I NEGI?key=MX.N+Y+S.M+Q.C1161+C1301&startPeriod=199001&endPeriod=2010-04&format=compact Ó sin valores entre los puntos: http://www.sdmx.snieg.mx/sistemas/sdmx/restsdmx/Data/DF_SHORT_TERM_M/I NEGI?key=...C1161+C1301&format=compact
FUTURO DE SDMX EN INEGI
Siguientes Pasos Incrementar el intercambio regular de flujos de datos en SDMX con OCDE. Empezar a promover con otros organismos internacionales la utilizaci贸n del Web Service, para que de ah铆 obtengan los flujos de datos que se vayan publicando en SDMX.
25
Sin embargo aquà no termina la historia‌
26
SDMX tiene mucho potencial para el SNIEG ….SDMX no solamente es útil para facilitar los intercambios de flujos de datos estadísticos con organismos internacionales, sino también para compartir información al interior del país...
27
Enfoque de Implementación Tres grandes etapas: INEGI como informante de OCDE y otros organismos internacionales INEGI como diseminador de información
INEGI como recolector de información (en su papel de coordinador del Sistema Nacional de Información Estadística y Geográfica)
Fuentes que proveen datos a INEGI para distintos proyectos estadísticos: 1,282 Sector público
1 104
Organismos autónomos
68
Sector privado
45
Sector social
35
Organismos internacionales
30 0
400
800
1200
Mas de 1,200 PROVEEDORES DE DATOS W S
DATA BASE Unidad X
S D M X
W S
DATA BASE Unidad Y
S D M X
ARQUITECTURA SDMX INEGI SNIEG D
R E C SO DL ME XC T O R
W S
DATA BASE Unidad Z
DATA STRUCTURE DEFINITION
MAPPING NATIONAL DATA BASE
S D M X
HECHOS: •Platformas diferentes •Bases de Datos diferentes •Conceptos diferentes •Clasificaciones diferentes
NECESIDADES: •Integración de datos •Estadisticas en tiempo real •Lenguage común •Metadatos estructurales •Mismas clasificaciones
I WS S E M S I D N M A X C I O N
USUARIOS INTERNATIONAL COLLECTORS
USUARIOS NACIONALES PLATFORMAS DIFERENTES SMART PHONE
NOTEBOOK
PC
SERVER
APLICACIONES DIFERENTES
GRAPHICS
MAPS
DATA
SOCIAL NETWORKS
QUE OFRECE SDMX ? •Acceso Universal y simultaneo •Transparencia •Comparabilidad 30
Planes a futuro 1. Consolidaciรณn de la implantaciรณn de SDMX en INEGI como informante y diseminador. 2. Modelo tecnolรณgico de SDMX para el SNIEG 3. Definir estrategia de implantaciรณn INEGI como recolector de informaciรณn
GRACIAS
Silvia.fraustro@inegi.org.mx