BIG DATA
y la explosi贸n de los datos
Big Data
Las cuestiones que se plantean sobre BIG DATA
Premisa: Explosi贸n de los datos
La revolución del dato ya inició • 90% de los datos generados en el mundo fueron creados durante los 2 últimos años. • En Twitter son cerca de 12 Terabytes de tweets creados diariamente. • Facebook almacena alrededor de 100 Petabytes de fotos y videos • En 2016 habrá cerca de 18.9 billones de dispositivos conectados - tráfico global de datos móviles 10.8 Exabytes mensuales o 130 Exabytes anuales. Fuente: IBM Forum 2014
• Big data no solo es grandes cantidades de datos… para que sea considerado como tal debe cumplir la regla de las 4 “V” IBM Corporation - 2012
¿Por que Big Data es diferente a otro tipo de dato que hemos manejado en el pasado? Las 4 “V” que caracterizan estos datos
VOLUMEN • Datos procesados por empresas y particulares ha crecido de forma exponencial • 25 Mil Millones de dispositivos conectados • Google procesa 20 Petabytes diarios • En 2020 se esperan 42.000 millones de pagos electrónicos • La bolsa de Nueva York genera 1 TB diario • Twitter genera 8TB
VELOCIDAD • • • •
Rapidez con la que se accede a los datos Flujos de datos a alta velocidad Datos en tiempo real Ej. eBay se enfrenta a fraude mediante PayPal analizando 5 Millones de transacciones en tiempo real al día.
VARIEDAD • Big data en cualquier tipo de dato – estructurado y no estructurado –texto, datos de sensores, datos entre máquinas, archivos, logs, audio, video, flujos de clicks, XML, datos en streming, cotizaciones bursátiles, medios soliales, GPS, etc • TODOS estos datos necesitan ser procesados y convertidos en información
Tipos de Datos
20%
80%
VERACIDAD • • • •
Veracidad y certeza de los datos Contexto Calidad Fiabilidad de los datos: desfasados, incompletos, conflictivos, irónicos, equivocados, erróneos • Métodos para confirmar que los datos son veraces
多Esto es una moda?
Arquitectura Big Data & Analytics Ingestion and Real-time Analytic Zone Streams
Analytics and Reporting Zone
Warehousing Zone
BI & Reporting
Enterprise Warehouse Connectors
Predictive Analytics
Hadoop
MapReduce
Hive/HBase Col Stores Data Marts Visualization & Discovery
Documents in variety of formats
Landing and Analytics Sandbox Zone
ETL, MDM, Data Governance
Metadata and Governance Zone
IBM Corporation - 2015
驴D贸nde aplica?
Áreas de aplicación High
Operations
Data Warehousing
Line of Business and Analytics
Data-Informed Decision Making
Warehouse Modernization
Lower the Cost of Storage
Low
• • • •
Data lake Data offload ETL offload Queryable archive and staging
• Full dataset analysis (no more sampling) • Extract value from non-relational data • 360o view of all enterprise data • Exploratory analysis and discovery
New Business Imperatives
Business Transformation • Create new business models • Risk-aware decision making • Fight fraud and counter threats • Optimize operations • Attract, grow, retain customers
High
Sectores
Ejemplo practico
Objetivos Que esperan las empresas • • • • • • • • • •
Mejorar posicionamientos – Empresa /Productos / Etc Priorizar productos rentables Mejorar pronósticos de demanda Mejorar la capacidad de producción Reducir inventarios Optimizar mezcla de personas Ciclo de vida del colaborador Reducir la fuga de clientes Incrementas satisfacción y lealtad Alinear planes de recursos para crecimientos sostenibles y rentables
Era Cognitiva
Era Cognitiva • Las organizaciones utilizan analítica de negocio mejorar su funcionamiento e identificar futuras oportunidades. • Pero los sistemas también pueden transformar el modo en el que piensan, se comportan y funcionan. • Hoy en día en la era cognitiva, los sistemas pueden aprender de sus experiencias, encontrar correlaciones, crear hipótesis y recordar los resultados y aprender de ellos
GRACIAS