Resultado de aprendizaje: 2.
Examinar las características de los datos,usos, tipos y su relación con bases de datos.
DATOS
Valor de los datos
Los datos son la materia prima de la Transformación Digital, por eso decimos que los datos son un activo generador de valor.
El Valor de los Datos que gestionamos debe ser, por tanto, el indicador fundamental para medir el éxito de nuestra estrategia: nuestra brújula.
Los datos se almacenan en la memoria del computador en forma de bits, que son valores binarios. Como en la memoria del computador se puede almacenar una inmensa cantidad de posibles valores binarios, para poder usarlos en tus programas sin perderlos de vista, debes fragmentar dicha información. Esos fragmentos son lo que se conoce como valores.
La transformación digital tiene un efecto profundo en tres elementos principales de nuestras vidas: lo empresarial, lo social y lo ambiental.
Datos y datos masivos
Datos: los datos pueden ser las palabras en un libro, un artículo o un blog. Los datos pueden ser el contenido de una hoja de cálculo o de una base de datos. Los datos pueden ser imágenes o video. Los datos pueden ser un flujo constante de mediciones que se envían desde un dispositivo de monitoreo.
Datosmasivos (Big Data): es cuando sus datos son tan grandes, rápidos o complejos que se vuelve imposible guardarlos, procesarlos y analizarlos con aplicaciones tradicionales de almacenamiento y análisis de datos.
Datos abiertos y datos privados
Datos abiertos: todo contenido, información o dato que el público puede utilizar, reutilizar y redistribuir de forma gratuita y sin restricción legal, tecnológica, ni social.
Datos privados: son aquellos que constituyen lo que se ha dado en denominar "información sensible". La expectativa de privacidad y lo que una persona o una sociedad consideran datos privados continúan evolucionando.
Datos estructurados y no estructurados
Datos estructurados: son los que se introducen y se mantienen en campos fijos dentro de un archivo o un registro. Los datos estructurados se introducen, clasifican, consultan y analizan con facilidad mediante una computadora. Esto incluye los datos que se encuentran en bases de datos relacionales y hojas de cálculo.
Por ejemplo, cuando envía su nombre, dirección y datos de facturación a un sitio web, crea datos estructurados. La estructura fuerza cierto formato para la introducción de los datos a fin de minimizar los errores y facilitar su interpretación por parte de una computadora.
Datos no estructurados: carecen de la organización de los datos estructurados; son datos en crudo (sin procesar). Los datos no estructurados no están organizados de una manera predefinida. No tiene un esquema fijo que identifique el tipo de datos. No hay un método establecido para introducir o agrupar los datos no estructurados y, luego, analizarlos.
Algunos ejemplos de datos no estructurados son el contenido formado por fotos, audio, video, sitios web, blogs, libros, diarios, informes técnicos, presentaciones de PowerPoint, artículos, correo electrónico, wikis, documentos de procesador de textos y texto en general.
Datos almacenados y datos en movimiento
Datos almacenados: son los datos estáticos que se encuentran en una ubicación física, por ejemplo, en una unidad de disco duro de un servidor o un centro de datos.
Datos en movimiento. son datos dinámicos que requieren procesamiento en tiempo real antes de que se transformen en irrelevantes u obsoletos.
Administración de datos masivos
Abarca todos los aspectos de la administración de datos como un recurso empresarial, desde la recopilación y el almacenamiento hasta el uso y la supervisión.
Evolución de los datos masivos
Los primeros registros de uso de datos para rastrear y controlar negocios datan de hace más de 7.000 años. Para el siglo XX la primera máquina de procesamiento de datos apareció en 1943, fue desarrollada por los británicos para descifrar los códigos nazis durante la Segunda Guerra Mundial.
Para el siglo XXI, en el 2005, Roger Mougalas de O’Reilly Media mencionó el término Big Data por primera vez, solo un año después de que crearan el término Web 2.0. que se refiere a un gran conjunto de datos que es casi imposible de administrar y procesar con herramientas tradicionales de inteligencia empresarial.
En 2009, el gobierno de la India decide tomar un escáner de iris, una huella digital y una fotografía de sus 1.200 millones de habitantes. Dentro de la historia del big data este fue un momento crucial. Ya que todos estos datos se almacenaron en la base de datos biométrica más grande del mundo.
En los últimos años, ha habido un aumento masivo de nuevas empresas de Big Data, todas tratando de lidiar con datos y ayudando a las organizaciones a comprenderlos. Cada vez más empresas están adoptando y avanzando lentamente hacia una cultura basada en datos.
Los datos se han convertido en un nuevo tipo de capital, y las organizaciones con visión de futuro siempre están buscando nuevas y mejores formas de usarlos en su beneficio.
Tecnologías de administración básica de datos
Existen varias tecnologías de administración básica de datos, pero las más comunes son:
Bases de datos del archivo plano: almacena los registros en un solo archivo sin estructura jerárquica.
1. Bases de datos relacionales: capturan las relaciones entre los diversos conjuntos de datos y crean información más útil.
2. Datos distribuidos y procesamiento: el procesamiento de datos distribuido toma el volumen de datos de gran tamaño y lo divide en partes más pequeñas. Estos volúmenes de datos más pequeños se distribuyen en muchas ubicaciones para que los procesen muchas computadoras con procesadores más pequeños.
3. SQLite: un lenguaje de consulta estructurado (SQL) está diseñado para manejar, buscar y procesar datos, incluidos los datos masivos. SQLite es una biblioteca en proceso que utiliza un motor de base de datos SQL autónomo, transaccional. El código de SQLite se encuentra en el dominio público y es gratuito para fines comerciales o privados. SQLite es la base de datos más implementada del mundo.
BASES DE DATOS
Una base de datos se entenderá como una colección de datos relacionados entre sí y que tienen un significado implícito. Es un almacenamiento de datos formalmente definido, controlado centralmente para intentar servir a múltiples y diferentes aplicaciones.
Características
Entre las principales características de los sistemas de base de datos podemos mencionar:
Redundancia mínima.
Integridad de los datos. Consultas complejas optimizadas. Seguridad de acceso y auditoría. Independencia lógica y física de los datos.
Uso y aplicaciones
Respaldo y recuperación. Acceso concurrente por parte de múltiples usuarios.
Acceso a través de lenguajes de programación estándar.
Algunos de los usos de las bases de datos, los cuales suponen beneficios para las empresas que los apliquen son los siguientes:
1. Compartir datos: Una base de datos, pertenece a una empresa y se usa para poder compartirse por todos los usuarios autorizados que, a diferencia de los sistemas de ficheros, estos solo pertenecen a personas o departamentos que los usan.
2. Controlar la redundancia de datos: Para evitar el desperdicio de espacio de almacenamiento que se genera cuando con los sistemas de ficheros se almacenan, en distintos ficheros, varias copias de los mismos datos.
3. Consistencia de datos: Si se actualiza un dato que está almacenado solamente una vez, este se actualiza e inmediatamente está disponible para todos los usuarios. Si el dato aparece más de una vez, es decir que está duplicado, pero el sistema ya conoce la redundancia, el propio sistema garantizará que las copias del dato se mantengan consistentes.
4. Mantenimiento de estándares: Una base de datos también se usa para mantener los estándares establecidos tanto a nivel de empresa, como nacionales o internacionales.
Una base de datos se puede aplicar en muchos aspectos de una empresa. Podemos usar las bases de datos:
a. Para mejorar la integridad de datos: La integridad normalmente es expresada a través de reglas o restricciones que no se pueden violar. Estas restricciones se aplican a los datos y las relaciones que hay entre ellos, y es el sistema de la base de datos quien se encarga de mantener que se cumplan.
b. Paraprotegerlosdatos: Con una base de datos, se evita que usuarios no autorizados accedan a los datos.
c. Para acceder a datos fácilmente: Una base de datos suele proporcionar lenguajes de consultas o generadores de informes. Cuando un usuario desee hacer una consulta sobre los datos, no será necesario que un programador desarrolle una app para proporcionar la información de la consulta.
d. Para no perder información: En algunos sistemas de ficheros, cuando más de un usuario accede a ellos al mismo tiempo, a veces se pierde información o integridad. Aplicando una base de datos en el sistema, se garantiza que no ocurran este tipo de inconvenientes.
Aportes al trabajo cotidiano
La transformación digital tiene un efecto profundo en tres elementos principales de nuestras vidas: lo empresarial, lo social y lo ambiental, como se muestra en la figura. Las interacciones en estas áreas crearán más datos para fomentar nuevas ideas, productos y soluciones. Esto producirá aún más datos nuevos, lo que resulta en un ciclo repetitivo de innovación exponencial que nos ayuda a tomar mejores decisiones y tener mejores ideas. Algunos ejemplos:
El registro de estudiantes de un colegio o universidad.
El registro de pacientes de un consultorio médico u hospital.
La base de datos de los libros y revistas de una biblioteca o librería. Los estados de cuenta bancarios de los clientes de una institución financiera.
Aspectos básicos del análisis de datos
Con el análisis de datos, se pueden obtener perspectivas interesantes y detectar tendencias. Esto, con frecuencia genera nuevos interrogantes que aún no se habían puesto en evidencia. Cuando se detecta que es posible obtener un valor adicional a partir de un conjunto de datos, se puede comenzar a experimentar con cómo se organizan y se presentan los datos. Por ejemplo, una cámara de seguridad que controla un estacionamiento para evitar delitos también se puede utilizar para informar el número y la ubicación de los espacios libres a los conductores.
Uso de datos masivos
El crecimiento exponencial de los datos ha creado una nueva área de interés en la tecnología y los negocios llamada “datos masivos". Por lo general, un conjunto de datos o un problema comercial entra en la clasificación de datos masivos cuando sus datos son tan grandes, rápidos o complejos que se vuelve imposible guardarlos, procesarlos y analizarlos con aplicaciones tradicionales de almacenamiento y análisis de datos.
Características de los datos masivos
a. Volumen: describe la cantidad de datos que se transportan y almacenan. El desafío actual consiste en descubrir formas de procesar con mayor eficiencia las cantidades de datos cada vez mayores
b. Velocidad: describe la tasa de generación de datos. Por ejemplo, los datos generados por la venta de miles de millones de acciones en la New York Stock Exchange no se pueden guardar para posterior análisis.
c. Variedad: describe el tipo de datos, que rara vez se encuentran en un estado perfectamente apto para el procesamiento y el análisis. Una parte muy importante de los datos masivos son los datos no estructurados
d. Veracidad: se refiere al proceso que consiste en evitar que los datos imprecisos estropeen los conjuntos de datos. Por ejemplo, cuando las personas se registran para tener una cuenta en línea, suelen usar información de contacto falsa. Si la veracidad de la recopilación de los datos es mayor, la limpieza de datos que se requiere es menor.
Tipos de análisis de datos
El análisis de datos permite que las empresas comprendan mejor el impacto de sus productos y servicios, ajusten sus métodos y objetivos, y proporcionen a sus clientes mejores productos más rápido. La capacidad de obtener nuevas perspectivas a partir de sus datos aporta valor comercial.
Existen varios tipos de análisis que pueden brindar a las empresas, las organizaciones y las personas la información que puede impulsar la innovación, mejorar la eficiencia y reducir los riesgos. El tipo de análisis de datos a implementar dependerá del problema que debe resolverse o de las preguntas que necesitan ser respondidas.
Se abarcarán tres tipos de análisis de datos: a. Descriptivo - b. Predictivo - c. Prescriptivo
a. Análisis Descriptivo
El análisis descriptivo usa principalmente datos observados. Se utiliza para identificar las características principales de un conjunto de datos. Los datos resumidos del análisis descriptivo proporcionan información sobre eventos anteriores y tendencias en el rendimiento.
El análisis descriptivo depende únicamente de datos históricos para brindar informes regulares sobre eventos que ya se han producido. Este tipo de análisis también se usa para generar informes ad hoc que resumen grandes cantidades de datos para responder preguntas simples como “¿Cuánto…?”, “¿Cuántos…?” o “¿Qué sucedió?”. También puede utilizarse para examinar a fondo los datos y hacer preguntas más profundas acerca de un problema específico. El análisis descriptivo resume los datos en información más compacta e útil.
Un ejemplo de un análisis descriptivo es un informe por hora de tráfico.
b. Análisis predictivos
El análisis predictivo intenta predecir qué podría ocurrir con cierto grado de seguridad, en función de datos y estadísticas.
Un ejemplo de un análisis predictivo es un modelo de computadora que utiliza datos masivos para predecir el clima.
c. Análisis prescriptivo
El análisis prescriptivo predice resultados y sugiere medidas de acción que lograrán el mayor beneficio para la empresa u organización.
Un ejemplo de un análisis prescriptivo es un modelo de computadora que utiliza datos masivos para hacer recomendaciones a fin de adquirir o vender una acción en el mercado de valores.
Los tres tipos de análisis se utilizan en análisis de datos.
Ciclo de vida de los datos
¿Qué significa análisis de datos? ¿Es un proceso estandarizado o más bien artístico? El análisis de datos se comienza con una pregunta de negocios y la disponibilidad de algunos datos. Se termina con la creación de información nueva relevante para resolver la pregunta de negocios.
El ciclo se representa en la siguiente imagen.
La siguiente es una descripción breve de cada paso:
- Recopilación de datos: el proceso de ubicar datos y determinar si hay suficientes para completar el análisis. En este caso, buscaríamos un conjunto de datos abierto de las estadísticas delictivas para San Francisco durante julio de 2014.
- Preparación de datos: este paso puede implicar muchas tareas a fin de transformar los datos a un formato adecuado para la herramienta que se utilizará. El conjunto de datos de delitos puede estar preparado para el análisis. Sin embargo, generalmente deben hacerse algunos ajustes para ayudar a responder la pregunta.
- Elección de un modelo: este paso incluye elegir una técnica de análisis que dé la mejor respuesta a la pregunta con los datos disponibles. Una vez que se elija un modelo, se selecciona una herramienta (o varias herramientas)para elanálisis de datos.En este capítulo, aprenderá a usar las bibliotecas de Python y Python para preparar, analizar y presentar datos.
- Análisis de datos: es el proceso que consiste en probar el modelo contra los datos y determinar si el modelo y los datos analizados son confiables. ¿Pudo
responder la pregunta con la herramienta seleccionada?
- Presentación de los resultados: este generalmente es el último paso para los analistas de datos. Es el proceso que consiste en comunicar los resultados a los responsables de la toma de decisiones. A veces, se le pide al analista de datos que recomiende acciones.
- Toma de decisiones: es el último paso en el ciclo de vida del análisis de datos. Los líderes de organizaciones incorporan el nuevo conocimiento como parte de la estrategia general. El proceso comienza nuevamente con la recopilación de datos