Apache Drill Apache Drill52 es un proyecto en estado de incubación de la Fundación Apache, cuyo objetivo es reducir las barreras a la hora de adoptar un nuevo conjunto de APIs para Big Data. Drill es un sistema distribuido para el análisis interactivo de grandes conjuntos de datos, que sería la versión de código abierto de Dremel de Google (el cuál está disponible bajo IaaS como Google BigQuery53), y que además cuenta con la flexibilidad necesaria para soportar una amplia gama de lenguajes de consulta, formatos de datos y fuentes de datos. Está diseñado para procesar eficientemente los datos anidados y con el objetivo de escalar desde 10.000 o más servidores y para ser capaz de procesar petabyes de datos y trillones de registros en segundos. Muchas organizaciones tienen la necesidad de ejecutar aplicaciones intensivas de datos, incluyendo el procesamiento por lotes, procesamiento de flujo y análisis interactivo. En los últimos años los sistemas de código abierto han surgido para atender la necesidad de procesamiento por lotes escalables (Apache Hadoop) y procesamiento de flujos (Storm, Apache S4). En
2010,
publicó
un
documento
titulado
"Dremel:
Análisis
Interactivo de conjuntos de datos de escala Web"54, que describe un sistema escalable utilizado internamente para el análisis interactivo de datos anidados. Ningún proyecto de código abierto ha reproducido con éxito las capacidades de Dremel. Apache Drill representa un gran paso adelante para las organizaciones que buscan aumentar su capacidad de procesamiento Big Data con consultas interactivas a través de conjuntos de datos masivos. Más información en: http://incubator.apache.org/drill/
Pig/Pig Latin Pig fue desarrollado inicialmente en Yahoo! para permitir a los usuarios de Hadoop centrarse más en el análisis de grandes conjuntos de datos y dedicar menos tiempo a tener que escribir programas map¬per y reducer. Al igual que los cerdos, que comen casi de todo, el lenguaje de programación Pig está diseñado para manejar cualquier tipo de datos, de