Apache Hadoop es una plataforma software que permite desarrollar y ejecutar de forma simple aplicaciones que sean capaces de procesar ingentes cantidades de datos. Hadoop está orientado a desarrollos escalables (ya que puede almacenar y procesar petabytes de forma confiable), económicos (ya que distribuye los datos y el procesamiento entre el cluster de ordenadores convencionales), eficientes (aprovecha el paralelismo entre los nodos) y confiable (ya que mantiene múltiples copias de los datos). Hadoop implementa MapReduce haciendo uso del HDFS (Hadoop Distributed File System), consiguiendo que MapReduce divida las aplicaciones en pequeños paquetes de trabajo y HDFS cree múltiples réplicas de los bloques de datos y los coloque en los nodos del cluster. De esta forma, Hadoop ha demostrado su buen funcionamiento con más de 2.000 nodos.

Si bien Hadoop ya es de por si una plataforma más que interesante para montar medios sociales, o procesar de forma automática la información que se genera en las mismas, el hecho que Yahoo! libere su propia distribución de Hadoop, que ellos mismos han adaptado a sus necesidades, es todavía una mejor noticia, tanto por la aportación a la comunidad Hadoop, como por el beneficio para todos los que trabajamos manejando enormes cantidades de datos.

(Vía Twitter de dagi3d)