fbpx
 
abril 20, 2021 Conecta Software

¿Qué es Hadoop?

Cuando leemos sobre Big Data, uno de los términos que más encontramos es el de Hadoop. Es un framework open source de Apache, creado en 2006 y desarrollado en Java con el objetivo de ofrecer un entorno de trabajo acorde con las necesidades del Big Data.
Por lo tanto, Hadoop está diseñado para trabajar con :

  • Volúmenes de datos masivos (Volumen)
  • Datos estructurados y no estructurados (Variedad)

Y procesarlos de forma segura y eficiente, tanto en costes como en tiempo

  • (Veracidad/Velocidad)

¿Qué problemas resuelve?

Hasta la aparición de Hadoop, la solución tradicional al almacenamiento y procesamiento de cada vez más volúmenes de datos ha sido invertir más dinero en equipos más potentes, con mayores capacidades de almacenamiento y procesamiento. Esta era una solución que hasta ese momento había funcionado pero ya desde hace años se estaba viendo que no iba a ser viable en un futuro ya que la tendencia de crecimiento de los datos generados era exponencial. 
La clave principal estaba en distribuir, tanto el almacenamiento de la información, como su procesamiento, entre muchos equipos trabajando de forma coordinada, lo que se denomina como clústeres. Estos disponen de uno o varios nodos maestros encargados de gestionar el sistema de ficheros distribuido, donde los datos se almacenan en distintos bloques redundantes y por otro lado, la coordinación y ejecución de las distintas tareas entre los distintos miembros del clúster.
Por lo tanto, los retos a resolver eran:

  • Poder acceder a los datos.
  • Procesarlos a mayor velocidad.
  • Evitar la pérdida de información si alguno de los nodos falla.

Hadoop ofrecía una gran fiabilidad distribuyendo los datos y las tareas entre distintos nodos. ¿Y qué pasa si un nodo falla? Esa tarea se reasigna automáticamente a otro nodo y los datos tampoco se perderían ya que están replicados en otros nodos del clúster.
Por otro lado, Hadoop ofrece una gran capacidad de escalabilidad horizontal, sobre todo cuando se despliega en plataformas de nube pública (AWS, Microsoft Azure, etc..) que permite ir añadiendo o reduciendo los recursos según las necesidades. En estos casos se suelen usar los sistemas de almacenamiento propios de estas plataformas para desacoplar la computación del almacenamiento. Así, la computación se dedica a ejecutar, procesar y analizar los datos en lugar de a mantener el sistema de archivos. Es decir, el mismo programa se puede probar en una máquina y después escalar en las máquinas que sean necesarias sin ningún tipo de problema. 
Además, ofrece APIS muy sencillas tanto para el procesamiento como el acceso a los datos. Siendo verdaderamente muy potente porque al dividir el procesamiento entre distintas máquinas se pueden procesar grandes volúmenes de datos en tiempos muy eficientes.
Sus capacidades para distribuir la capacidad de almacenamiento y el procesamiento de los datos entre un gran número de máquinas y ofrecer redundancia basada en software se traduce en que no hace falta tener ni comprar un hardware especial ni sistemas costosos.
En resumen, las características básicas de Hadoop son:

  • Procesamiento distribuido
  • Eficiente
  • Económico
  • Open source
  • Tolerante a fallos
  • Fácilmente escalable
  • APIS de acceso y procesamiento de la información
Contact

Suscríbete a Conecta Week

Newsletter & Podcast semanal sobre ecommerce. Súmate a 8000+ suscriptores y recibe las noticias clave en tu bandeja de entrada.


Contact
Contact

Productos

Info

Soporte

Proyecto Cofinanciado por el Fondo Europeo de Desarrollo Regional. Beneficiario: Conecta Software Soluciones SLU. Nº expediente: EATIC2022010001. Inversión Aprobada: 124.904,68 €. Comienzo: 01/04/2022. Finalización: 30/09/2023. El presente proyecto tiene como objetivo el desarrollo de una plataforma IoT para la omnicanalidad comercial basada en inteligencia artificial. El proyecto * ConectAl: Plataforma lot para la Omnicanalidad Comercial basada en Inteligencia Artificial.”. Expediente EATIC2022010001, ha sido cofinanciado en un 85% por el Fondo Europeo de Desarrolio Regional (FEDER), dentro del Programa Operativo FEDER Canarias 2014-2020, tras haberse acogido a la convocatoria anticipada EATIC2022.

Esta empresa ha recibido un préstamo participativo de la línea de “Creación y Desarrollo de PYMEs Innovadoras” del Fondo Canarias Financia 1 y cuenta con una cofinanciación del Fondo Europeo de Desarrollo Regional del 85% proveniente del Programa Operativo FEDER de Canarias 2014-2020, contribuyendo al cumplimiento de los objetivos del eje prioritario 1 “Potenciar la investigación, el desarrollo tecnológico y la innovación “, Objetivo Específico 1.2.1 “Impulso y promoción de actividades de I+i lideradas por las empresas, apoyo a la creación y consolidación de empresas innovadoras y apoyo a la compra pública innovadora”.

Proyecto Cofinanciado por el Fondo Europeo de Desarrollo Regional, Consejería de Economía, Conocimiento y Empleo y el Fondo Social Europeo (FSE) . Beneficiario: Conecta Software Soluciones SLU. Nº expediente: IPI2020010003. Inversión Aprobada: 71.895,20 €. Comienzo: 23/07/2020. Finalización: 20/01/2023. El presente proyecto tiene como objetivo el Desarrollo de una solución de movilidad comercial.

Proyecto Cofinanciado por el Fondo Europeo de Desarrollo Regional. Beneficiario: Conecta Software Soluciones SLU. Nº expediente: EATIC2019010001. Inversión Aprobada: 173.800,00 €. Comienzo: 01/04/2019. Finalización: 30/09/2020. El presente proyecto tiene como objetivo el desarrollo de una capa de usuario multilingüe y dashboards para entornos web y windows de solución de Business Intelligence.

Proyecto Cofinanciado por el Fondo Europeo de Desarrollo Regional. Beneficiario: Conecta Software Soluciones SLU. Nº expediente: PI2019010001. Inversión Aprobada: 6.444,80 €. Comienzo: 17/10/2018. Finalización: 16/10/2019. El presente proyecto tiene como objetivo el desarrollo de un software conector que automatiza la generación de catálogos virtuales para que la empresa pueda ofrecer en su Tienda online productos con una amplia descripción y con imágenes que hagan la experiencia del usuario más rica y completa.

© 2022 CONECTA SOFTWARE. TODOS LOS DERECHOS RESERVADOS.

AVISO LEGAL Y POLÍTICA DE PRIVACIDAD  |  POLÍTICA DE COOKIES  |  MÁS INFORMACIÓN SOBRE LAS COOKIES

Contact