¿S3 está basado en HDFS?

2024 Autor: Lynn Donovan | [email protected]. Última modificación: 2023-12-15 23:45

S3 es en realidad un almacenamiento infinito en la nube, pero HDFS no es. HDFS está alojado en máquinas físicas, por lo que puede ejecutar cualquier programa allí. No puedes ejecutar nada en S3 ya que es solo Object Store y no FS.

Entonces, ¿es s3 un sistema de archivos distribuido?

S3 no es un sistema de archivos distribuido . Es un almacén de objetos binarios que almacena datos en pares clave-valor. Es esencialmente un tipo de base de datos NoSQL. Cada depósito es una nueva "base de datos", en la que las claves son la "ruta de la carpeta" y los valores son los objetos binarios ( archivos ).

Uno también puede preguntarse, ¿AWS está basado en Hadoop? Hadoop es un marco que ayuda a procesar grandes conjuntos de datos en varios equipos. Incluye Map / Reduce (procesamiento paralelo) y HDFS (sistema de archivos distribuido). AWS es un almacén de datos construido además de una tecnología patentada desarrollada originalmente por ParAccel.

Además de esto, ¿cómo transfiero archivos de s3 a HDFS?

Respuesta. No hay directo forma de copiar archivos de S3 a HDFS sin pasar por local archivos . Sin embargo, puede utilizar el componente tSystem en un trabajo estándar para llamar al Hadoop comando que usas normalmente para copiar archivos , por ejemplo, s3 -dist-cp.

¿Qué es la base de datos s3?

Amazonas S3 o Amazon Simple Storage Service es un servicio ofrecido por Amazon Web Services (AWS) que proporciona almacenamiento de objetos a través de una interfaz de servicio web. Amazonas S3 utiliza la misma infraestructura de almacenamiento escalable que utiliza Amazon.com para ejecutar su red global de comercio electrónico.