¿Spark usa guardián del zoológico?
¿Spark usa guardián del zoológico?

Video: ¿Spark usa guardián del zoológico?

Video: ¿Spark usa guardián del zoológico?
Video: seeing wife face for first time #shorts 2024, Mayo
Anonim

Iniciar el Chispa - chispear Domine en varios nodos y asegúrese de que estos nodos tengan el mismo Guardián del zoológico configuración para ZooKeeper URL y directorio.

Información.

Propiedad del sistema Sentido
Chispa - chispear .desplegar. cuidador del zoológico .dir El directorio en ZooKeeper para almacenar el estado de recuperación (predeterminado: / Chispa - chispear ). Esto puede ser opcional

Por lo tanto, ¿puede ejecutar Spark localmente?

La chispa puede ser correr utilizando el programador de clúster independiente integrado en el local modo. Esto significa que todos los Chispa - chispear los procesos son correr dentro de la misma JVM, efectivamente, una única instancia multiproceso de Chispa - chispear.

En segundo lugar, ¿se puede utilizar Spark sin Hadoop? Según Chispa - chispear documentación, Spark puede correr sin Hadoop . Puede ejecutarlo como modo independiente sin cualquier administrador de recursos. Pero si desea ejecutar una configuración de múltiples nodos, necesita un administrador de recursos como YARN o Mesos y un sistema de archivos distribuido como HDFS , S3 etc. Sí, chispa puede correr sin hadoop.

También hay que saber por qué se utiliza ZooKeeper en Hadoop.

Guardián del zoológico en Hadoop se puede ver como un repositorio centralizado donde las aplicaciones distribuidas pueden colocar datos y obtener datos de ellos. Está usó para mantener el sistema distribuido funcionando en conjunto como una sola unidad, utilizando sus objetivos de sincronización, serialización y coordinación.

¿Cómo funciona Spark independiente?

Ser único El modo es un administrador de clúster simple incorporado con Chispa - chispear . Facilita la configuración de un clúster que Chispa - chispear administra y puede ejecutarse en Linux, Windows o Mac OSX. A menudo es la forma más sencilla de correr Chispa - chispear aplicación en un entorno agrupado. Más información, cómo instalar Apache Spark Sobre Ser único Modo.

Recomendado: