Tabla de contenido:

¿Cómo inicio mi servidor Spark History?
¿Cómo inicio mi servidor Spark History?

Video: ¿Cómo inicio mi servidor Spark History?

Video: ¿Cómo inicio mi servidor Spark History?
Video: Advancing Spark - Understanding the Spark UI 2024, Mayo
Anonim

Para habilitar el servidor de historial de Spark:

  1. Cree un directorio para los registros de eventos en el sistema de archivos DSEFS: dse hadoop fs -mkdir / spark $ dse hadoop fs -mkdir / spark / events.
  2. Cuando el registro de eventos está habilitado, el comportamiento predeterminado es que se guarden todos los registros, lo que hace que el almacenamiento aumente con el tiempo.

Además de esto, ¿cómo configuro un servidor Spark History?

Para habilitar el servidor de historial de Spark:

  1. Cree un directorio para los registros de eventos en el sistema de archivos DSEFS: dse hadoop fs -mkdir / spark $ dse hadoop fs -mkdir / spark / events.
  2. Cuando el registro de eventos está habilitado, el comportamiento predeterminado es que se guarden todos los registros, lo que hace que el almacenamiento aumente con el tiempo.

Del mismo modo, ¿cómo encuentro la URL de mi servidor Spark History? Por ejemplo, para el servidor de historia , normalmente serían accesibles en https:// < servidor - url >: 18080 / api / v1, y para una aplicación en ejecución, en https:// localhost: 4040 / api / v1. En la API, se hace referencia a una aplicación por su ID de aplicación, [app-id].

Del mismo modo, ¿qué es el servidor Spark History?

los El servidor de historial de Spark es una herramienta de seguimiento que muestra información sobre las Chispa - chispear aplicaciones. Esta informacion es extraído de los datos que las aplicaciones escriben de forma predeterminada en un directorio en el sistema de archivos distribuido de Hadoop (HDFS).

¿Qué es Sparkui?

La interfaz de usuario web de Spark le permite ver una lista de las etapas y tareas del programador, información ambiental, información sobre los ejecutores en ejecución y más. Vea esta demostración de 30 minutos para conocer: Componentes y ciclo de vida de un programa Spark. Cómo se ejecuta su aplicación Spark en un clúster de Hadoop.

Recomendado: