Tabla de contenido:

¿Dónde puedo encontrar registros de chispas?
¿Dónde puedo encontrar registros de chispas?

Video: ¿Dónde puedo encontrar registros de chispas?

Video: ¿Dónde puedo encontrar registros de chispas?
Video: Electricidad basica 🏡🔥🌍 Como encontrar una FUGA de CORRIENTE ⚡ 2024, Marcha
Anonim

Tronco directorios

La ubicación predeterminada de SPARK_WORKER_LOG_DIR es / var / Iniciar sesión / Chispa - chispear /trabajador. El valor por defecto Iniciar sesión directorio para iniciar el Chispa - chispear El servidor SQL Thrift es $ HOME / Chispa - chispear -servidor-de-ahorro. Chispa - chispear Shell y aplicación registros se envían a la consola. Tronco Los archivos de configuración se encuentran en el mismo directorio que Chispa - chispear -env.sh.

Con respecto a esto, ¿cómo obtengo registros de chispa?

Chispa - chispear trabajo o aplicación desde la página Analizar, puede acceder al registros a través de la interfaz de usuario de la aplicación y Chispa - chispear Interfaz de usuario de la aplicación. página, puede acceder a la registros mediante el Chispa - chispear Interfaz de usuario de la aplicación. También puede agregar registros para identificar los errores y excepciones en Chispa - chispear fallas en el trabajo o la aplicación.

Del mismo modo, ¿cómo se controlan los registros de hilo? Ver un Iniciar sesión archivar el registros de una aplicación maestra también se puede ver en un navegador en la IU del administrador de recursos en https:// $ { hilo .resourcemanager.webapp.address} / cluster (https:// localhost: 8088 en un solo nodo "cluster").

De manera similar, uno puede preguntar, ¿cómo obtengo registros de ejecutor en Spark?

Respuesta

  1. Instrucciones para obtener los registros del ejecutor de Spark:
  2. Para Amabari: 1) Vaya al Servicio Spark y la pestaña Configuraciones: 2) Busque la entrada "Propiedades avanzadas de spark-log4j".
  3. Para Cloudera - Conjunto: spark.executor.extraJavaOptions = -Dlog4j.configuration = file: /etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

¿Cómo encuentro la URL de mi servidor Spark History?

Por ejemplo, para el servidor de historia , normalmente serían accesibles en https:// < servidor - url >: 18080 / api / v1, y para una aplicación en ejecución, en https:// localhost: 4040 / api / v1. En la API, se hace referencia a una aplicación por su ID de aplicación, [app-id].

Recomendado: