Tabla de contenido:

¿Cómo sé si Spark está instalado en Linux?
¿Cómo sé si Spark está instalado en Linux?

Video: ¿Cómo sé si Spark está instalado en Linux?

Video: ¿Cómo sé si Spark está instalado en Linux?
Video: Instalar Spark en Linux. 2024, Noviembre
Anonim

2 respuestas

  1. Abierto Chispa - chispear shell Terminal e ingrese el comando.
  2. sc.version O Chispa - chispear -submit --version.
  3. La forma más sencilla es simplemente iniciar " Chispa - chispear -shell”en la línea de comandos. Mostrará el.
  4. versión activa actual de Chispa - chispear .

También saber es, ¿cómo puedo saber si Spark está instalado en Ubuntu?

Instalación de Spark en Ubuntu

  1. Descargue la última versión de Spark aquí.
  2. Desempaquete el archivo.
  3. Mueva la carpeta resultante y cree un enlace simbólico para que pueda tener varias versiones de Spark instaladas.
  4. Prueba la carcasa Spark.
  5. Quizás Scala no sea lo tuyo y prefieras usar Python.

En segundo lugar, ¿dónde se instala Spark en EMR? A partir de emr -4,0. 0, todas las aplicaciones en EMR están en / usr / lib. Chispa - chispear está en / usr / lib / Chispa - chispear.

En consecuencia, ¿cómo se crea una chispa?

Pasos para instalar Spark

  1. Paso 1: asegúrese de que Java esté instalado.
  2. Paso 2: asegúrese de que Scala esté instalado.
  3. Paso 3: Descarga Scala.
  4. Paso 4: instala Scala.
  5. Paso 5: descarga de Apache Spark.
  6. Paso 6: Instalar Spark.
  7. Paso 7: Verifique la instalación de la aplicación Spark en su sistema.

¿Necesito instalar Scala para Spark?

Vas a necesitar para usar un compatible Scala versión (2.10. x). Java es imprescindible para Chispa - chispear + muchas otras dependencias transitivas ( scala compilador es solo una biblioteca para JVM). PySpark simplemente se conecta de forma remota (por socket) a la JVM usando Py4J (interoperación Python-Java).

Recomendado: