¿Qué es la programación de trabajos Hadoop?
¿Qué es la programación de trabajos Hadoop?

Video: ¿Qué es la programación de trabajos Hadoop?

Video: ¿Qué es la programación de trabajos Hadoop?
Video: Herramientas Data Science y Big Data ¿Te lías? Te lo explico fácil 2024, Abril
Anonim

Programación de trabajos . Puedes usar programación de trabajos para priorizar MapReduce trabajos y aplicaciones YARN que se ejecutan en su clúster MapR. El valor por defecto programador de trabajos es la feria Programador , que está diseñado para un entorno de producción con varios usuarios o grupos que compiten por los recursos del clúster.

Por lo tanto, ¿qué es el programador Hadoop?

Una introducción a lo conectable planificador estructura Hadoop es un sistema de propósito general que permite el procesamiento de datos de alto rendimiento en un conjunto de nodos distribuidos. Hasta 2008, Hadoop apoyado un solo planificador que se mezcló con la lógica de JobTracker.

En segundo lugar, ¿cómo se planifica el trabajo? Comience con los 10 consejos que se enumeran a continuación.

  1. Conozca a su equipo.
  2. Genere turnos en torno a sus mejores empleados.
  3. Establezca un método de comunicación para todo el equipo.
  4. Obtenga el horario rápidamente.
  5. Respete las preferencias laborales y las solicitudes de tiempo libre tanto como sea posible.
  6. Consiga que los empleados realicen parte de la programación del trabajo.
  7. Deje que los empleados encuentren sus propios sustitutos.

De esta manera, ¿cómo programo un trabajo de Hadoop?

Cómo programar trabajos en hadoop - Quora. La forma más sencilla es envolver su código en un script de shell y calendario es como cron trabajo en el nodo de borde (el nodo donde normalmente envía su trabajos ). Pero normalmente empaquetar el código en un script y ejecutarlo como trabajo es difícil de depurar. probar y mantener.

¿Cómo funciona un programador de hilos?

Planificación en HILO ResourceManager (RM) rastrea los recursos en un clúster y los asigna a las aplicaciones que los necesitan. los planificador es esa parte del MR que hace esta correspondencia respetando las políticas de la organización sobre el intercambio de recursos. Tenga en cuenta que: HILO utiliza colas para compartir recursos entre varios inquilinos.

Recomendado: