Вход на сайт
Яндекс.Метрика

Рейтинг@Mail.ru

YARN High Availability

YARN High Availability основан на модели Active/Standby. Cloudera менеджер поддерживает automatic failover в ResourceManager. Но не обеспечивает механизм ручного переключения через пользовательский интерфейс Cloudera Manager.

ResourceManager HA требует Zookeeper и HDFS услуги.

YARN High Availability

Включение High Availability:

  1. Идем в YARN service.

  2. Затем в Actions->Enable High Availability. На экране показаны хосты, которые имеют право работать в режиме standby. Выбираем хост, где хотим иметь резервный ResourceManager. Cloudera Менеджер переходит к выполнению набора команд, которые останавливают службу YARN, добавляют резервный ResourceManager, инициализирует High Availability состояние ResourceManager в Zookeeper, перезапускает YARN, и перераспределяет соответствующие конфигурации клиента.

ResourceManager HA не влияет на JobHistory Server (JHS). Так что в случае проблем просто присваиваем роль новому хосту.

unix-way