MRv2でのYARN Resource Managerの高可用性 (HA)

JobTracker High Availability configuration for MR1と同じように、HueはResource Managerがダウンした場合のためにひとつ以上のResource Managerをサポートします。(本日以降のMaster、または Hue 3.7、または CDH5.1からの予定）

Resource Managerがフェイルオーバーした場合でさえ、Hueは自動的にアクティブなResource Managerを自動的にピックアップします。これは以下により実現可能です:

• Oozieジョブをサブミットする際、現在のResource Managerのホスト名の代わりにResource Managerの論理名が使用される
• Job Browserは必要な場合、自動的にアクティブなResource ManagerのAPIを探す

これは hue.ini の[[yarn_clusters]]セクションの設定例です:

[hadoop]

  # Configuration for YARN (MR2)
  # ------------------------------------------------------------------------
  [[yarn_clusters]]

    [[[default]]]

      # Whether to submit jobs to this cluster
      submit_to=True

            # Name used when submitting jobs
            logical_name=ha-rm

      # URL of the ResourceManager API
      resourcemanager_api_url=https://gethue-1.com:8088

      # URL of the ProxyServer API
      proxy_api_url=https://gethue-1.com:8088

      # URL of the HistoryServer API
      history_server_api_url=https://gethue-1.com:19888

    [[[ha]]]
      # Enter the host on which you are running the failover Resource Manager
      resourcemanager_api_url=https://gethue-2.com:8088
      logical_name=ha-rm
      submit_to=True