MRv2でのYARN Resource Managerの高可用性 (HA)

Published on 19 June 2014 in Job Browser / MapReduce / YARN - 2 minutes read - Last modified on 06 March 2021

JobTracker High Availability configuration for MR1と同じように、HueはResource Managerがダウンした場合のためにひとつ以上のResource Managerをサポートします。(本日以降のMaster、または Hue 3.7、または CDH5.1からの予定)

Resource Managerがフェイルオーバーした場合でさえ、Hueは自動的にアクティブなResource Managerを自動的にピックアップします。これは以下により実現可能です:

  • Oozieジョブをサブミットする際、現在のResource Managerのホスト名の代わりにResource Managerの論理名が使用される
  • Job Browserは必要な場合、自動的にアクティブなResource ManagerのAPIを探す

これは hue.ini の[[yarn_clusters]]セクションの設定例です:

[hadoop]

  # Configuration for YARN (MR2)
  # ------------------------------------------------------------------------
  [[yarn_clusters]]

    [[[default]]]

      # Whether to submit jobs to this cluster
      submit_to=True

            # Name used when submitting jobs
            logical_name=ha-rm

      # URL of the ResourceManager API
      resourcemanager_api_url=https://gethue-1.com:8088

      # URL of the ProxyServer API
      proxy_api_url=https://gethue-1.com:8088

      # URL of the HistoryServer API
      history_server_api_url=https://gethue-1.com:19888

    [[[ha]]]
      # Enter the host on which you are running the failover Resource Manager
      resourcemanager_api_url=https://gethue-2.com:8088
      logical_name=ha-rm
      submit_to=True

私たちは、複数のResource ManagerのサポートがあなたのHadoopライフを簡単にすることを願っています!

いつものように、フィードバックはお気軽にhue-userメーリングリストや@gethueまでお送り下さい!


comments powered by Disqus

More recent stories

10 June 2021
Hue4.10(新しいSQLエディタコンポーネント、REST API、小さなファイルのインポート、Slackアプリなど)がリリースされました!
Read More
29 May 2021
Sqlスクラッチパッドコンポーネントとパブリック REST API を使用して、5 分で独自の SQL エディター (BYOE) を構築する
Read More
26 May 2021
改善されたHueのImporter -- ファイルの選択、方言の選択、テーブルの作成
Read More