MR1でのJobTracker高可用性(HA)

JobTrackerがダウンすると、Hueはファイルブラウザでジョブを表示したり、正しいクラスタにジョブをサブミットできなくなります。

 

MR1では、Hadoopは2つのJobTrackerをサポートすることができ、マスターのJobTrackerはスタンバイのJobTrackerにフェイルオーバすることができ、故にJobTrackerの高可用性を提供しています。 Hue 3.5と[CDH5beta1][1] (とおそらくCDH4.6)ではどのようにしているかを見てみましょう。

 

注: MR1のHueはJobTrackerと通信するために[plugin][2]を使用しています。これはCDH、あるいはHadoop 0.23 / 1.2.0に設定することができます。 ([MAPREDUCE-461][3])

 

hue.iniで2つのJobTrackerを設定します:

[hadoop]
  ...

  [[mapred_clusters]]

    [[[default]]]
      # Enter the host on which you are running the Hadoop JobTracker
      jobtracker_host=host-1

      # Whether to submit jobs to this cluster
      submit_to=True

    [[[ha-standby]]]
      # Enter the host on which you are running the Hadoop JobTracker
      jobtracker_host=host-2

      # Whether to submit jobs to this cluster
      submit_to=True

  これだけです! Hueは自動的に2つの利用可能なJobTrackerと通信します!   Oozieのジョブでは注意が必要です。Oozieはジョブを再度サブミットしようとしますが、論理名が必要です([HUE-1631][4])。Hueでこれを有効にするには、MapReduceクラスタそれぞれで指定します。例:   

[hadoop]
  [[mapred_clusters]]
    [[[default]]]
      # JobTracker logical name.
      ## logical_name=MY_NAME

いつものように、コメントがあれば[ hue-user][5] リストまたは@gethueまで!
[1]: http://www.cloudera.com/content/support/en/documentation/cdh5-documentation/cdh5-documentation-v5-latest.html [2]: http://cloudera.github.io/hue/docs-3.5.0/manual.html#_configure_mapreduce_0_20_mr1 [3]: https://issues.apache.org/jira/browse/MAPREDUCE-461 [4]: https://issues.cloudera.org/browse/HUE-1631 [5]: http://groups.google.com/a/cloudera.org/group/hue-user