Sparkの開発者の皆様!
最近HueのSparkアプリケーションが作成されました。これはユーザーがブラウザから直接Sparkジョブの実行と監視ができ、より生産的になります。
以前Oozieのバックエンドでサブミットするアプリをリリースしましたが、最近のSpark SummitでOoyalaとEvanのチームによってコントリビュートされた、Spark Job Server (SPARK-818) に変更しました。この新しいサーバーはSparkとの実際の双方向性を有効にし、コミュニティに近づいています。
私たちはコミュニティと一緒に作業して、将来的にPython、Javaのサポート、コンパイル／アップロードなく直接ジョブをサブミット、その他の改善ができることを願っています!
いつものように、コメントがあれば hue-user リストあるいは @gethueまで!Job Serverに直接関する質問については、SPARK-818のpull requestに参加するかSparkのメーリングリストまで!
始めましょう!
現在、Scalaジョブのみがサポートされており、プログラムはこのトレイトを実装してjarにパッケージする必要があります。これがWordCountの例です。Spark Job Serverについて学習するにはREADMEを確認して下さい。
要件
システムにはScalaがインストールされていると仮定しています。
Spark Job Serverを取得する
現在githubのこのbranchにあります:
git clone https://github.com/ooyala/incubator-spark.git spark-server cd spark-server git checkout -b jobserver-preview-2013-12 origin/jobserver-preview-2013-12
それからこのように入力します:
sbt/sbt project jobserver re-start
Hueを取得する
現在githubのみにあります (CDH5b2に含まれる予定です):
https://github.com/cloudera/hue#getting-started
HueとSpark Job Serverが同じマシンにない場合、desktop/conf/pseudo-distributed.iniにあるhue.iniのプロパティを更新します:
[spark] # URL of the Spark Job Server. server_url=http://localhost:8090/
実行するためにSparkのサンプルを取得する
その後、このThen follow this 手順（ウォークスルー） に従い、ビデオのデモで使用しているサンプルのjarを作成します。