Apache Oozieの新しいワークフロー、コーディネーター&バンドルエディタ

Published on 03 April 2015 in Hue 3.8 / Oozie / Video - 4 minutes read - Last modified on 04 February 2020

OozieはHueの初期の主要な最初のアプリケーションのひとつです。私たちは継続的により良くなるように投資しており、ちょうどOozieエディタに大きな変更を行いました。

Oozieエディタのこの改良では新しいデザインをもたらし、Oozieに必要な知識ははるかに少なくてすみます!ワークフローは、今や10個の新機能をサポートし、セットアップは数回クリックするだけです!

 

 

ビデオで使用されているファイルはOozieのサンプルによるものです 。

新しいインターフェイスでは、アクションの最も重要なプロパティのみを満たすように要求され、ファイルのパスと他のジョブを検証するためのクイックリンクが提供されています。HiveとPigのスクリプトファイルはパラメータを抽出するために構文解析され、それらがオートコンプリートで直接提案されます。現在の場所のノードにちょうどオーバーラップするように、アクションの高度な機能がはるかに少ない軋轢で、新しい種類のポップアップがご利用いただけます。

 

new-oozie

新しいエディタ

New Editor (edit mode)

新しいエディタ(編集モード)

Old Editor

古いエディタ

 

2つの新しいアクションが追加されています::

  • HiveServer2
  • Spark

new-spark-hs2-actions

そして、Pigのユーザーエクスペリエンスとサブワークフローが簡略化されています。

 

デシジョン(分岐)ノードのサポートは改善されました。既存のアクションのコピーも今やドラッグ&ドロップするだけです。いくつかのレイアウトは「ok」および「end」ノードが個別に変更することができるようになりました。

oozie-avanced-action-options

 

コー​​ディネーターは、大幅に改善されました!Oozieデータセットの概念はもはや必要ありません。エディタはワークフローのパラメータを取り込み、3種類の入力が用意されています:

  • parameters: 定数または時間のようなOozie EL機能
  • input path: 入力パスの依存関係をパラメータ化し、例えばそれが存在するのを待つ
  • output path: 入力パスと同様だが、ジョブ開始時に存在している必要はない

oozie-new-coordinator

 

恐ろしいUTCのタイムゾーン形式は、カレンダーまたはいくつかのヘルパーウィジェットのいずれかにより、直接提供されておりません。

oozie-new-submit-popup

 

まとめ

わかりやすいエンドユーザーエクスペリエンスを提供することに加えて、この新しいアーキテクチャはイノベーションを切り開きます。

まず、エディタで新しいOozieアクションを追加することが容易になります。しかし、最も重要なのは、ワークフローは新しいHueのドキュメントモデルを使用して永続化され、それらのインポート/エクスポートの意図が簡略化され、直接UIからすぐに利用できるようになります。このモデルは保存されたHive、Pig、Sparkジョブをワークフローに単に直接ドラッグ&ドロップするだけで、ワークフローを次世代で有効にできるようにもなります。手動でHDFS上のクエリを複製する必要はありません!

これはまた、コーディネーターとしてHueに保存されている任意のジョブの使用を、ワンクリックでスケジュールするための扉を開きます。私たちは新しいエディタを改善し続けている一方で、次にアプリケーションの ダッシュボードセクションのメジャーな改良をご覧いただけるようになるでしょう!

 

いつものように、コメントとフィードバックはhue-user メーリングリストや@gethue!までお気軽に!

 

注意

古いワークフローは自動的に新しいフォーマットに変換されません。Hueはあなたのためにそれらをインポートしようとし、問題が発生した場合は古いエディタで開きます。

oozie-import-try

新しいimport/exportはHue4で予定されています。それは、ワークフローをHueのフォーマットからXML / JSON Hueフォーマットの両方でエクスポートし、Hueのフォーマットからインポートできるようになります。


comments powered by Disqus

More recent stories

10 June 2021
Hue4.10(新しいSQLエディタコンポーネント、REST API、小さなファイルのインポート、Slackアプリなど)がリリースされました!
Read More
29 May 2021
Sqlスクラッチパッドコンポーネントとパブリック REST API を使用して、5 分で独自の SQL エディター (BYOE) を構築する
Read More
26 May 2021
改善されたHueのImporter -- ファイルの選択、方言の選択、テーブルの作成
Read More