Spark&SQLのための、新しいノートブックアプリケーションのベータ版

Published on 25 April 2015 in Hive / Hue 3.8 / Impala / Spark - 3 minutes read - Last modified on 04 February 2020

昨年、私たちは開発者がウェブインタフェースを介してSparkジョブを投入することができるSpark Igniterをリリースしました 。このアプローチが動作している間、UXが望まれたために多くを残しました。プログラムではインタフェースを実装する必要があり、事前にコンパイルされていなければならず、YARNのサポートが欠けていました。私たちは、REPLを使用するのと同様の、対話形式で反復型のプログラミングの経験を提供することにフォーカスし、PythonとScalaのサポートも追加したいと考えていました。 notebook-1  このため、私たちはこれらの不足している機能を提供することができるSpark REST Job Serverの開発を新たに始めました。その上に、私たちはPythonのNotebookのような雰囲気を提供するためのUIを刷新しました。

この新しいアプリケーションはかなり新しく、「ベータ版」として位置付けされていることにご注意ください。これは、それを試して貢献するのをお勧めすることを意味していますが、UXが多く進化していくため、その使用はまだ正式にはサポートされていません!

この投稿は、Webアプリケーションの一部を説明しています。私たちはSpark 1.3Hue マスターブランチを使用しています   

これは、以下の新しい機能をベースにしています:

サポート:

  • Scala
  • Python
  • Java
  • SQL
  • YARN

Sparkアプリが「エディタ」メニューに表示されていない場合は、hue.iniから非ブラックリストする必要があります :

[desktop]
app_blacklist=

Hueと同じマシンでHueホームに移動します。

 

パッケージを使用してインストールしている場合:

cd /usr/lib/hue

 

Cloudera Managerを使用している場合:

cd /opt/cloudera/parcels/CDH/lib/
HUE_CONF_DIR=/var/run/cloudera-scm-agent/process/-hue-HUE_SERVER-id
echo $HUE_CONF_DIR
export HUE_CONF_DIR

そしてSpark Job Serverを起動します:

./build/env/bin/hue livy_server

hue.iniでこれらのプロパティを変更することで、セットアップをカスタマイズできます:

[spark]
# URL of the REST Spark Job Server.
server_url=http://localhost:8090/

# List of available types of snippets
languages='[{"name": "Scala", "type": "scala"},{"name": "Python", "type": "python"},{"name": "Impala SQL", "type": "impala"},{"name": "Hive SQL", "type": "hive"},{"name": "Text", "type": "text"}]'

# Uncomment to use the YARN mode
## livy_server_session_kind=yarn

さて、次は!

このベータ版は良い機能セットをもたらし、より多くが予定されています 。長期的には、すべてのクエリエディタ(例えばPig、DBquery、Pheonix…)がこの共通インターフェースを使用することを期待しています。その後、ビジュアルダッシュボードを作るために、個々のスニペットはドラッグ&ドロップできるようになり、ノートブックはDropboxやGoogle docsのように埋め込むことができるようになるかもしれません。

私たちは、新しいSpark REST Job Serverのフィードバックをいただくことにも関心があり、コミュニティがこれについてどのように考えているかを見ています (貢献を歓迎します;)

いつものように、コメントとフィードバックは hue-user メーリングリストや@gethueまでお気軽に!


comments powered by Disqus

More recent stories

10 June 2021
Hue4.10(新しいSQLエディタコンポーネント、REST API、小さなファイルのインポート、Slackアプリなど)がリリースされました!
Read More
29 May 2021
Sqlスクラッチパッドコンポーネントとパブリック REST API を使用して、5 分で独自の SQL エディター (BYOE) を構築する
Read More
26 May 2021
改善されたHueのImporter -- ファイルの選択、方言の選択、テーブルの作成
Read More