Livy を使用した Apache Spark SQL 用の SQL エディタ

Published on 27 April 2020 in Querying / Version 4.8 - 2 minutes read - Last modified on 28 April 2020 - Read in en

Spark SQL

Spark SQL は、Spark アプリ内にクリーンなデータクエリーのロジックを埋め込むのに便利です。Hue には便利なエディタが付属しているので、SQL スニペットの開発が簡単になります。

ドキュメントに記載されている通り、Spark SQL はさまざまなコネクターが一緒になっています。ここでは Livy を紹介します。

Apache Livy は実行中の Spark インタープリターへのブリッジを提供するので、SQL、pyspark、scala のスニペットを対話的に実行できるようにします。

hue.ini で、API の URL を設定します。

[spark]
# The Livy Server URL.
livy_server_url=http://localhost:8998

そしていつものように、設定したインタープリターを確認してください。

[notebook]
[[interpreters]]
[[[sparksql]]]
name=Spark SQL
interface=livy

そうすることで、エディターが表示されます。

Hue Spark Sql Editor

Hue を使用する利点の一つは、HDFS / S3 / Azure 用のファイルブラウザー と、完全なセキュリティ(KerberosとKnox IdBroker の統合を介して実際のユーザーの資格情報を使用することさえも)です。

Hue Phoenix Editor

今後の改善点を紹介します。

  • データベース/テーブル/列の自動補完は現在空です
  • SQL文法の自動補完は拡張できます
  • ミニSQLエディターのポップアップを可能にするSQL Scratchpad モジュールは現在進行中です

フィードバックやご質問はありますか?こちら、またはフォーラム and quick start で気軽にコメントして、SQLクエリのクイックスタートをしましょう!

Romain from the Hue Team


comments powered by Disqus

More recent stories

06 May 2020
Apache Flink SQL 用の SQL エディタ
Read More
05 May 2020
セキュアなクラスター上で Apache Knox SSO で認証するように Hue を設定する方法
Read More
30 April 2020
Apache Impala 用の SQL エディター
Read More