Livy を使用した Apache Spark SQL 用の SQL エディタ

Published on 27 April 2020 in Version 4 - 2 minutes read - Last modified on 26 May 2021 - Read in en

Spark SQL

Spark SQL は、Spark アプリ内にクリーンなデータクエリーのロジックを埋め込むのに便利です。Hue には便利なエディタが付属しているので、SQL スニペットの開発が簡単になります。

ドキュメントに記載されている通り、Spark SQL はさまざまなコネクターが一緒になっています。ここでは Livy を紹介します。

Apache Livy は実行中の Spark インタープリターへのブリッジを提供するので、SQL、pyspark、scala のスニペットを対話的に実行できるようにします。

hue.ini で、API の URL を設定します。

[spark]
# The Livy Server URL.
livy_server_url=http://localhost:8998

そしていつものように、設定したインタープリターを確認してください。

[notebook]
[[interpreters]]
[[[sparksql]]]
name=Spark SQL
interface=livy

そうすることで、エディターが表示されます。

Hue Spark Sql Editor

Hue を使用する利点の一つは、HDFS / S3 / Azure 用のファイルブラウザー と、完全なセキュリティ(KerberosとKnox IdBroker の統合を介して実際のユーザーの資格情報を使用することさえも)です。

Hue Phoenix Editor

今後の改善点を紹介します。

  • データベース/テーブル/列の自動補完は現在空です
  • SQL文法の自動補完は拡張できます
  • ミニSQLエディターのポップアップを可能にするSQL Scratchpad モジュールは現在進行中です

フィードバックやご質問はありますか?こちら、またはフォーラム and quick start で気軽にコメントして、SQLクエリのクイックスタートをしましょう!

Romain from the Hue Team


comments powered by Disqus

More recent stories

10 June 2021
Hue4.10(新しいSQLエディタコンポーネント、REST API、小さなファイルのインポート、Slackアプリなど)がリリースされました!
Read More
29 May 2021
Sqlスクラッチパッドコンポーネントとパブリック REST API を使用して、5 分で独自の SQL エディター (BYOE) を構築する
Read More
26 May 2021
改善されたHueのImporter -- ファイルの選択、方言の選択、テーブルの作成
Read More