Livy を使用した Apache Spark SQL 用の SQL エディタ

Published on 27 April 2020 in Querying / Version 4.8 - 2 minutes read - Last modified on 28 April 2020 - Read in en

Spark SQL

Spark SQL は、Spark アプリ内にクリーンなデータクエリーのロジックを埋め込むのに便利です。Hue には便利なエディタが付属しているので、SQL スニペットの開発が簡単になります。

ドキュメントに記載されている通り、Spark SQL はさまざまなコネクターが一緒になっています。ここでは Livy を紹介します。

Apache Livy は実行中の Spark インタープリターへのブリッジを提供するので、SQL、pyspark、scala のスニペットを対話的に実行できるようにします。

hue.ini で、API の URL を設定します。

[spark]
# The Livy Server URL.
livy_server_url=http://localhost:8998

そしていつものように、設定したインタープリターを確認してください。

[notebook]
[[interpreters]]
[[[sparksql]]]
name=Spark SQL
interface=livy

そうすることで、エディターが表示されます。

Hue Spark Sql Editor

Hue を使用する利点の一つは、HDFS / S3 / Azure 用のファイルブラウザー と、完全なセキュリティ(KerberosとKnox IdBroker の統合を介して実際のユーザーの資格情報を使用することさえも)です。

Hue Phoenix Editor

今後の改善点を紹介します。

  • データベース/テーブル/列の自動補完は現在空です
  • SQL文法の自動補完は拡張できます
  • ミニSQLエディターのポップアップを可能にするSQL Scratchpad モジュールは現在進行中です

フィードバックやご質問はありますか?こちら、またはフォーラム and quick start で気軽にコメントして、SQLクエリのクイックスタートをしましょう!

Romain from the Hue Team


comments powered by Disqus

More recent stories

31 December 2020
Hue と Spark SQL Server を介したSpark SQL Editor
Read More
17 November 2020
HBaseのようなビッグテーブルにあるライブのKafkaデータをSQLで簡単にクエリする
Read More
20 October 2020
Flink SQL を使用したデータのライブストリームのクエリに関するチュートリアル
Read More