SearchとSpark Streamingでリアルタイムの分析ダッシュボードを構築する

Published on 22 May 2015 in Hue 3.9 / Search / Spark / Tutorial / Video - 2 minutes read - Last modified on 04 February 2020

Searchは対話的にデータを探索するための素晴らしい方法です。Searchアプリは継続的に改善されており、今ではリアルタイム用のより良い対応が付属しています!

このビデオではSpark Streamingでツイートを収集し、それらをSpark SolrアプリでSolrに直接インデキシングしています。私たちが多くのツイート情報を付与する、わずかに変更したバージョンを使用していることにご注意ください。

 

あなたはツイートがローリングするのを見ることができるでしょう!以前のバージョンと比較すると:

  • ダッシュボードは任意のページにジャンプすることなく、データが変更された時にウィジェットのみを更新する
  • ダッシュボードはN秒毎に自動でリフレッシュできる
  • 主要な日付フィルタは、すべてのダッシュボードでローリングの日時範囲を素早く選択できる

 

live-search

Tweets coming in

 

総括

ほぼリアルタイムでデータをインデキシングする別のやり方がありますが、私たちは、Spark StreamingとSolrアプリだけで追加の設定することなく動作するシナリオとしてこのアプローチに取り組みました。次回は、Solr 5.2の新しい分析機能をプレビューし、いくつかのデータをインデックスするためにPythonとSparkをどのように使用するかの方法を紹介します!

いつものように、コメントとフィードバックは hue-user メーリングリストや@gethueまでお気軽に!


comments powered by Disqus

More recent stories

10 June 2021
Hue4.10(新しいSQLエディタコンポーネント、REST API、小さなファイルのインポート、Slackアプリなど)がリリースされました!
Read More
29 May 2021
Sqlスクラッチパッドコンポーネントとパブリック REST API を使用して、5 分で独自の SQL エディター (BYOE) を構築する
Read More
26 May 2021
改善されたHueのImporter -- ファイルの選択、方言の選択、テーブルの作成
Read More