Articles & News

28 January 2020

Hue によるデータクエリ体験の 10 年間の進化

Hue は10周年を迎えました。Hueは、Apache Hadoop が主流になる前のまだ初期段階だった時に作成されました(詳細は Hadoop is Dead. Long live Hadoop のHadoopストーリーをご覧ください)。 Hueは元々Cloudera Managerの一部であり、プロプライエタリかつ管理者により重点をおいていましたが、その後バージョン 0.3で独自のオープンソースプロジェクトに移行しました。Hueはデスクトップのようなアプリケーションから現代的な単一ページのSQLエディタへと徐々に進化しました(現在はバージョン4.6 です)。 継続的な繰り返しを通して、Hue はその主な目的である「データプラットフォームの使いやすさを促進する」という点で改善を続けました。ユーザーのベースは、主にクエリしたデータを見る人で構成されています。一例として、 アドホックな質問に答えるデータアナリスト 使用状況の統計を見るプログラムマネージャー データアプリを構築する IT/SQL 開発者 システムのユーザービリティ全体を調べるデータアーキテクト データウェアハウスのテーブル作成を育成するデータエンジニア 2番目のカテゴリーは、ジョブのログを表示、HDFS や AWS S3 のような分散ファイルシステムへのデータのアップロード、ワークフローの作成、検索ダッシュボードの作成、クエリの最適化を行いたいなどの技術的なユーザーです。 Hue 1 (2009) - Apache Hive エディタ、Hadoop のファイルブラウザ、ジョブブラウザーを備えたデスクトップ感覚のアプリケーション。 Hue 2 (2012) - フラットなデザイン、データプラットフォームに高度なSQLエディタ、適切なセキュリティを備えた15以上の新しいアプリケーション/コネクターを追加 (テーブルのブラウジング、ワークフローの構築、検索ダッシュボードなど) Hue 3 (2013) - 単一のエクスペリエンスにアプリケーションを集約および相互リンクして、単一ページのエディタ、およびさらに強力なSQLインテリジェンスを提供 Hue 4 (2017) - Hue はインターフェースを大幅に改良して、モダンでシンプルな単一ページになった。スマートなリコメンドによるSQLのインテリジェンス、リスク警告、データカタログの統合を備えた、SQLインテリジェンスの次のステップ より多くのユーザーとより多くのSQL Cloudera (CDH) と Hortonworks (HDP) ディストリビューションをCDP (Cloudera Data Platform, Data Center またはクラウドで利用可能)に統合することで、Hueはどこにでもあり、さらに多くのユーザーが利用できるようになりました。 1000人以上の複合的な顧客 (Fortune 500 社の重要な一部を含む) Hue経由で毎日数10万件のSQLクエリが実行されている アップストリームのHueは、AWS EMR, IBM Open Data Hubなどの他のいくつかのディストリビューションにも含まれており、活発なコミュニティがあります。…

1 minute read - Version 4.7 / Querying

05 December 2019

Hue 4.6 とその改善点が公開されました!

データ探検家の皆さん、  Hue チームはすべての貢献者に感謝し、Hue 4.6 をリリースします!  今回のリリースで集中的に行ったのは、ver 4.5 上での開発を続け、技術スタックをモジュール化し、SQL の統合を改善し、Hue 5 での今後の主要な機能を準備することでした。特に、今回は以下の点に集中しています。 Python 3 サポートのテストができる 新しいバージョンの gethue.com と、docs.gethue.com の内容が刷新されました 複数の実行コンテキストとさらなる堅牢性を備えた、新しいバージョンのエディタが 66% ほど完了 独自パーサーまたは改善された SQL parsers with highlighter このリリースには、650 件以上のコミットと 100 以上のバグ修正が含まれています。すべての変更については リリースノート をご覧ください。 入手して試してください! Docker docker run -it -p 8888:8888 gethue/4.6.0 Kubernetes : helm repo add gethue https://helm.gethue.com helm repo update helm install gethue/hue demo.gethue.com Tarball または source 改善点の一部を次に示します。 SQL Apache Hive Tez の改善 Apache Hive LLAP の改善 Apache Atlas の検索とカタログ情報が組み込みでプラグイン可能に 自動補完 Highlighter による新しい SQL パーサーを改善、作成する方法 のチュートリアル Apache Druid, Phoenix, Elastic Serch, Presto, KSQL, Calcite 用の専用パーサーのスケルトンを提供 アシストで表示される主キーとパーティションキーのアイコン SQL クエリトレーシング importer/サンプルでのトランザクションテーブル のサポート <– /2019-11-13-sql-column-assist-icons/ –> HUE-9055 2.…

1 minute read - Version 4.6 / Release

14 August 2019

Hue 4.5とその改善点が公開されました!

SQLデータ探検家の皆さん、  Hueチームはすべての貢献者に感謝し、Hue 4.5がリリースできることを嬉しく思います! このリリースの焦点は技術的なスタックをモジュール化し、SQLの統合を改善し、今後の主要機能の準備をすることでした。 このリリースには 660 件のコミットと 150 件以上のバグフィックスが含まれています!全ての変更点はリリースノートをご覧ください。 簡単に試すにはいくつかの方法があります。 Tarball or source From Docker Hub docker pull gethue/4.5.0 demo.gethue.com Kubernetes cluster helm repo add gethue https://helm.gethue.com helm repo update helm install gethue/hue これらは主要な改善の一覧です: SQL Apache Atlasの統合とカタログAPI(英語) Hive LLAP + Service discovery(英語) SQLエディタでの組み込みHive言語リファレンス HBase Phoenix クエリの例 インターフェース 左側のメニューの刷新 ストレージ(HDFS, ADLS, S3)を集約した左側のアシストパネル Webpackの統合(英語) ドキュメントの刷新 Building SQL Autocompletes(英語) Architecture(英語) SQL connectors refresh(英語) クラウド Kubernetes Helm Docker 継続的インテグレーション(英語)  製品を使用し、このリリースに貢献したすべての人に感謝します。 さあ、次のステップへ! (Python 3サポート、Apache Knoxの統合、その他のSQL / クラウド機能)…

1 minute read - Cloud / Editor / Notebook / Hue 4.5 / Release

14 August 2019

SQL エディタでの組み込みHive言語リファレンス

Apache Impalaの方言と同様に、Editorは右側のパネルでHiveのドキュメントに直接アクセスできるようになりました!インストラクションを右クリックしてさらに詳細を表示することもできます。私たちはSQLクエリの生産性がさらに高まることを願っています。 フィードバックや質問はありますか?コメントなどありましたら、コメント欄あるいはフォーラム、または@gethueまで。SQLクエリのクイックスタート(英語)はこちらから!

1 minute read - Editor / Notebook / HBase / Hive / Hue 4.5

14 August 2019

Apache Phoenixを使用したApache HBaseのSQLでのクエリ

Apache Phoenix は、非リレーショナル分散データストアである Apache HBase拡張した素晴らしいアドオンです。HBase Browser上に、Editor はデータをクエリするためのより一般的な構文を提供します。キー/バリューストアであることでSQLにはさまざまなイディオムがあり、Hue のSQL UXの機能を完全にサポートするにはまだいくつかの洗練作業が必要なことにご注意ください。 この Phoenix についての最初のブログ記事では、Phoenix’s 15-minute tutorial のチュートリアルに従って、その後 Editor から US_POPULATION テーブルをクエリします。 HueはJDBC、または SQL Connector documentation に記載されているSqlAlchemyインターフェースをサポートしています。私たちはSqlAlchemyを洗濯します。 Hueのホストにて: ./build/env/bin/pip install pyPhoenix 続いて desktop/conf/hue.ini 設定ファイルセクションにて: [notebook] [[interpreters]] [[[phoenix]]] name = phoenix interface=sqlalchemy options='{"url": "phoenix://sql-phoenix.gethue.com:8765/"}' その後 queryserver を開始します: phoenix-queryserver ... 19/07/24 20:55:13 INFO util.log: Logging initialized @1563ms 19/07/24 20:55:13 INFO server.Server: jetty-9.2.z-SNAPSHOT 19/07/24 20:55:14 INFO server.ServerConnector: Started [email protected]{HTTP/1.1}{0.0.0.0:8765} 19/07/24 20:55:14 INFO server.Server: Started @1793ms 19/07/24 20:55:14 INFO server.…

1 minute read - Editor / Notebook / HBase / Hue 4.5

28 July 2019

Kubernetes で Hue

デプロイをより自動化し、Kubernetesのようなコンテナーオーケストレーションで実行する方法を見てみましょう。  私たちは、前のブログで最新の Hue ウェブサーバーを「ボックス」にまとめる Hue Docker image 記事をを紹介しました。 Hue には Helm チャートが付属しているので、作業を簡単に始めることができます。Helm は Kubernetes 用のパッケージマネージャーです。より高度な方法には yaml config filesを直接使用する方法があります。 Helm をインストールした後にシェルで次の3つの手順を実行して、データベースとともにライブの hue を起動します。 helm repo add gethue https://helm.gethue.com helm repo update helm install gethue/hue 次の手順の説明が画面に表示されます。その後 Helm repo で詳細をご覧いただくことができます。 Hue は Helm catalog カタログにも記載されています。: https://hub.helm.sh/charts/hue/hue   フィードバックやご質問はありますか?何かありましたらこちら、あるいは @gethue! までお気軽にコメントお願いします。

1 minute read - Administration / Cloud / Hue 4.5

27 July 2019

Docker を用いて 3分間で Hue の開発環境をクイックスタート

データベースとデータウェアハウスの使用を単純化することをお探しですか?あるいはクラウドウェブアプリの構築方法を学習していますか? Hue が素晴らしい候補になるでしょう! 一般的に開発はネイティブに行われますが、Dockerを使用してすぐに始める簡単な方法は以下の通りです。  git clone https://github.com/cloudera/hue.git cd hue cp desktop/conf/pseudo-distributed.ini.tmpl desktop/conf/pseudo-distributed.ini 続いて [[database]] セクションを編集して適切なデータベースを指定します。ここでは Mysql を指定しています。 host=127.0.0.1 # Not localhost if Docker engine=mysql user=hue password=hue name=huedb 次にローカルの Hue のソースコードを実行中のコンテナーにマッピングします。(つまりローカルの編集内容が実行中の Hue に表示されるようにします) sudo docker run -it -v $PWD/apps:/usr/share/hue/apps -v $PWD/desktop:/usr/share/hue/desktop -v $PWD/desktop/conf/pseudo-distributed.ini:/usr/share/hue/desktop/conf/z-hue.ini --network="host" gethue/hue その後 http://127.0.0.1:8888 を開きます! 注: Docker コンテナの実行ごはコードの変更は表示されません。このため、Hue で次の行を書き換えて、Hue が開発サーバーモードで開始されている必要があります。 ./build/env/bin/hue runserver 0.0.0.0:8888 また、これはPython コードの変更時に自動で再起動します。例えば JavaScript ではそれらがコンパイルされる必要があります。  

1 minute read - Administration / Hue 4.5

15 March 2019

Impala SQL クエリのトラブルシューティングのセルフサービス

(原文: https://gethue.com/self-service-impala-sql-query-troubleshooting/) データ探検の皆さん! 私たちはImpalaクエリのパフォーマンス問題のデバッグに役立つ方法を探しています。この新機能は開発中のものであり、ご意見を参考にしてさらなる機能追加を目指しています。 カタログのデータを見つけてクエリアシスタントを使用した後、エンドユーザーはなぜクエリの実行に時間がかかるのかを不思議に思うかもしれません。Impala プロファイラー上に構築されているこの新機能は、エンドユーザーに学びを与え、より多くの情報を明らかにするので、エンドユーザー自身がより生産的になります。フローを紹介するシナリオは次の通りです。 実行タイムライン 新機能を体感するためにいくつかのクエリを実行します。 SELECT * FROM transactions1g s07 left JOIN transactions1g s08 ON ( s07.field_1 = s08.field_1) limit 100 transactions1g は 1GB のテーブルであり、述語のない自己結合はテーブル全体のネットワーク転送を矯正します。 プロファイルを見ると、各ノードの右上にIOとCPU時間を表す数字が確認できます。実行中、そのノードがいつ処理されたかの推定が提供されるタイムラインもあります。濃い青色はCPU時間、薄い青色はネットワークまたはディスクIO時間です。この例では、ハッシュ結合に 2.5 秒実行されていることがわかります。2台のホスト間でデータを行う交換(EXCHANGE)ノードが最も高価なノードで、7.2 秒でした。 詳細ペイン 右側にはデフォルトでクローズされているペインがあります。ペインのヘッダを押して開く、または閉じます。そこでは実行時間でソートされた全てのノードがリストされます。これにより、より大きな実行グラフをナビゲートするのが簡単になります。このリストはクリック可能で、クリックにより適切なノードに移動します。 イベント 交換(EXCHANGE)ノードをクリックすると、もう少し詳細な実行タイムラインがわかります。 交換では、IOが最も高価な部分であったことがわかります。 ホスト別の統計 詳細ペインには、メモリ消費とネットワーク転送速度のような、ホスト毎、ノード毎に集計された詳細の統計も含まれています。 リスク 詳細ペインには、ノード毎に「Risks」というセクションがあります。このセクションは、このオペレーターのパフォーマンスを向上させる方法についてのヒントを紹介します。現在、これはデフォルトで有効になっていません。有効にするには Hue.ini ファイルでこのフラグを設定します。 [notebook] enable_query_analysis=true CodeGen いくつかのクエリと、識別可能なリスクについて見てみましょう。 SELECT s07.description, s07.salary, s08.salary, s08.salary - s07.salary FROM sample_07 s07 left outer JOIN sample_08 s08 ON ( s07.…

2 minutes read - Editor / Notebook / Hue 4.4

08 March 2019

HDPでHueを手動設定する

ビッグデータユーザーの皆さん、こんにちは Ambariで管理している HDP クラスターをお持ちの場合、これは最新の Hue をテストする方法のガイドになります。このガイドは SQL エディタと HDFS ブラウザのみに焦点を当てており、非セキュアな企業向けではないセットアップを想定しています。 ステップ 1: Ambari サーバー以外のいずれかのホストで、以下のコマンドを実行して最新の Hue とその依存関係を コンパイル します。 yum install -y git git clone https://github.com/cloudera/hue.git sudo yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel libtidy maven ビルド: cd hue sudo make apps ステップ 2: Ambariの設定を更新します。 HDFS --> Configs --> Advanced にスクロールダウンし、”Custom core-site” を展開して “Add Property… ” をクリックして、”hadoop.…

1 minute read - Uncategorized

01 March 2019

Dockerを使って1分でHueを始めよう

2019年3月更新: この記事は Hue in Docker(日本語版記事未公開)のアップデート版です 現在、Hueで遊ぶ方法は demo.gethue.com にアクセスするか 仮想マシンをダウンロードすることです。しかしこれらには多くの制約があります。代わりにDockerを使用するとはるかに良い体験ができます: 仮想マシンよりも軽量で堅牢 管理者権限が与えられる 実行が大幅に早い Dockerは、Hueの開発を素早く開始したり、Hueを現在のクラスターで試したりするのに最適です。これが、私たちが HueのDockerイメージを提供するということです! Hue Running in Kitematic  MacでDockerを使用してHueを起動する方法と、Linuxユーザー向けの手順を示しているビデオを下記でご覧いただけます。   []7 2つの方法があります。インターネットから最新版をプルするか、Hueのレポジトリからビルドするだけです。 []9 sudo docker pull gethue/hue:latest []10 cd tools/docker/hue-base sudo docker build --rm -t gethue/hue:latest . []11 docker run -it -p 8888:8888 gethue/hue:latest bash これにより、プロジェクトのrootのbashがオープンします。ここからコマンドによりHueの開発版を実行できます。 ./build/env/bin/hue runserver_plus 0.0.0.0:8888 その後、HueはデフォルトのDocker IP のポート8888で起動、実行しているはずです。通常はhttp://192.168.99.100:8888です。 注: 192.168.99.100 が機能しない場合は docker コンテナーのIPを取得します。 sudo docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES b7950388c1db gethue/hue:latest "…

1 minute read - Administration / Cloud / Video

More recent stories

28 January 2020
Hue によるデータクエリ体験の 10 年間の進化
Read More
05 December 2019
Hue 4.6 とその改善点が公開されました!
Read More
14 August 2019
Hue 4.5とその改善点が公開されました!
Read More