ビッグデータエクスプローラの皆さん、こんにちは。
Hueチームは全てのコントリビューターに感謝し、Hue 3.12のリリースを嬉しく思います!
この最新のHueのアップデートは、SQL開発者とアナリスト向けのインテリジェントなエディタとセキュリティに重点を置いていました。3.11には1570以上のコミットが入りました!tarball版のリリースを入手して試してみてください!
より詳細なブログへのリンクがあります。全ての変更については リリースノート を参照してください。また、 手っ取り早く試すには demo.gethue.comを開いてみて下さい
SQLの改善
Hueのエディタは、下記のような大きな改善点を得ています:
行数
返却された行数が表示されるので、データセットのサイズをすばやく確認できます。データベースエンジンが行数を提供しない場合、Hueは行数を推定し、プラス記号(100+など)を追加します。
サンプルのポップアップ
このポップアップを使用すると、データのサンプルと、データベース、テーブル、列に関するその他の統計情報をすばやく表示できます。SQLアシストから、あるいは任意のSQLオブジェクト(テーブル、列、関数…)を右クリックしてポップアップを開くことができます。このリリースでは、ポップアップはより早く開き、データがキャッシュされます。
フッターは、メタストアのページへまたはテーブルアシスト内のテーブルへの直接リンクを提供します。
SQLアシスト
アイテムのレンダリングが書き直され、最適化されました。何千もの列を持つデータベースでは、どのような遅れも経験すべきではありません。
SQLフォーマッタ
SQLフォーマッタには、ワンクリックできれいに見える新しいスマートなアルゴリズムが用意されています!
タイムラインとピボットグラフ
これらのビジュアライゼーションは、時系列データをプロットする場合や、行のサブセットが同じ属性を持ち、それらを一緒に積み重ねる場合に便利です。
タイムライン
ピボット
外部テーブルの作成
S3用に改善した太陽により、HDFSまたはS3に直接外部テーブルを作成する機会を導入しました。
SQLの改善について詳しく読む
自動化されたS3の設定
ClouderaのManagerを使用してS3が設定されている場合、HueはS3の資格情報を自動的に継承します。
通常のユーザーが自動的に S3ブラウザとオートコンプリート にアクセスすることはありません。それらはグループの1つに追加されたHueユーザー管理で「ファイルブラウザのS3権限 (File Browser S3 permission)」を持っている必要があります。
S3の設定について詳しく読む。
新しいセキュリティの改善
管理者が安全なHueインストールを強制して管理するのに役立つ多くのセキュリティオプションが追加されました。
固定の任意のホストヘッダの受け入れ
Hueは任意のホストヘッダ受け入れを修正しました。これで、Hueサーバが提供できるホスト/ドメイン名を設定できます。
allowed_hosts=”host.domain,host2.domain,host3.domain”
[desktop]
allowed_hosts="*.domain"
# your own fqdn example: allowed_hosts="*.hadoop.cloudera.com"
# or specific example: allowed_hosts="hue1.hadoop.cloudera.com,hue2.hadoop.cloudera.com"
注 :「Bafd Request(400)」エラー:AWSクラスタでHueをホストする場合、ネットワークの外部クライアントがHueにアクセスできるようにするには、値を「*」設定する必要があります。
HttpOnlyフラグでの固定セッションIDとcsrftoken
HttpOnlyフラグがHTTPレスポンスヘッダに含まれている場合、クライアント側のスクリプトを使用してCookieにアクセスすることはできません。従って、ブラウザはCookieを第三者に公開しません。クロスサイトスクリプティングのリスクを軽減するため、この属性を持つCookieはHTTP専用Cookieと呼ばれます。 HTTP専用Cookieに含まれる情報は、ハッカーや悪意のあるWebサイトに漏洩する可能性が低くなります。
hive.server2.thrift.sasl.qop=”auth-conf”
のためのSASLのサポート
SASLの機構は、認証が成功した後、通信チャネルの完全性とプライバシー保護をサポートしています。
Thrift SASLライブラリでは、sasl_max_buffer サポートは既に実装されています。 hue.ini の sasl_max_buffer は hive.server2.thrift.sasl.qop="auth-conf”<code>
のサポートを可能にする、より大きく設定可能なバッファサイズを提供します。
[desktop]
# This property specifies the maximum size of the receive buffer in bytes in thrift sasl communication (default 2 MB).
sasl_max_buffer=2 * 1024 * 1024
HueのRequest HTTPプールの紹介
<span style="font-weight: 400;“Request Sessionオブジェクトは、要求間の特定のパラメータの永続性を可能にします。また、セッションインスタンスから作成されたすべてのリクエストにCookieを永続化し、urllib3の接続プールを使用します。同じ host:port に対して複数のリクエストを行っていますが、この変更により、基本的なTCP接続が再利用されるため、パフォーマンスが大幅に向上します。
CACHE_SESSION = requests.Session()
CACHE_SESSION.mount('http://', requests.adapters.HTTPAdapter(pool_connections=conf.CHERRYPY_SERVER_THREADS.get(), pool_maxsize=conf.CHERRYPY_SERVER_THREADS.get()))
CACHE_SESSION.mount('https://', requests.adapters.HTTPAdapter(pool_connections=conf.CHERRYPY_SERVER_THREADS.get(), pool_maxsize=conf.CHERRYPY_SERVER_THREADS.get()))
Content-Security-Policy: ヘッダ
新しいContent-Security-Policy HTTPレスポンスヘッダーは、最新のブラウザーでクロスサイトスクリプティングのリスクを軽減するのに役立ちます。これは、HTTPヘッダーを介してどの動的リソースがロードできるかを宣言することによって実現されます。(詳しくは https://content-security-policy.com/ をご覧ください)
[desktop]
secure_content_security_policy=&quot;script-src 'self' 'unsafe-inline' 'unsafe-eval' *.google-analytics.com *.doubleclick.net *.mathjax.org data:;img-src 'self' *.google-analytics.com *.doubleclick.net http://*.tile.osm.org *.tile.osm.org *.gstatic.com data:;style-src 'self' 'unsafe-inline';connect-src 'self';child-src 'self' data:;object-src 'none'&quot;
#In HUE 3.11 and higher it is enabled by default.
Oozieの改善
電子メール通知
ワークフローの実行が完了した後、電子メール通知を受信するのが容易になります。ワークフローサブミットのポップアップに「完了メールを送信 (Send completion email」のチェックボックスが表示されます。
拡張ダッシュボードのフィルタリング
テキストフィールドに入力を開始すると、テキストと名前または投稿者の一部が一致したジョブのリストが取得できます。下記の画像では、テキストSH が {2すべての4つのジョブの名前と部分的に一致 することがわかります 。フィルタは現在のページにあるものだけでなく、すべてのジョブに適用されることに注意してください。
サブミットされた何千ものジョブの中から1つのジョブを見つけるには、完全なIDを入力する必要があります。
Oozieの改善点こちらについてはをご覧ください.
チームリトリート
さて、その次は!
次のリリースでは、データのSQL版とデータの発見機能が改善されます。Hue 4は「ビッグデータのためのExcel」に相当する目標を達成するために、現実のものとなるでしょう。現在のアプリケーションは新しいエディタに統合されており、Hue全体がオンプレミスまたはクラウドのHadoopで、最高のデータアナリティクスのユーザーエクスペリエンスを提供する単一のアプリケーションになります。
さらにその先へ!
いつものように、すべてのプロジェクトの貢献者とフィードバックを送信してくれる方、hue-user メーリングリストまたは@gethueに参加してくれる方々に感謝しています!