• Impala SQL クエリのトラブルシューティングのセルフサービス

    (原文: http://gethue.com/self-service-impala-sql-query-troubleshooting/) データ探検の皆さん! 私たちはImpalaクエリのパフォーマンス問題のデバッグに役立つ方法を探しています。この新機能は開発中のものであり、ご意見を参考にしてさらなる機能追加を目指しています。 カタログのデータを見つけてクエリアシスタントを使用した後、エンドユーザーはなぜクエリの実行に時間がかかるのかを不思議に思うかもしれません。Impala プロファイラー上に構築されているこの新機能は、エンドユーザーに学びを与え、より多くの情報を明らかにするので、エンドユーザー自身がより生産的になります。フローを紹介するシナリオは次の通りです。 実行タイムライン 新機能を体感するためにいくつかのクエリを実行します。 transactions1g は 1GB のテーブルであり、述語のない自己結合はテーブル全体のネットワーク転送を矯正します。 プロファイルを見ると、各ノードの右上にIOとCPU時間を表す数字が確認できます。実行中、そのノードがいつ処理されたかの推定が提供されるタイムラインもあります。濃い青色はCPU時間、薄い青色はネットワークまたはディスクIO時間です。この例では、ハッシュ結合に 2.5 秒実行されていることがわかります。2台のホスト間でデータを行う交換(EXCHANGE)ノードが最も高価なノードで、7.2 秒でした。 詳細ペイン 右側にはデフォルトでクローズされているペインがあります。ペインのヘッダを押して開く、または閉じます。そこでは実行時間でソートされた全てのノードがリストされます。これにより、より大きな実行グラフをナビゲートするのが簡単になります。このリストはクリック可能で、クリックにより適切なノードに移動します。 イベント 交換(EXCHANGE)ノードをクリックすると、もう少し詳細な実行タイムラインがわかります。 交換では、IOが最も高価な部分であったことがわかります。 ホスト別の統計 詳細ペインには、メモリ消費とネットワーク転送速度のような、ホスト毎、ノード毎に集計された詳細の統計も含まれています。 リスク 詳細ペインには、ノード毎に「Risks」というセクションがあります。このセクションは、このオペレーターのパフォーマンスを向上させる方法についてのヒントを紹介します。現在、これはデフォルトで有効になっていません。有効にするには Hue.ini ファイルでこのフラグを設定します。 CodeGen いくつかのクエリと、識別可能なリスクについて見てみましょう。 sample_07...

    Read more
  • HDPでHueを手動設定する

    ビッグデータユーザーの皆さん、こんにちは Ambariで管理している HDP クラスターをお持ちの場合、これは最新の Hue をテストする方法のガイドになります。このガイドは SQL エディタと HDFS ブラウザのみに焦点を当てており、非セキュアな企業向けではないセットアップを想定しています。 ステップ 1: Ambari サーバー以外のいずれかのホストで、以下のコマンドを実行して最新の Hue とその依存関係を コンパイル します。 ビルド: ステップ 2: Ambariの設定を更新します。 1. HDFS --> Configs --> Advanced にスクロールダウンし、”Custom core-site” を展開して...

    Read more
  • Hue 4.3で追加されたSQLの改善点

    Hue 4.3 ではSQLのエクスペリエンスを大幅に改善しました。前の記事ではいくつかの改良点を示しましたが、今回はエディタにおけるいくつかの新しい機能を紹介したいと思います。

    Read more
  • 分析とDjangoが改善された Hue 4.3 が公開!

    Hueチームは全てのコントリビューターに感謝し、Hue 4.3 のリリースを嬉しく思います! 
    このリリースの焦点は、 Djangoを、Python 2.7互換バージョンの1.11にアップグレードする大きなリフレッシュでした。

    Read more
  • SQLエディタでの変数

    SQL愛好家のみなさん、こんにちは!

    私たちは、エディタの使い勝手を改善する方法を少しずつ模索してきました。

    共有
    Hue 4.1では、保存したクエリを他のHueユーザーと一緒に共有する機能を追加し、協力して仕事を分かち合うことができるようになりました。共有するには、エディタの右側のメニューにアクセスします。

    Read more