Tableau テクノロジー

Hyper は、パフォーマンスに優れたインメモリデータエンジンテクノロジーです。トランザクション処理データベースで直接、分析クエリを効率的に評価するため、大規模なデータセットや複雑なデータセットの分析に役立ちます。Tableau プラットフォームのテクノロジーの柱である Hyper は、独自の動的コード生成手法と最先端の並列処理手法を用いて、抽出の生成やクエリ実行で高速なパフォーマンスを実現します。

Hyper 独自の設計

ここ 10 年間にわたり、サンプリングや集計などの手法によって、インメモリデータエンジンと分析データベーステクノロジーのクエリパフォーマンスは大きく向上しています。しかし、こうしたパフォーマンス向上はデメリットも招きます。多くのシステムは分析ワークロードのパフォーマンス最適化を優先し、抽出の作成や更新の高速なパフォーマンスに欠かせない、書き込みのパフォーマンスを犠牲にしているのです。書き込み速度が遅ければ、データは古くなり孤立した状態になります。その結果、ユーザーは分析したいデータをすぐに分析できなくなってしまいます。 Tableau が Hyper で掲げるミッションは、書き込み処理と分析処理のパフォーマンスを高速化して、ユーザーとデータの距離を縮めることです。つまり、Hyper は最新のデータを速やかに提供し、それによってユーザーも大規模なデータをより包括的に分析できるようになります。

システムアーキテクチャの見直し: トランザクションと分析クエリを単一のシステムで処理

Hyper ではトランザクションと分析クエリが同一の列ストアで処理され、データの取り込み後に後処理は必要ありません。そのため古いデータは減り、専用システム間の接続不足が最小限に抑えられます。このような Hyper 独自のアプローチによって、読み取りが多いワークロードと書き込みが多いワークロードを単一のシステムで処理することが可能になりました。ですから、高速なクエリパフォーマンスを犠牲にせず、高速に抽出を作成することができます。(Tableau では「ウィンウィン」という言い方をしています。)

クエリ実行への新しいアプローチ: 動的コード生成

Hyper は、実行時 (JIT) コンパイルによる新しい実行モデルを採用しています。他のシステムの多くが採用しているのは、最新のマルチコアハードウェアを最大限には活用できない従来型のクエリ実行モデルです。それに比べ Hyper は、クエリを最適化して独自の機械語にコンパイルし、下位のハードウェアをうまく活用できるようにしています。Hyper はクエリを受け取ると、ツリーを作成して論理的に最適化した後、一意のプログラムを作成するための設計図としてそのツリーを利用し、最終的にプログラムを実行します。それによって、最新のハードウェアをうまく活用した、クエリ実行の高速化が実現しました。

ハードウェアの能力をさらに活用: モーセルに基づいた並列処理

Hyper は、大規模なマルチコア環境を念頭に置いて一から設計されました。その並列処理モデルがベースにしているのは、作業の非常に小さな単位 (「小片」を意味するモーセル) です。Hyper はコア速度の差異を加味しながら、モーセルを利用可能な全コアに効率的に割り当てます。これはつまり、ハードウェアのより効率的な利用と高速なパフォーマンスにつながります。

Hyper は、2010 年にミュンヘン工科大学 (TUM) で学術研究プロジェクトとしてスタートしました。そして 2015 年には、Hyper を実用化しそのテクノロジーの商用版を出荷することを目標に掲げ、独立企業としてスピンオフしました。Tableau は 2016 年に Hyper を買収し、現在そのコアテクノロジーは Tableau データエンジンを支えています。