H 3 C DataEngine MPP分散データベース

先進的なカラム型ストレージとコンピューティング

H 3 C DataEngine MPPでは、各列のデータは独立して連続するハードディスクメモリブロックに格納されている。これは、従来のロー・データベースがローの順序でデータを連続的に格納するのとは根本的に異なります。

H 3 C DataEngine MPPは遅延伸張技術もサポートしている。H 3 C DataEngine MPPの最適化器と実行エンジンはカラム計算技術を十分に利用して、クエリ条件と関連の中でデータ符号化後の値に直接アクセスすることをサポートして、先に復号する必要はありません。これにより、H 3 C DataEngine MPPはデータクエリ中のCPUオーバーヘッドを大幅に節約し、全体のクエリ性能を向上させることができます。

能率的な能動圧縮

H 3 C DataEngine MPPは、ストローク長アルゴリズム（run length encoding）、デルタ符号化（delta value encoding）、整数データの整数圧縮、文字データのブロック辞書符号化、その他のデータ型のLempel-Ziv符号化など、12種類を超える圧縮アルゴリズムをサポートしている。

H 3 C DataEngine MPPのデータ圧縮比は通常10：1に達することができる。I/O資源消費の節約の観点から見ると、I/Oが主なボトルネックである分析システムにとって、H 3 C DataEngine MPPのアクティブ圧縮技術は従来のラインデータベースに比べて約1桁の性能向上をもたらすことができる。しかし、業界別のビジネスデータは、特徴が大きく異なります。そのため、H 3 C DataEngine MPPの異なるタイプのデータに対する圧縮比も異なります。

共有されていない大規模な並列コンピューティングと拡張性を備えたユニークで便利な

H 3 C DataEngine MPPはワンタッチオンラインクラスタ拡張をサポートしている。ノードへの参加と削除をワンタッチで行い、データの再分布を自動的に完了できます。拡張プロセスは実行中のビジネスを中断する必要はありません。H 3 C DataEngine MPPクラスタ内のすべてのノードは完全にピアであり、プライマリノードは必要なく、データロード、データエクスポート、クエリはすべてのノードで並行して実行することができる。リソース共有がないため、ノードを追加することで、H 3 C DataEngine MPPのデータ容量と計算能力を線形に拡張することができ、いくつかのノードから千以上のノード、またはいくつかのTBから数10 PBまでの規模の拡張と収縮を容易にすることができ、業務規模の増加の要求を満たすことができる。

ビジネス・ベースの階層型ストレージ

ビッグデータ時代にはデータの生成が急速に進み、コンプライアンスと深度マイニングではより多くのデータを保持する必要があるため、データベースに格納されるデータはますます多くなっています。H 3 C DataEngine MPPは、異なるSchema、テーブルなどのオブジェクト、およびテーブルパーティションに異なるストレージポリシーを指定し、異なるストレージロケーション（異なるパフォーマンス、コスト、容量を使用できるストレージメディア）を指定し、ストレージコストを最適化することができます。同時に、H 3 C DataEngine MPPはまた、一部のテーブルとテーブルパーティションをオフラインストレージにバックアップし、オフラインストレージから回復することをサポートし、これはオンラインストレージとオフラインストレージ間のデータの交換速度を大幅に加速させ、オンラインデバイスの利用率と業務価値を向上させた。

組み込みの自動最適化設計

H 3 C DataEngine MPPのデザイナは、データベースやパターンの全体的な最適化設計を提供するだけでなく、特定のクエリに対する増分最適化もサポートしています。また、H 3 C DataEngine MPPは、データベースの実行負荷データを収集するロードアナライザを提供し、いつでも自動化の提案を提供します。これによりDBA管理のコストが大幅に削減されます。

安定性保障システム

H 3 C DataEngine MPPは、データの複数の冗長バックアップを維持することで高可用性を実現します。H 3 C DataEngine MPPは、冗長データが異なるノードにハッシュされて格納されることを保証し、インテリジェントなデータミラーリング機能を内蔵しています。H 3 C DataEngine MPPはこれをKレベル係数信頼性（K-safety）と呼び、KはH 3 C DataEngine MPPが許容できる障害が発生する可能性のある任意のノードの個数を指す。

Kレベル係数信頼性は、任意のKノードが障害を発生した場合に、データ処理およびクエリ要求に応答するために、クラスタ内に少なくとも1つの完全なデータが存在することを保証する。ノード障害ペアのアプリケーションは透過的であり、実行中のビジネスを中断することはありません。冗長データの部数を調整することで、H 3 C DataEngine MPPは異なるアプリケーション設計のニーズを満たす可用性を得ることができます。

H 3 C DataEngine MPPは、フォールトトレランスグループとラックの認識をサポートします。H 3 C DataEngine MPPのデータ冗長性は誇張フォールトトレランスグループであり、フォールトトレランスグループ（通常はキャビネット、さらにはキャビネットからなる領域を含む）のノードに障害が発生した場合、データベース全体のデータが完全に有効であることを保証することができ、キャビネットの電源落ちなどの大規模なハードウェア障害がクラスタ全体の可用性に与える傷害を効果的に回避することができる。

庫内機械学習

従来のデータ分析システムでは、「分析/マイニング要求——データを持ち上げる——分析/マイニング——結果を示す」という操作フローを採用していた。ビッグデータの到来により、ネットワークがボトルネックとなり、分析/マイニングタスクの高遅延が耐えられなくなっています。

H 3 C DataEngine MPPは分析/マイニングアルゴリズムをデータベースに置くことを強調し、アルゴリズムとデータを緊密に結合させ、H 3 C DataEngine MPPが列式とMPPアーキテクチャの特徴に基づいてもたらしたリアルタイム計算能力を十分に利用し、効率的に分析/マイニング任務を実行する。

一般的な統計分析と線形回帰分析のほか、H 3 C DataEngine MPPはSQL-99を基礎に拡張し、時系列、パターンマッチング分析、地理分析などの高級分析機能を提供した。これらの機能により、ユーザー自身が複雑なデータ分析を開発する作業が大幅に削減され、大データ量環境での分析タスクを適切に完了することができます。同時にH 3 C DataEngine MPPは構造化と非構造化の融合分析をサポートし、H 3 C DataEngine MPPとHadoopがそれぞれ構造化と非構造化における卓越した分析能力を結合し、効率的な融合分析ソリューションを創造することができる。

開発と拡張性

H 3 C DataEngine MPPは互換性が高い。SQL-92/SQL-99/SQL-2003標準をサポートし、ODBC、JDBC、ADO.NETドライバを提供し、既存のETL（例えばInformatica、DataStage）ツール、レポートツール（例えばBO、Cognosなど）及び分析ツール（例えばSAS、SPASSなど）と容易に統合でき、既存の投資を保護する。

H 3 C DataEngine MPPサーバーはX 86のLinuxサーバーを採用し、主流のX 86サーバーとLinuxリリースバージョンをサポートしている。H 3 C DataEngine MPPはまたカスタム関数を開発するSDKを提供し、ユーザーがH 3 C DataEngine MPPをビッグデータ計算プラットフォームとし、C++/R/Java言語を通じて自分独自のデータ分析と処理アルゴリズムを拡張としてH 3 C DataEngine MPPに追加し、H 3 C DataEngine MPPのMPPとカラム計算技術を十分に利用し、ユーザーはすぐに効率的なビッグデータ分析処理能力を持つことをサポートする。

H 3 C DataEngine MPPはワンタッチオンラインクラスタ拡張をサポートしている。ノードへの参加と削除をワンタッチで行い、データの再分布を自動的に完了できます。拡張プロセスは実行中のビジネスを中断する必要はありません。

データベースのセキュリティ

H 3 C DataEngine MPPは強力なセキュリティを備えている。H 3 C DataEngine MPPは多種の認証方式方式をサポートしている。H 3 C DataEngine MPPへのアクセスは、認証に合格したユーザーのみが許可されます。同時に、H 3 C DataEngine MPPは完全な役割と授権メカニズムを提供し、ユーザーのデータアクセス権限を柔軟に制御することができる。マルチテナントとサンドボックスをサポートし、データベースのマルチテナント管理モデルを実現する。マルチテナントモデルは、異なるテナント/アプリケーションの資源消費「ピーク・バレー」時間差異を活用し、資源共有を実現することができる。

また、H 3 C DataEngine MPPはSchema、表などの一部のデータベースオブジェクトのバックアップ、リカバリ特性をサポートし、テナント別にバックアップ戦略を管理することをサポートし、各テナントが自分のデータオブジェクトに対して完全なライフサイクル管理を行うことができるようにする。H 3 C DataEngine MPPのデータベース部分オブジェクトバックアップとリカバリ機能は、ビッグデータシステムのアプリケーションとユーザーの多層階層管理にサポートを提供する。

最適化されたカラム・ストレージと計算

H 3 C DataEngine MPPでは、各列のデータは独立して連続するハードディスクメモリブロックに格納されている。これは、従来のロー・データベースがローの順序でデータを連続的に格納するのとは根本的に異なります。H 3 C DataEngine MPPは遅延物化技術をサポートしている。ほとんどの分析クエリでは、すべてのカラムデータのサブセットを取得する必要があります。H 3 C DataEngine MPPカラム最適化器と実行エンジンは、カラムストレージで無関係なカラムをスキップすることができ、大量のI/Oリソース消費を節約することができます。

アクティブ圧縮

他の列記憶を支持すると公言しているデータベースがデータ挿入の後ろの順序に従って記憶する方式とは異なり、H 3 C DataEngine MPPは各列のデータ型、基数とクエリ特徴に基づいて、適用可能なソート方式と圧縮アルゴリズムを自動的に選択し、データが占める記憶空間をできるだけ減らし、クエリのI/O消費を下げ、クエリ性能を向上させる。H 3 C DataEngine MPPは12種類以上の圧縮アルゴリズムをサポートしている。

大規模な並列コンピューティングとスケーラビリティを共有しない

H 3 C DataEngine MPPクラスタ内のすべてのノードは完全にピアであり、プライマリノードは必要なく、データロード、データエクスポート、クエリはすべてのノードで並行して実行することができる。リソース共有がないため、ノードを追加することで、H 3 C DataEngine MPPのデータ容量と計算能力を線形に拡張することができ、いくつかのノードから千以上のノード、またはいくつかのTBから数10 PBまでの規模の拡張と収縮を容易にすることができ、業務規模の増加の要求を満たすことができる。

階層型ストレージ

ビッグデータ時代にはデータの生成が急速に進み、コンプライアンスと深度マイニングではより多くのデータを保持する必要があるため、データベースに格納されるデータはますます多くなっています。パフォーマンスの分析、高速ディスクの高コスト、および大容量の要件はしばしば矛盾しています。H 3 C DataEngine MPPの階層的記憶特性は、この矛盾を効果的に解消することができる。H 3 C DataEngine MPPは、異なるSchema、テーブルなどのオブジェクト、およびテーブルパーティションに異なるストレージポリシーを指定し、異なるストレージロケーション（異なるパフォーマンス、コスト、容量を使用できるストレージメディア）を指定し、ストレージコストを最適化することができます。

設計の自動最適化

H 3 C DataEngine MPPには、専門家の知識を盛り込んだデータベース最適化デザイナが内蔵されています。ユーザーは論理モデル（Schema）を指定し、サンプルデータをロードし、典型的なクエリSQL文を提供するだけで、H 3 C DataEngine MPPのデータベース最適化デザイナは専門家の知識に基づいてデータの水平分布方式、列ごとのソート方式と圧縮アルゴリズムを自動的に設計し、クエリ性能と記憶空間のサイズ要件をバランスさせ、データベース全体の最適化を実現する。

原生クラウド分析プラットフォーム

H 3 C DataEngine MPPは同時に共有クラウドとプライベートクラウドシーンでの計算と記憶資源の分離をサポートし、共有MPPのない高性能と共有ストレージの急速な拡張優位性を結合し、データマスタコピーは共有ストレージに位置して急速に拡張しやすく、熱データは計算資源に位置してローカルに高速性能を提供すると同時に、「サブセット群」を通じてクラスターノード数が高同時負荷シーンでの資源浪費を回避し、さらにスループット能力の弾性的な拡張を実現する。

共有されていないMPPアーキテクチャ：H 3 C DataEngine MPPは数百以上のノード並列計算を採用することは、ビッグデータ分析が十分な計算と記憶資源を得ることを支えるアーキテクチャの鍵である。共有されていないMPPアーキテクチャは、大データ解析をサポートするために何百ものノードに拡張するために、共有ストレージを必要とせず、専用のプライマリ（プライマリ）ノードも必要としません。

ネイティブサポート高可用性：H 3 C DataEngine MPPには高可用性が内蔵されており、設計可用性の範囲内でノード障害が発生すると、アプリケーションに対して透明性を実現でき、実行中の業務を中断することはありません。H 3 C DataEngine MPPのインクリメンタルバックアップとリカバリ、データベース部分オブジェクトバックアップとリカバリ機能により、災害発生時にアプリケーションが迅速にリカバリできることを保証することができます。

最適化されたカラムデータベース：ビッグデータ解析パフォーマンスの重要な解消I/Oオーバーヘッドのボトルネック。H 3 C DataEngine MPPカラムストレージとコンピューティング（カラムエンジン）を結合し、追加、削除、修正操作を含む完全な機能を提供し、ビッグデータ条件下で高性能分析クエリと即席クエリをサポートする鍵である。

理想的なビッグデータリアルタイム分析プラットフォーム：H 3 C DataEngine MPPは高性能のカラムストレージと計算技術を採用し、アクティブデータ圧縮、高級分析をサポートし、弾力性拡張及びカスタム外部拡張などの先進的な特性を持ち、ビッグデータリアルタイム分析をサポートする理想的なプラットフォームである。