H 3 C SeaSQL MPP分散データベース

各業界のお客様がビッグデータ時代がもたらす課題に対応するのを支援するために、H 3 Cは高性能なビッグデータ処理プラットフォームを構築し、HadoopとMPP分散データベースを融合させた計算フレームワークを採用し、ユーザーに完全なビッグデータプラットフォームソリューションを提供し、データ収集変換、記憶計算、分析マイニング、共有交換、BI展示及び運行維持管理などの全シリーズ機能を含み、ユーザーがマスデータ処理システムを構築し、データの内在的価値を発見し、新たな市場機会を獲得するのを支援した。

SeaSQL MPPはローカル物理マシンの配備をサポートし、プライベートクラウドへの配備もサポートし、データソースはローカルストレージ、HDFS、Oracle、MySQLなどのクラウドストレージやその他のリレーショナルデータベースは、ETLツールやKafkaなどを介してSeaSQL MPPデータベースに統合されています。SeaSQL MPP分散データベースは共有されていない大規模な並列アーキテクチャに基づいており、PBレベルのデータ処理能力を備えており、カーネルはPostgreSQLカーネルに基づいて、大量の最適化を行い、強大なクエリ最適化器を提供し、SQLに対して完全な互換性を行った。インタフェース層では、SeaSQL MPPは標準的なJDBC/ODBCインタフェースのほか、常用プログラミング言語Python/R/Java/Perl/Cのインタフェースを提供し、機械学習ライブラリMADLib、全文検索、PostGISのインタフェースも提供し、使用層呼び出しを提供する。

SeaSQL MPPは分散アーキテクチャであり、横方向の拡張能力が強く、千個以上のノードの相互接続を実現でき、数千個のCPUをサポートする。強力なデータ処理と演算能力は、次のシーンに適しています。

•エンタープライズクラスのODS/EDWの構築、データ市場の構築など、分析指向のアプリケーションに適しています。

•データ・ウェアハウス、ビジネス・インテリジェンスなど、大量のデータを処理する必要があるアプリケーションに適しています。

•オフラインデータの分析とデータマイニング、例えば顧客行動分析、人物画像、行動予測モデリングなどに適している。

H 3 C SeaSQL MPPはPostgreSQLに基づく分散データベースであり、Shared-Nothingアーキテクチャ、ホスト、オペレーティングシステム、メモリ、ストレージはすべて自己制御であり、共有は存在しない。H 3 C SeaSQL MPPデータベースの主な特性は次のとおりです。

・大規模並列処理アーキテクチャ。

・行の保存もサポートするし、列の保存もサポートする。各テーブルまたはテーブル・パーティションは、管理者がアプリケーションの必要に応じてストレージと圧縮方法を個別に指定できます。

・Zlib、RLEなど、さまざまな圧縮方法をサポートする。

・範囲、リストなどを含む複数のパターンをサポートするマルチレベルパーティションテーブルをサポートする。

・Bツリー、ビットマップ、GiSTなどのインデックスをサポートする。

・認証メカニズムは、LDAPやKerberosなど、さまざまな方法をサポートしています。

・拡張言語サポート：SeaSQL MPPはPython、R、Java、Perl、C/C++など、多種の流行言語を使用したユーザー定義関数の実装をサポートする。

・地理情報処理：PostGISを統合することにより、SeaSQL MPPは地理情報の記憶と分析をサポートする。

・内部構築データマイニングアルゴリズムライブラリ：MADlib（現在はApache孵化プロジェクト）アルゴリズムライブラリを通じて、論理回帰、決定木、ランダム森林などを含む、SeaSQL MPPデータベースに数十種類の一般的なデータ分析とマイニングアルゴリズムを内部構築することができる。アルゴリズムコードを書く必要はありません。SQLを使用すると、その中のすべてのアルゴリズムを使用することができます。

・テキスト検索：SeaSQL MPPは効率的で柔軟で豊富な全文検索機能をサポートすることができる。MADlibと併用することで、並列テキスト解析やマイニングを行うことができます。

・MPP技術を用いてPetabyteレベルのデータ量のロード性能を提供する高性能ロード。

・ビッグデータワークフローのクエリ最適化。

・多型データの格納と実行。

・Apache MADlibに基づく高度な機械学習能力。

・SQL 92 ANSI/ISO、SQL 99 ANSI/ISO、SQL 2003 ANSI/ISO、SQL 2006 ANSI/ISO標準をサポートし、C API、ODBC、JDBCなどの国際インタフェース規範をサポートし、DDL、DML、DCL文法をサポートし、基本データ型、基本完全性制約、基本テーブル管理、検索条件、テーブル接続、サブクエリ、挿入、修正、削除、トランザクション制御をサポートする。

クラウド化の導入

SeaSQL MPPはCloudoOS 5.0クラウドプラットフォームの配置インストールをサポートし、クラウド化配置をサポートすることができる。ユーザーはCloudOSインタフェースを通じてすべての資源を統一的に管理し、管理を統一的にスケジューリングすることができ、分配資源を柔軟に管理し、全体の資源利用率を高めることができる。

容量拡大は中断しない

SeaSQL MPPデータベースは、ホスト容量拡張とインスタンス容量拡張の2つの拡張方法を顧客のニーズに合わせて行うことができます。容量拡張の過程ではシステムテーブルメタデータを更新するだけで容量拡張を完了し、データベースの停止操作を行う必要はなく、データベース容量拡張後にジャンプConsistent Hashアルゴリズムを採用してデータ再分布過程におけるデータの移動を大幅に削減した。

行列ハイブリッドストレージ

SeaSQL MPPデータベースは多種のタイプの記憶モデルを提供している：行保存、列保存、行列混合記憶、業務の必要に応じてデータの記憶モードを制定することができる。

OLAP関数

SeaSQL MPPは豊富なOLAP関数を提供する：Rollup、cube、ウィンドウ関数、再帰操作など、複雑な分析操作をサポートするために用いられ、意思決定者と上層管理者の意思決定サポートに重点を置く。アナリストの要求に基づいて、迅速かつ柔軟にビッグデータ量の複雑なクエリ処理を行うことができ、それによって彼らは企業の経営状況を正確に把握し、サービス対象のニーズを理解し、正しい方案を制定することができる。

マルチテナント

SeaSQL MPPデータベースのマルチテナント特性は1つのデータベースを複数のテナントに分割して使用することができ、異なるテナントの物理資源は互いに隔離され、マルチテナント特性は主に以下のいくつかの方面の優位性を体現している：

テナントによって物理リソースに対する要求が異なり、各リソースは互いに隔離されて干渉せず、一部のテナントがビジネスのピーク時に他のユーザーのリソースを奪うのを防止します。

テナント間のデータを相互に分離し、データの安全性を高める。

システム資源が空いている場合はCPU、メモリ資源を弾力的に使用することができ、資源が忙しい場合はテナント間の資源を設定時のパラメータに基づいて制限し、システム全体の資源利用率を高める。

強力な並列マウント能力

データの導入性能指標はデータ倉庫の使用体験に重要な役割を果たし、SeaSQL MPPデータベースはデータロードを行う際にクラスタ全体のすべてのノードの資源を使用することができ、ロード性能はノード数の増加に伴い線形に増加し、大規模なクラスタではデータロード速度は20 TB/時間に達することができる。

統合MADLib機械学習ライブラリ

MADlibはプログラマ向けではなく、データベース開発またはDBA向けであり、SQLの簡単な使いやすさとデータマイニングの複雑なアルゴリズムを結合し、両者の優位性と特徴を十分に利用して、開発者の開発効率を大幅に高めることができる。

ユーザーにとって、MADlibはSQLクエリ文で呼び出すことができる関数を提供し、その中には基本的な線形代数演算と統計関数だけでなく、一般的な、既製の機械学習またはデータマイニングモデル関数も提供している。ユーザーはアルゴリズムのプログラム実現の詳細を深く理解する必要はなく、関数の使用方法を明確にするだけでよく、開発効率を大幅に高め、開発コストを節約することができる。

統合PostGIS地理空間データ処理

PostGISはオブジェクト関係型データベースシステムPostgreSQLの拡張であり、PostGISはPostgreSQLに空間データ型、空間インデックス、空間関数のサポートを追加することにより、PostgreSQLデータベース管理システムを空間データベースに変換する。

SeaSQL MPPはPostGIS空間データベースを統合し、空間データと対象関係データベースを完全に統合し、GISを中心としたデータベースを中心とした転換を実現した。これにより、ユーザーは空間データを処理したり操作したりするために専用のGISデータエンジンを必要とせず、アプリケーションはSQL言語だけで簡単に空間データを操作することができます。

透過的暗号化

SeaSQL MPP透過暗号化モジュールは、クライアントに対して全く感知されないデータベース全体の暗号化を実現します。データブロックをディスクに書き込むとき、データを暗号化する。ディスクからデータを読み込むと、復号されます。ディスクに格納されたデータが暗号化されたままであり、ディスクの内容を取得しても中の平文データを読み取ることができないことを保証することができます。同時に、暗号化動作に対するビジネスレベルの認識は全くなく、暗号化に適した修正を行う必要はありません。暗号化方式はAESのXTS暗号化モードを採用し、データ暗号化の安全性を保証した。

データ脱感作

データ脱感（Data Masking）、データ漂白、データプライバシー解消、またはデータ変形とも呼ばれます。いくつかの敏感な情報に対して脱感規則を通じてデータの変形を行い、敏感なプライバシーデータの信頼できる保護を実現することを指す。顧客のセキュリティデータまたは商業的に敏感なデータに関連する場合、システム規則に違反しない条件下で、実際のデータを改造し、身分証明書番号、携帯電話番号、カード番号、顧客番号などの個人情報をデータ脱感作する必要があるなどのテスト使用を提供する。

SeaSQL MPPデータベースは多様な脱感方式を提供し、脱感規則を定義した後、ユーザーは以下の2つの方式で脱感データにアクセスすることができる：

静的脱感：ライブラリ内の機密情報を除去すると、データベース内の機密データはリカバリ不可能に上書きされます。

動的脱感：指定されたユーザーに対して機密情報をブロックしても、他の感受性のないユーザーは元のデータにアクセスします。

FDWデータボンネット

FDWは、SQL標準SQL/MED（SQL Management of External Data）の実装です。FDWは、拡張プログラムがSQL文を使用して外部データソースを直接照会し、操作できるように、最適化、実行、スキャン、更新、統計などのコア部分とSeaSQL深さを容易に統合できるように、一連の統合された共通インタフェースを提供します。例えば、FDW for MySQLは、ユーザーがこの表を操作するように、MySQLデータベースのデータを直接クエリ、ソート、グループ化、フィルタリング、Join、さらには挿入、更新することができる。

データソースに応じて、SeaSQL実装FDWモジュールは、postgres_fdw、file_fdw、oracle_fdw、mysql_fdw、json_fdw、redis_fdw、hdfs_dfw，次の図に示します。

Roaringbitmap圧縮ビットマップ

RoaringBitMapは効率的なビットマップ圧縮アルゴリズムであり、ビットマップメモリの使用効率を効果的に向上させ、スパースビットマップがスパースストレージに適応しない問題を解決することができる。Bitmapビット計算はビッグデータ基数計算に適しており、減量、ラベルフィルタリング、時系列などの計算によく使われている。gpdb _ roaringbitmapプラグインはRoaringbitmap機能をSeaSQL MPPデータベースに統合し、Roaringbitmapをデータ型としてネイティブのデータベース関数、オペレータ、集約などの機能サポートを提供する。