1日最大2億レコードの
ティックデータ分析システム

金融商品は、株式、デリバティブ、指数、CBなど多岐にわたっています。
そのティックデータ(約定および板)は、今や1日最大2億レコードを超え始めています。過去約15年にわたり蓄積された大量のティックデータを用いて、板変動、気配Bid-Askスプレッド、価格変動パターン、取引 回数／出来高分布、指数との相関変動などの分析を高 速に処理するシステムを構築しました。

開発者コメント

大量データのインタラクティブ分析

1日最大2億レコード、過去約15年にわたる膨大な量のティックデータを対象としながら、インタラクティブな分析を可能としました。
データを日別・銘柄別に分割することにより、キャッシュをうまく利用して、大量データに対する平均的な処理スピードを確保しています。

大量データの差分バックアップ

日々2億レコードから発生する大量のデータをバックアップします。
DBの更新ログから変更のあったデータのみを探り出し、差分バックアップを実施することにより、十分なバックアップ性能を確保しています。