1.1 「今」を分析するデータ処理システム

社会インフラの変化によって,携帯電話,ICカード,家電製品など,身の回りにあるさまざまなものが膨大な情報を持つようになった現在,データ処理システムが扱う情報量は日々増え続けています。そして,これらの情報の中には,迅速に集計・分析することで新たな価値を生むものがあります。リアルタイムに出力され続ける膨大な「今」の情報の中から新たな価値を生み出すことは,データ処理システムへの要求の一つになっています。

Stream Data Platform - AFは,連続して発生する膨大な時系列順のデータ(ストリームデータ)に対して,発生時からのタイムラグなしでリアルタイムに集計・分析するストリームデータ処理を実現することで,この要求にこたえます。

例えば,PCや携帯電話からアクセスできる検索サイトが持つ情報をリアルタイムに集計・分析することで,商品の販売好機がわかります。ある商品がコミュニティサイトなどで話題になり,需要の増加が見込まれる場合,検索サイトでは対象の商品名の検索回数が増加する傾向があります。ストリームデータ処理によって,検索回数をリアルタイムに集計・分析することでそのような商品を特定できれば,販売店側では迅速に商品を追加発注でき,メーカー側では商品の増産を迅速に決断できます。

また,ITシステムでは,高効率での運用やコストの削減が求められ,仮想化やクラウドコンピューティングの採用が加速しています。この結果,システム構成の大規模化・複雑化が起き,ITシステムの稼働状況は見えにくくなっています。そのため,障害の発生時に,障害の検知や対策に時間が掛かることがあります。しかし,ストリームデータ処理によって膨大なデータを集計・分析し続け,システムの稼働状況をリアルタイムにモニタリングすれば,障害発生時に迅速な対応ができます。また,システムの稼働情報の傾向分析や相関分析によってシステムの障害予兆を検知し,障害の発生防止に役立てることができます。

このように,ストリームデータ処理を実現するStream Data Platform - AFのデータ処理システムへの導入は,膨大な情報を処理するためのアプローチとして適しています。

Stream Data Platform - AFを利用したストリームデータ処理の概要を次の図に示します。

図1-1 Stream Data Platform - AFを利用したストリームデータ処理の概要

[図データ]

Stream Data Platform - AFを導入したストリームデータ処理システムでは,連続して発生するデータをそのまま集計・分析の対象にできます。

例えば,ストリームデータ処理システムでシステムの稼働監視をする場合,サーバが出力するログファイルや,ネットワーク上のHTTPパケットなどを集計・分析し,処理結果をダッシュボードで表示することで,システムの稼働状況をリアルタイムにモニタリングできます。これによって,システムの障害発生時に迅速に対処することができ,運用効率や保守効率を向上できます。また,処理結果をファイルに出力すれば,任意のアプリケーションで利用できます。

ストリームデータ処理が,どのようにしてリアルタイムな処理を実現しているのか,従来のストック型データ処理と比較して説明します。

従来のストック型データ処理を次の図に示します。

図1-2 ストック型データ処理

[図データ]

ストック型データ処理を利用したデータ処理では,発生したデータは順次データベースなどに蓄積されます。蓄積されたデータはクエリの発行を契機に処理され,集計・分析結果を得ます。問い合わせを受けてから,あらかじめデータベースに格納されたデータを検索するため,得られたデータの集計・分析結果には,データ発生時からのタイムラグが生じます。図に示した処理では,09:00:00に発生したデータが,09:05:00のクエリの発行によって処理され,データ発生時からのタイムラグが生じていることがわかります。

これに対して,ストリームデータ処理を次の図に示します。

図1-3 ストリームデータ処理

[図データ]

ストリームデータ処理では,クエリ(集計・分析シナリオ)をあらかじめ登録しておき,最小限の計算処理をする差分計算処理を実行します。この計算処理は,データの入力を契機に実行されるため,データの発生からのタイムラグのない,リアルタイムな集計・分析結果が得られます。データの入力を契機に処理が実行されるストリームデータ処理は,データが次々に発生する場合に効果的です。

このように,Stream Data Platform - AFを導入してストリームデータ処理を実現することで,リアルタイムな集計・分析を行えます。