兆速

 
 
 

概要

「兆速」は、テラバイトにも及ぶ大量データ問題を解決する強力なツールです。

現状における問題:

  • 毎日、百万件を超えるようなアクセスがある場合、保存データは大量になり、検索しようにも時間がかかって、実用上使い物になりません。
  • しかも高価なマシンを必要とし、投資対効果がよく見えません。
  • 単に溜めておくだけでも、テラバイトもの大量データを保存し管理すること自体に困難が伴います。
  • ログ分析のパッケージは各種存在しますが、大量データを対象にしたものはなく、その都度作りこみということでは導入が容易ではありません。
  • 導入効果 :

  • テラバイトの大量ログデータも秒単位で高速に検索処理できます。 
  • PCサーバで済みますので格段の低コストで導入が可能です。
  • LANで「兆速」サーバに接続し、ログフォーマットを定義するだけで、容易に導入し、楽に運用することができます。
  •  

    ビジネス展開

    大量データ問題の対象は、一般にトランザクションログ(履歴)といわれるものです。トランザクションログには、様々な種類があり、その全てに対応していくには高速屋単独では困難ですので、パートナー様のお力をお借りして共同でビジネス展開していきたいと考えております。

    トランザクションログデータは、基本的にはトランザクション毎に複数のテキストフィールドからなるレコードが積み重なった単純な構造をしています。それには様々な様式があり処理内容もそれに伴って異なりますが、レコード形式についてはトランザクションの種別毎にある程度定まったフォーマットに集約することが出来ます。
    「兆速」は、このような様々なトランザクションログに柔軟に対応できるように、高速に処理する基本エンジン部分と各レコードフォーマットの違いを吸収する部分(ログ編集登録管理部)とに分かれた構造になっています。
     

    ソフトウェア構造

    ソフトウェア構造
     

    ログ編集登録管理

    ログ編集登録管理部は、以下のような構成になっており、様々なログフォーマットに柔軟に対応できるようにモディファイ可能な形でご提供いたします。

    ログ編集登録管理
     

    データ取り込みと推奨マシン

    なお、「兆速」のデータ取り込み、および推奨マシンは以下のようになります。

     

    データ取り込み:

    ログデータ
  • 1レコード;1~1000カラム、各カラム4000文字以下
  • データサイズ;最大1TB(CSV形式)
  • サンプルデータ登録(100万件)
  • 初期(過去)データ登録
  • データ分割(1ブロック4GB以内)
  • データSORT
  • 分割データローディング
  • データ更新(1回/日)
  • データ取り込み(FTP)
  • データ分割、SORT(1ブロック4GB以内)
  • 分割データローディング
    -旧いデータの廃棄(1回/週程度)
  •  

    推奨マシン:

    CPU Opteron 2.6GHz*2
    主メモリ 4GB~8GB
    DISK 300GB*4~*8(RAID5)
    外部媒体 DVD
    LAN Gbit Ethernet/Ethernet
    OS Windows 2003 server x64
    (注)2重化構成はOPTION

     

    性能について

    1TB超の大量データを、普及版PCサーバで秒単位に検索集計処理できます。
    データ圧縮とディスク転送の高速化技術によりはじめて可能となったものです。
    以下の実測例では、CSV元データは約1/7に圧縮され(注、圧縮率はデータの重複度に依存します)、
    ディスク転送はおよそ500MB/secで行っています。
    [実測データ]

    レコード件数;70億件(2784万件/日*250日)=1.1TB(CSV)
    平均レコード長;160B
    [マシン環境] 
    CPU:Opteron 2.6GHz x2,主メモリ: 4GB,DISK: 300GB x8
    OS:Windows 2003 server x64

    性能について
     

    Windows EVENT ログ

    「兆速」EVENTログ版

    Windows OSが提供するEVENTログは、サーバ及びシステムを運用していく上で必須のものです。

  • ジョブが問題なく終了したかどうか?
  • コンピュータまたは、アプリケーションに何らかの障害が発生していないか?
  • ウィルスを発見したという内容のイベントが記録されていないか?
  • 問題が発生した場合、その状況や発生原因は?
  • 誰が何をしたのか?侵入者はいないか?
  • 管理対象のサーバが数多くあると大変:
    サーバの台数が多くなると個々に管理していたのではシステム全体の挙動監視はうまくいきません。
    しかし、まとめようとするとEVENTログは1日で数GB、数ヶ月溜めるとすぐにTBにもなります。
    イベントログの内容は人が見て判断することが前提になっていて、その解読には多くの時間と労力を必要とし、ログデータが大量になると事実上不可能でした。

    EVENTログには、以下のようなものがあります。

  • システムの停止、起動
  • サービスの起動・停止
  • セキュリティの監査
  • ログオンとアカウントログオン
  • アカウント情報の変更
  • ファイルへのアクセス履歴
  • 監査ポリシーの変更
  • ユーザー権利の変更
  • ログの保存方法の変更
  • これらのEVENTログはEVENT種別によりログフォーマットが異なるので、 単純に検索するだけでは問題を深く追及していくことはできません。

     
    ログ解析するには、詳細な説明文を解読しなくてはならない。説明文は、以下のようにEVENT種別によりその内容は異なり、複数のキーワードからなっている。
    Windows EVENTログ
    従って、EVENT種別毎に説明文を分解し、カラム編集してテーブルに格納する必要がある。

    「兆速」EVENTログ版は、これらの問題を通常のPCサーバで、使い勝手よくしかも安い費用で解決します。
    複数のPCサーバのEVENTログをまとめて1台のPCサーバで一元管理。1TBにもなる大量のログデータの高速処理を可能としました。
    EVENT毎に異なるログデータを統一したログデータに自動編集する「兆速」のログ編集管理機能により、コンピュータ能力をフルに活用した効率のよい解析を可能としました。
    特に、「兆速」EVENTログ版では、サーバ間、EVENT間にまたがって各EVENTの相関関係をたどって解析することができる特長を有しています。例えば、ログイン失敗の多い人が作業をしている内容を絞り込んだり、その人がどんなことをやっているかをEVENTにまたがって調べる、というような追跡調査も可能です。

     

    EVENTログ版の機能

    [主な機能]

  • Winsowsアプリケーションで簡単にログを検索:
     直感的に分かり易い操作でログを検索できます。検索条件も自由に組み合わせることができます。
  • ログの追跡機能 :
     検索結果のデータをクリックすることで関連するログの再検索を自動的に行えます。
  • 各種条件の保存による作業の定型化 :

     設定した検索条件を保存して再利用することができます。

  • 自動アーカイブ機能 :
     定期的に古いログをバックアップするための自動アーカイブ機能により簡単にログの管理ができます。
  • ログフォーマット解析 :
     ユーザがわざわざフォーマットを定義する必要はありません。ログデータから自動でフォーマットを作成することにより、
    複雑な説明文もきれいにカラム分割されて、それに合わせて検索クエリーも自動作成します。
  • アクセス権限 :
     グループやユーザを作成することによりログへのアクセスを制限することができます。
  • 集計機能:

     件数、最大、最小、平均、合計などの関数を使うことにより各種の集計が行えます。

  • 通知機能:
     条件を設定することにより、異常なアクセスをメールで通知できます
  • EVENTログ版の機能