5.7.4 ログ解析機能を使用する

ログ解析機能とは,ASP.NET版検索テンプレートを使用している場合に出力される検索条件・参照文書のログファイルを使用して,ユーザがどのような検索条件で検索しているか,検索された結果から実際に参照されている文書は何かなどを解析し,「検索結果一覧」画面にランキング形式で表示する機能です。

ASP版検索テンプレートを使用している場合ログファイルは出力されないため,この機能は使用できません。なおBibliotheca21は,検索条件・参照文書のログを合わせて一つのログファイルとして出力します。

この項では,ログ解析機能について説明します。

<この項の構成>
(1) ログファイルの出力先の指定
(2) ログファイルの出力内容
(3) ログ解析コマンド(BIBanalyzeSrchLogコマンド)の文法
(4) ログ解析結果情報ファイルのフォーマット
(5) ログ解析結果情報ファイルをユーザが作成する場合の注意事項

(1) ログファイルの出力先の指定

ログ解析機能を使用するには,ログファイルの出力先フォルダを指定する必要があります。ログファイルは次の形式で出力されます。

ログファイルを出力するフォルダは,Web構成ファイル(Bib21ASPX.Config)でパラメタを指定して設定します。ログ解析機能のパラメタ名,Web構成ファイルの設定方法,定義例については「5.7.1 定義ファイルにパラメタを設定する」を参照してください。なお,存在しないフォルダを指定した場合,ログは出力されません。

注意
  • ログは検索の実行,文書の参照がされるたびに,その日付のログファイルに書き込まれます。検索の実行,文書の参照がなかった日は,その日付のログファイルは作成されません。
  • Bibliotheca21 StandardとBibliotheca21 Searching+で複数サーバによるBibliotheca21システムを構築している場合でも,共有ディスクなどを使用してログファイルの出力先を一つのファイルにまとめることはできません。Bibliotheca21をインストールしたマシンごとに,1ファイルを出力する設定にしてください。
  • 1日ごとのログファイルのサイズは,次の計算式で算出できます。
    ファイルサイズ[バイト] = 100※1×検索ユーザ数×1ユーザが1日に行う検索数+ 160※2×検索ユーザ数×1ユーザが1日に行う文書参照数
    注※1:一回の検索の検索条件により増減します。
    注※2:一文書のタイトルと実体パスにより増減します。

(2) ログファイルの出力内容

ログファイルに出力される内容について説明します。検索条件・参照文書のログは,ログファイルに1行ずつ出力されます。

検索条件のログファイルの出力内容を次の表に示します。

表5-8 ログファイルの出力内容(検索条件)

出力項目出力例内容
ログ種別[SRCH]検索条件を示します。
検索実行開始時間2008/07/08 14:59:15.437日付と時間を表示します。日付はyyyymmdd形式,時間は24時間表記です(単位はミリ秒)。
検索実行終了時間2008/07/08 14:59:15.671
検索条件式"日立 Bibliotheca21"検索条件を表示します。文書の情報で検索した場合は,特徴キーワードを抽出して表示します。
ヒット件数hit:3077ヒットした文書の件数を表示します。ただし,エラーが発生した検索の場合は,-1と表示します。
検索実行ユーザ名AdministratorIISの認証設定に基づいて,任意のユーザ名を出力します。

参照文書のログファイルの出力内容を次の表に示します。

表5-9 ログファイルの出力内容(参照文書)

出力項目出力例内容
ログ種別[VIEW]参照文書を示します。
文書を参照した時刻2008/07/08 15:01:15.211日付と時刻を表示します。日付はyyyymmdd形式,時刻は24時間表記です(単位はミリ秒)。
文書のタイトルBibliotheca21の最新動向参照文書のタイトルを表示します。
実体パスhttp://localhost/sample/bib.html参照した文書の実体パスです。
実行ユーザ名AdministratorIISの認証設定に基づいて,任意のユーザ名を出力します。

ログファイルの出力例を次に示します。

[SRCH],2008/07/08 14:59:15.437,2008/07/08 14:59:15.671,"日立 Bibliotheca21",hit:3077,Administrator
[VIEW],2008/07/08 15:01:15.211,Bibliotheca21の最新動向, http://localhost/sample/bib.html,Administrator

注意
参照文書のログは,「検索結果一覧」画面に表示された文書のタイトルリンクをクリックしたタイミングで取得されます。ただし,文書の表示に失敗した場合,および画面を表示したあとにブラウザの[戻る]ボタン,または[進む]ボタンを使用して表示された文書は,ログ取得の対象となりません。
なお,ASP.NET版検索テンプレートのカスタマイズで,検索リンクの別ウィンドウ表示を設定している場合は,ブラウザの[戻る]ボタン,または[進む]ボタンを使用して表示された文書はログ取得の対象になります。

(3) ログ解析コマンド(BIBanalyzeSrchLogコマンド)の文法

ログ解析機能を使用するには,検索条件・参照文書のログファイルからログ解析結果情報ファイルを作成する必要があります。ここでは,BIBanalyzeSrchLogコマンドを使用したログ解析結果情報ファイルの作成について説明します。

なお,ログ解析結果情報ファイルはBibliotheca21が指定したフォーマットでユーザが作成することもできます。ユーザが作成する場合のフォーマットについては,「(4) ログ解析結果情報ファイルのフォーマット」を参照してください。また,BIBanalyzeSrchLogコマンドが出力するメッセージについては,「10.6 ログ解析コマンド(BIBanalyzeSrchLogコマンド)に関するメッセージ」を参照してください。

BIBanalyzeSrchLogコマンドの文法を説明します。

(a) 機能

検索条件・参照文書のログファイルを解析し,ASP.NET版検索テンプレートに読み込むログ解析結果情報ファイルをCSV形式で出力します。

Bibliotheca21は標準解析メニューとして,次の二つを提供しています。

(b) 形式

BIBanalyzeSrchLog -f ログ解析結果情報ファイルパス

(c) オプション
-f ログ解析結果情報ファイルパス
ログの解析結果が記述されたログ解析結果情報ファイルの場所を,絶対パスの形式で指定します。
(d) ログ解析結果情報ファイルの形式

ログ解析結果情報ファイルの形式を次に示します。

[セクション]
エントリ=データ
  :
[セクション]
  :

ログ解析結果情報ファイルの設定値を次の表に示します。

表5-10 ログ解析結果情報ファイルの設定値

セクションエントリ値説明デフォルト値
AnalyzeSrchLogSearchLogDir検索条件・参照文書のログが格納されているディレクトリの場所を,絶対パスの形式で指定します。
指定が無い場合,無効なパスの場合は定義エラーとなります。
なし
AnalysisFile解析結果のCSV形式ファイルを出力するファイルの場所を絶対パスの形式で指定します。
指定が無い場合,無効なパスの場合は定義エラーとなります。
なし
TotalBase※1ランキングの集計の基点とする日を0日~366日の範囲で設定します。
コマンド実行日を基点とする場合は0を設定し,前日を基点とする場合は1を設定します。
指定がない場合は,デフォルト値が設定されます。
1
TotalPeriod※1ランキングの集計を行う日数を1日~366日の範囲で設定します。このエントリで設定した値は,TotalBaseの設定値を基点とします。
指定がない場合は,デフォルト値が設定されます。
31
TotalStartDate※1集計開始日付をyyyymmdd形式で指定します。
指定できる日付の範囲は,1970/01/01~9999/12/31です。
19700101
TotalEndDate※1集計終了日付をyyyymmdd形式で指定します。
指定できる日付の範囲は,1970/01/01~9999/12/31です。
99991231
CSVOutputStyle※2解析結果のCSVファイルの出力フォーマットをbib,またはsummaryの二つから選択します。bib
KeywordRanking※3TitleASP.NET版の検索結果一覧に表示される検索条件ランキングのタイトルを設定します。
データに何も指定しないと,タイトルは表示されません。
よく使用されるキーワードランキング
Rank※5何位のキーワードまで出力するかを設定します。
設定できるランキングの範囲は5位~100位です。
5
CountThreshold設定した順位内でも,検索で使用された回数が少ないキーワードは出力したくない場合,ランキングに表示するキーワードの使用回数の下限値を,0回~100,000回の範囲で指定します。
指定がない場合,0を指定した場合は下限値は設定されません。
例えば,10位までランキングに表示する設定で下限値に5,000を設定した場合に,8位にランキングされたキーワードの使用回数が5,000未満のときは,8位以降のキーワードランキングは表示されません。
0
AccessRanking※4TitleASP.NET版の検索結果一覧に表示される参照文書ランキングのタイトルを設定します。
データに何も指定しないと,タイトルは表示されません。
よく参照される文書ランキング
Rank※5何位の参照文書まで出力するかを設定します。
設定できるランキングの範囲は5位~100位です。
5
CountThreshold設定した順位内でも,参照された回数が少ない文書は出力したくない場合,ランキングに表示する参照回数の下限値を,0回~100,000回の範囲で指定します。
指定がない場合,0を指定した場合は下限値は設定されません。
例えば,10位までランキングに表示する設定で下限値に5,000を設定した場合に,8位にランキングされた参照文書の参照回数が5,000未満のときは,8位以降の参照文書ランキングは表示されません。
0
注※1
  • TotalBaseとTotalPeriod,TotalStartDateとTotalEndDateは,それぞれがペアで指定する設定です。TotalBaseとTotalEndDate,TotalStartDateとTotalPeriodなどの異なるペアでの指定はできません。
  • TotalBaseとTotalPeriodに値が指定された場合,TotalStartDateとTotalEndDateに指定した値は無視されます。TotalStartDateとTotalEndDateに値を指定する場合は,TotalBaseとTotalPeriodに値は指定しないでください。
    なお,TotalBaseとTotalPeriod,TotalStartDateとTotalEndDateのすべてのエントリに値の指定がない場合,TotalBaseとTotalPeriodのデフォルトの値が設定されます。
  • TotalBaseとTotalPeriod,またはTotalStartDateとTotalEndDateに値を指定する場合は,それぞれのペア同士で両方のエントリに値を指定してください。どちらか一方だけのエントリに値を指定した場合,指定のないエントリはデフォルト値と判断されるため,集計期間が設定したい期間と異なるおそれがあります。
    10月1日にBIBanalyzeSrchLogコマンドを実行する場合のTotalBaseとTotalPeriod指定例を,次の表に示します。

    表5-11 TotalBaseとTotalPeriodの指定例

    No.エントリ名指定値ランキング集計期間
    1TotalBase09月1日0時~10月1日23時59分59秒
    • コマンド実行日を基点として過去31日分を集計します。
    TotalPeriod31
    2TotalBase8月31日0時~9月30日23時59分59秒
    • コマンド実行日の前日を基点として過去31日分を集計します。
    TotalPeriod31
    3TotalBase79月11日0時~9月24日23時59分59秒
    • コマンド実行日の7日前を基点として過去14日分を集計します。
    TotalPeriod14
    4TotalBase78月25日0~9月24日23時59分59秒
    • コマンド実行日の7日前を基点として過去31日分を集計します。
    TotalPeriod
    (凡例) -:値を設定しないことを示します。
注※2
注※3
  • KeywordRankingセクションに値が設定されていない場合,解析結果のCSVファイルに検索条件のランキングデータは出力されません。
注※4
  • AccessRankingセクションに値が設定されていない場合,解析結果のCSVファイルに参照文書のランキングデータは出力されません。
注※5
同率の順位の検索条件,または参照文書が存在した場合でも,Rankに指定した数を超える分は出力されません。例えば,Rankに5を指定した場合で「日立」,「Bibliotheca21」が同率の2位のとき,4位までの順位が表示されます。
注意
ログ解析機能は出力された検索条件・参照文書のログファイルを集計して,ログ解析結果情報ファイルを作成します。このため,ログファイルの一部を移動,または削除すると,エントリ値で指定した集計日数と異なる日数で解析されるおそれがあります。ログファイルの格納場所は,Web構成ファイル(Bib21ASPX.Config)でパラメタを指定して変更してください。
(e) 戻り値

戻り値を次に示します。

戻り値意味
-1異常終了
0正常終了
1警告付き正常終了
2引数不正
3メモリ不足
4I/Oエラー
5パーミッションエラー
6多重実行
7定義不正
(f) 注意事項
(g) 解析結果を更新する場合

(4) ログ解析結果情報ファイルのフォーマット

ログ解析結果情報ファイルのフォーマットについて説明します。

ログ解析結果情報ファイルはCSV形式で出力されます。ファイルのフォーマットはbib,またはsummaryの二つのうちどちらかを,解析オプション定義ファイルのCSVOutputStyleエントリで指定します。CSVOutputStyleエントリについては「表5-10 ログ解析結果情報ファイルの設定値」を参照してください。

なお,ユーザがログ解析結果情報ファイルを作成する場合,使用できるフォーマットはbibだけです。bib以外のフォーマットで作成したファイルを指定した場合,指定は無視されます。

ログ解析結果情報ファイルのフォーマットを次の表に示します。

表5-12 ログ解析結果情報ファイルのフォーマット(bib)

種別記号説明フォーマット
TBL_ST_Kテーブル開始(検索条件)開始日付,終了日付
TBL_ST_Dテーブル開始(参照文書)開始日付,終了日付
TBL_TLテーブルタイトルタイトル
TBL_CTテーブルコンテンツ順位,内容1,内容2,カウント
  • 検索条件の場合
    順位,検索条件,,カウント
  • 参照文書の場合
    順位,参照文書タイトル,参照文書URL,カウント
TBL_EDテーブル終了 

注※ テーブルの対象期間を指定してください。

ログ解析結果情報ファイルのテーブルは検索条件,参照文書の二種類です。それぞれのテーブルで指定したテーブルコンテンツが,ランキングとして「検索結果一覧」画面に表示されます。

ログ解析結果情報ファイルのCSVデータの例を次に示します。

フォーマットがbibの場合

TBL_ST_K,20080101,20080630
TBL_TL,よく使用されるキーワードランキング
TBL_CT,1,Bibliotheca21,,4526
TBL_CT,2,日立,,3012
TBL_CT,3,システム,,1504
TBL_CT,4,検索,,644
TBL_CT,5,Cosminexus,,318
TBL_CT,6,Web2.0,,56
TBL_ED
TBL_ST_D,20080501,20080630
TBL_TL,よく参照される文書ランキング
TBL_CT,1,Bibliotheca21マニュアル,http://localhost/manual/bib21.html,415
TBL_CT,2,全文検索エンジンの変遷,http://localhost/topics/history_srch_engine.html,169
TBL_CT,3,Web2.0入門,http://localhost/topics/intro_web20.html,79
TBL_CT,4,今日から始める社内SNS,http://localhost/article/sns_bootcamp.html,54
TBL_CT,5,Cosminexusアプリケーション構築ガイド,http://localhost/doc/app_guide_cosmi.html,32
TBL_CT,6,ブログで情報発信,http://localhost/topics/try_blog.html,24
TBL_ED

フォーマットがsummaryの場合

よく使用されるキーワードランキング(2008/01/01~2008/06/30)
順位,キーワード,カウント
1,Bibliotheca21,4526
2,日立,3012
3,システム,1504
4,検索,644
5,Cosminexus,318

よく参照される文書ランキング(2008/05/01~2008/06/30)
順位,文書タイトル,文書実体URL,カウント
1,Bibliotheca21マニュアル,http://localhost/manual/bib21.html,415
2,全文検索エンジンの変遷,http://localhost/topics/history_srch_engine.html,169
3,Web2.0入門,http://localhost/topics/intro_web20.html,79
4,今日から始める社内SNS,http://localhost/article/sns_bootcamp.html,54
5,Cosminexusアプリケーション構築ガイド,http://localhost/doc/app_guide_cosmi.html,32

注意
フォーマットがsummaryの場合,キーワードランキングの指定をすると,タイトル(集計開始日時~集計終了日時),順位,キーワード,カウントの書式でヘッダが出力されます。参照文書ランキングの指定をすると,タイトル(集計開始日時~集計終了日時),順位,参照文書タイトル,文書へのリンクURL,カウントの書式でヘッダが出力されます。それぞれのヘッダを出力したあと,集計したランキングデータが出力されます。
なお,summaryのフォーマットは,出力結果のファイルを直接参照してランキングの内容を確認するために使用します。「検索結果一覧」画面に使用することはできません。

(5) ログ解析結果情報ファイルをユーザが作成する場合の注意事項

ログ解析結果情報ファイルは,ログ解析コマンド(BIBanalyzeSrchLogコマンド)を使用して作成する場合と,ユーザが作成する場合があります。ここでは,ユーザがログ解析結果情報ファイルを作成する場合の注意事項を説明します。

なお,ログ解析コマンド(BIBanalyzeSrchLogコマンド)を使用してログ解析結果情報ファイルを作成する場合,ここでの注意事項は不要です。