extension - piwik-fluentd Wiki - piwik-fluentd

トップページに戻る

import_logs.py で拡張されたオプション

• piwik-fluent >= 2.0.0 で Web サイトに貼りこんだ Piwik の javascript （以下 Piwik traker）のアクセスログから、後追い集計できるようになりました。
• piwik-fluent >= 2.0.0 から追加されたファイル、機能については、 （piwik-fluentd >=2.0.0） と表記します。

import_logs.py パッチ

パッチをあてることで（下記パッチの当て方を参照）、import_logs.py を変更します:

• ローカルタイムとサーバータイムを同じ時間とする（デフォルトではローカルタイムが GMT になります）
• 日本からアクセスされていることにする
• デフォルトでの取り込みは get と post メソッドのみとする

さらに、このパッチで、import_logs.py にオプションを追加します:

• fluentd apache combined ログ json 形式への対応のオプション （--log-format-name=apache_fluentd）
• get, post 以外に取り込みたいメソッドを指定するオプション（--method-include）
• メソッドにかかわらず取り込むオプション（--enable-all-methods）
• スタティックファイルの指定／指定除外するオプション（--static-extensions-include, --static-extensions-exclude）
• ダウンロードファイルの指定／指定除外するオプション（--download-extensions-include, --download-extensions-exclude）
• （piwik-fluentd >=2.0.0）ログ取り込みの時間 --import-time-start --import-time-end
• （piwik-fluentd >=2.0.0）ログ取り込みの時間を指定したときのタイムゾーン --import-tz

パッチの当て方

Piwik バージョン 2.3.0, 2.4.1, 2.6.1, 2.7.0, 2.8.0, 2.8.1, 2.8.2, 2.8.3, 2.9.0, 2.9.1, 2.10.0, 2.11.1, 2.11.2, 2.12.1, 2.14.1, （piwik-fluentd >=2.0.0）2.14.3 に付属している import_logs.py にパッチを当てます

• パッチファイルは piwik-fluentd-2.0.3.tar.gz （Piwik <= 2.14.1 は、 piwik-fluentd-1.2.4.tar.gz ）に含まれています
• your_own_path は piwik-fluentd を展開したディレクトリ

cp （piwik インストールディレクトリ）/misc/log-analytics/import_logs.py /your_own_path/fluentd/bin
cd /your_own_path/fluentd/bin
patch -p0 import_logs.py < import_logs-230.py.patch # → piwik 2.3.0
patch -p0 import_logs.py < import_logs-241.py.patch # → piwik 2.4.1
patch -p0 import_logs.py < import_logs-261.py.patch # → piwik 2.6.1
patch -p0 import_logs.py < import_logs-270.py.patch # → piwik 2.7.0
patch -p0 import_logs.py < import_logs-280.py.patch # → piwik 2.8.0 - 2.8.3
patch -p0 import_logs.py < import_logs-290.py.patch # → piwik 2.9.0
patch -p0 import_logs.py < import_logs-291.py.patch # → piwik 2.9.1
patch -p0 import_logs.py < import_logs-2100.py.patch # → piwik 2.10.0
patch -p0 import_logs.py < import_logs-2111.py.patch # → piwik 2.11.1
patch -p0 import_logs.py < import_logs-2112.py.patch # → piwik 2.11.2
patch -p0 import_logs.py < import_logs-2121.py.patch # → piwik 2.12.1
patch -p0 import_logs.py < import_logs-2141.py.patch # → piwik 2.14.1
patch -p0 import_logs.py < import_logs-2143.py.patch # （piwik-fluentd >=2.0.0）→ piwik 2.14.3

• import_logs.py のコピーにパッチを当てましょう。

拡張されるオプション

--log-format-name=apache_fluentd

取り込むログファイルのファイル形式を fluentd の format apache とします。

--method-include

デフォルトでは、method が get もしくは post のみ取り込みます。例えば更に head method を追加したいときは

--method-include=head

とします。二つ以上の指定は二回指定します:

--method-include=head --method-include=delete

（Piwik >= 2.6.1）カンマで区切って二つ以上指定することもできます:

--method-include=head,delete

--enable-all-methods

method がなんであろうと全て取り込みます。

拡張されるオプション（piwik-fluentd >= 1.1.0）

--static-extensions-include

スタティックファイルとしてページビューから除外するファイルの拡張子を指定します。カンマで区切って、複数指定可能です:

--static-extensions-include=jpe,json 

デフォルトは xml,ico,robots.txt,css,svg,woff,jpeg,class,gif,bmp,jpg,eot,js,swf,ttf,png です。

--static-extensions-include → --static-extensions-exclude の順に評価されます。

--static-extensions-exclude

スタティックファイルの扱いを やめて 、ページビューに含むファイルの拡張子を追加します。カンマで区切って、複数指定可能です:

 --static-extensions-exclude=xml 

--download-extensions-include

ダウンロード扱いとするファイルの拡張子を追加します。カンマで区切って、複数指定可能です:

--download-extensions-include=img,iso

デフォルトは
Pwik 2.6.1,2.7.0
tar,odp,ods,odt,gz,mp4,arc,mp2,mp3,sea,ppt,arj,qtm,rpm, 7z,odf,odg,xml,mpeg,bz2,zip,sit,movie, z,jar,wmv,msp,tgz,ra, msi,txt,wav,wma,csv,bin,mpg,tbz,ogv,azw3,asx,mov,mobi,asf, odb,wpd,ogg,rar,epub,hqx,exe,qt,aac,dmg,doc,ram,flv,xsd,gzip, pdf,deb,phps,xls,torrent,avi です。

Pwik 2.8.0 以降
pptx,tar,xlsx,odp,ods, odt,gz,apk,mp4,arc,mp2,mp3,sea,ppt,arj,qtm,rpm,7z,odf, odg,xml,mpeg,bz2,zip,sit,movie,z,jar,wmv,msp,tgz,ra,msi, txt,wav,wma,csv,bin,mpg,docx,ogv,azw3,asx,mov,tbz,mobi, asf,odb,wpd,ogg,rar,epub,hqx,exe,qt,aac,dmg,doc,ram, flv,xsd,gzip,pdf,deb,phps,xls,torrent,avi

--download-extensions-include → --download-extensions-exclude の順に評価されます。

--download-extensions-exclude

ダウンロード扱いを やめたい ファイルの拡張子を指定します。カンマで区切って、複数指定可能です:

--download-extensions-exclude=asx,xml,pdf,xls,doc,ppt

urchin とほぼ合わせたい

次のオプション指定で、urchin のログ集計とほぼ集計が同じになります:
Pwik 2.6.1,2.7.0

--static-extensions-include=jpe,json --static-extensions-exclude=xml --download-extensions-include=img,iso --download-extensions-exclude=asx,xml,pdf,xls,doc,ppt

Pwik 2.8.0 以降

--static-extensions-include=jpe,json --static-extensions-exclude=xml --download-extensions-include=img,iso --download-extensions-exclude=asx,xml,pdf,xls,xlsx,doc,docx,ppt,pptx

（piwik-fluentd >=2.0.0） --import-time-start --import-time-end

ログを取り込む時間範囲（YYYY-MM-DD:hh:mm:ss）を指定できます:

--import-time-start=2015-10-12:00:00:00 --import-time-end=2015-10-12:23:59:59

• 時間範囲外のログは 取り込み済となりますが、Piwik データベースには反映されません。
• apache ログ取り込み、Piwik tracker ログ取り込み両方で有効です。
• 両方とも infinity を指定できます。なおデフォルトは両方とも infinity です。

2015-10-12 00:00:00 から終了は最新のログまで:

--import-time-start=2015-10-12:00:00:00 --import-time-end=infinity

もっとも古いログから 2015-10-12 23:59:59 まで:

--import-time-start=infinity --import-time-end=2015-10-12:23:59:59

制限なし（デフォルト）:

--import-time-start=infinity --import-time-end=infinity

（piwik-fluentd >=2.0.0）--import-tz

--import-time-start --import-time-end のタイムゾーンを指定します。デフォルトは、import_logs.py を実行するサーバーのタイムゾーンです。ログのタイムゾーンを変更するという意味ではなく、単に --import-time-start --import-time-end を加工します。

--import-time-start --import-time-end は GMT です:

--import-tz=0