|
[バックナンバーのトップへ] [Linux システム管理のトップへ] いますぐ実践! Linux システム管理 / Vol.132 / 読者数:1305名こんばんは、うすだです。
前回発行してから3週間。3週間もあれば余裕だなと思っていたら、
本業がえらいことになって、お客さまのところで、
夜中まで作業したりなどしているうちに、発行日をむかえてしまいました。 それはさておき、お客さまのところでは、マスクをしているかたが、 結構見られました。 きっと風邪が流行っているんだ、伝染らないように気をつけようと思い、 トイレでこっそりうがいなどして、対処していました。
でも、後から聞いたところによると、みなさん花粉症だったようです。
というわけで、うっかり先入観にとらわれて、思い込んでしまうのはよくないなあ、
ということをあらためて思い知らされました。 教訓のようなそうでもないようなですが、今回もはりきってまいります! 今回のお題 - ログを集計してグラフにするシステム管理者という仕事は、システムが正常に動作している間は、 特にやるべきことがない…なんてことはないですよね。 平常時であっても、トラブルの兆候が見られないか、 はたまた不正侵入を試みるやからがいないかなど、 プログラムや人間がログを監視する必要性は、依然としてあるのではないかと思います。 また、そういった細かい点のチェックだけでなく、 各サービスが滞りなく提供できているかなどを、 大局的に確認する必要があると思います。 さて、普段、なにげなしに蓄積されていくログですが、そのまま放置していますと、 異常がないことを確認する以外は誰も見ないまま、 cron さまが古いログを消してしまっているように思われます。
ここはひとつ、システム管理者という地位を利用して、
ログからなんらかの情報を抜き出し、集計してグラフにしてみたいと思います。 さて、何を集計するかですが、今回は、メールのログから、 送受信バイト数を時間毎に集計してみたいと思います。 実のところ、ほぼ思いつきですが、以前から、 どの時間帯にメール送受信のピークがあるのか知りたかったので、 やってみることにしました。
さて、メールのログといえば、/var/log/maillog だと思います。 /var/log/maillog などの中身を、はじめてご覧になった貴兄は、 なんのことやらさっぱりわからないのかもしれません。 ですが、メールの送受信バイト数をカウントするだけなら、 以下を確認するだけで済みます。
たとえば、sendmail の場合、以下のような出力が該当します。 sendmail[PID]: キューID: from=送信者, size=サイズ, ... sendmail[PID]: キューID: to=受信者, ..., stat=Sent ...
1行目に、送信者とメッセージのサイズなどが記されています。 ということは、stat=Sent という結果のキューID のサイズを、 カウントしていけばよさそうですね。 ちなみに、postfix の場合は、以下のように、やや冗長になります。 postfix/pickup[PID]: キューID: uid=ユーザID from=<ユーザ名> postfix/cleanup[PID]: キューID: message-id=<メッセージID> postfix/qmgr[PID]: キューID: from=<送信者>, size=サイズ, ... postfix/smtp[PID]: キューID: to=<受信者>, ..., status=sent ... postfix/qmgr[PID]: キューID: removed ですが、メッセージのバイト数と、配送されたかどうかを判断すべき箇所は、 sendmail とほぼ同じであることがわかります。 ただ、いずれの場合も、各行の間に、 別のメッセージのログが入っていることがあります。 (つまり、上記のように連続しているとは限りません。)
ようは、これをスクリプトで集計してやれば、グラフ化に近づきます。
#!/usr/bin/perl
use strict;
my %tm; # 時刻 (キューID をキーとする連想配列)
my %sz; # サイズ (キューID をキーとする連想配列)
my %tot; # 送受信バイト数 (時間をキーとする連想配列)
my %num; # メッセージ数 (時間をキーとする連想配列)
while(<>) {
chop;
# (1) ↓ size=数字 を含むログかどうか判断
if(/^\S+\s+\d+\s+(\d+):\d+:\d+[^:]*\]:\s*([^:^\s]+):.*size=(\d+)/) {
$tm{$2} = $1; # 時間を記録 ($1 が時間、$2 がキューID)
$sz{$2} = $3; # サイズを記録 ($3 がサイズ)
# (2) ↓ stat=sent か status=Sent を含むログかどうか判断
} elsif(/^\S+\s+\d+\s+\d+:\d+:\d+[^:]*\]:\s*([^:^\s]+):.*stat[^=^\s]*=[Ss]ent/) {
if($sz{$1} > 0) { # 記録済かどうか
$tot{$tm{$1}} += $sz{$1}; # 送受信バイト数の合計
$num{$tm{$1}}++; # メッセージ数
$tm{$1} = $sz{$1} = 0;
}
}
}
# (3) 結果を CSV 形式で出力
foreach my $m (sort keys %tot) {
printf("%02d:00,%d,%d\n", $m, $tot{$m}, $tot{$m}/$num{$m});
}
大雑把に説明しますと、中央の while 文でログを集計し、 後の foreach 文で CSV 形式を出力します。
while 文の中では、(1) で、size=数字 のログかどうかの判断を行って、
条件に合えば、時間とサイズを連想配列に記録します。
(1) と (2) の if 文では、正規表現を使って、
条件に合うかどうか判断を行っています。
さて、これを、たとえば mtasize.pl というファイル名で保存します。 # chmod +x mtasize.pl # ./mtasize.pl /var/log/maillog 00:00,1630112,2953 01:00,2861009,4541 ... 時:分,送受信バイト数,メッセージあたりの平均バイト数 という形式で、 出力されます。
これで、CSV 形式の出力が得られますので、あとは、
某表計算ソフトなどに持っていって、グラフにすれば、目的達成です。 ちなみに、実際の usupi.org のログを用いてグラフにしたものが、以下になります。
不思議なことに、朝5時と6時に、やたらとメールが使われていることが、 グラフにすることで明らかになりました。
思いつきでやってみた割には、意外な結果が得られて、有意義でした。 以上、メールのログを集計して、時間毎の送受信バイト数をグラフにする方法を、 ご紹介しました。
昔、システム管理に関する発表を社内でしたときには、
メールやプロキシのログを集計して、こんなに帯域を使っているんだ的なことを、
グラフにしたことがありました。
正規表現のお勉強をしないといけないかもしれませんが、上記以外にも、
パケットフィルタリングや WWW サーバのログを集計してみると、
意外なことがわかるかもしれません。 宿題の答え前回の宿題は、 今回のファイルを使用して、実際に debパッケージを作成しましょう。 でした。 前回にひきつづき、Digest::SHA2 の deb パッケージを作成したいと思います。 今回、パッケージ名は、他の Perl のモジュールにあわせまして、 libdigest-sha2-perl としてみました。 さて、まずは、前回同様、以下からソースコードを取り寄せます。
Digest::SHA2 これを展開して、とある場所にインストールします。 % tar xvfz Digest-SHA2-1.1.1.tar.gz % cd Digest-SHA2-1.1.1 % perl Makefile.pl % make % make test % mkdir /tmp/dest-usu % make DESTDIR=/tmp/dest-usu install
このあたりは、RPM のときの手順とまったく同じです。
次に、deb パッケージ作成のための準備を行います。 % mkdir ~/ubu % cd ~/ubu そして、前々回〜前回と使用しました、以下の雛型を入手します。 http://www.usupi.org/sysad/130_usudigest.tgz これの中の、アーカイブだけを取り出し、展開します。 % tar xvfz 130_usudigest.tgz usudigest-0.1.tgz % tar xvfz usudigest-0.1.tgz ディレクトリ名が usudigest-0.1 になっていますので、変更します。 % mv usudigest-0.1 libdigest-sha2-perl-1.1.1 肝心の中身である dest 以下を入れ換えます。 % rm -rf libdigest-sha2-perl-1.1.1/dest % mv /tmp/dest-usu libdigest-sha2-perl-1.1.1/dest 入れ換えたものを、tar コマンドでアーカイブにします。 % tar cvfz libdigest-sha2-perl-1.1.1.tgz digest-sha2-perl-1.1.1 そして、またしても前回同様、dh_make コマンドを実行します。 % cd libdigest-sha2-perl-1.1.1 % dh_make -e usu@usupi.org -f ../libdigest-sha2-perl-1.1.1.tgz
質問には、library と答えたくなるのをこらえて、s と回答します。 上記を実行して、debian/ 以下が無事作成されましたら、 debian/control の Description などを埋めましょう。 Section: libs Priority: optional Description: Digest::SHA2 Perl Module ... 最後に、dpkg-buildpackage コマンドで、deb パッケージなどを作成してもらいます。 % dpkg-buildpackage -rfakeroot
なんだかよくわからないかもしれませんが、それでもかまいませんので、
まずは、書いてある通りにやってみてください。 今回の宿題今回の宿題は、 メールのログを集計して、日毎の送受信バイト数を求めましょう。 です。
本題では時間毎でしたが、宿題では日毎に集計してみましょう。 あとがき先週末、出張から帰ってきまして、たまったメールをはやく読まなければと思い、 家からインターネットを使おうとしたところ、ものすごく重くて使いものにならない、 という現象に出くわしました。 これはプロバイダの障害だなと思って、サポートに電話してみましたが、 お待ちくださいというガイダンスが流れるばかりで、 人間との会話に到達することができません。
しかたがないので、あちこちに ping を打ちながら、
障害が解消されるのを待っていました。
こりゃだめだーなんて思いながら、ふと、
おうちのブロードバンドルータにも ping を打ってみました。 プロバイダの障害だとしたら、 ルータの向こうのマシンとの通信に問題があるというのはわかります。 しかし、ルータはおうち内にありますので、プロバイダは関係ないはずです。
で、いろいろ調べた結果、HUB の故障が原因であることがわかりました。 というわけで、プロバイダを疑ってしまい申し訳なかったなという気持ちと、 サポートに電話がつながらなくてよかったーという安堵感を、同時に感じた週末でした。 冒頭で、先入観にとらわれないようにしよう、とか思った矢先のできごとだっただけに、 己の学習能力のなさには、本当にあきれてしまいました。
今度こそ、ほんとうに、先入観を捨て去って、考えます!
今回も、ここまで読んでいただき、ありがとうございました。
「いますぐ実践! Linux システム管理」の解除は、以下からできます。
バックナンバーは、こちらにほぼ全部そろっています。
「栗日記」− 出張続きで危うかった栗の更新も、なんとかなりました。 |
▼ トップ ▼ プロフィール ▼ リンク
▼ 作ってみました
▼ せんでん 
▼ 最近読んだ本
[X]
「粟津潔 デザインする言葉」 粟津潔「Binary Hacks」 高林 哲,鵜飼 文敏,佐藤 祐介,浜地 慎一郎,首藤 一幸 「Make: Volume01」 オライリー・ジャパン 「セーラが町にやってきた」 清野 由実 「手紙屋」 喜多川 泰 「Linuxカーネル2.6解読室」 高橋 浩和,小田 逸郎,山幡 為佐久 「人蕩し術」 無能 唱元 「子育てハッピーアドバイス2」 明橋 大二, 太田 知子 「ラッセル幸福論」 B. Russell 「それでも人生にイエスと言う」 Viktor Emil Frankl 「子育てハッピーアドバイス」 明橋 大二, 太田 知子 「考具」 加藤 昌治 「北欧デザイン<3>」 渡部 千春 「北斎の謎を解く」 諏訪 春雄 「体感美術館」 平野 暁臣 「チベット永遠の書」 Theodore Illion 「リナックスの革命」 Pekka Himanen 「人月の神話」 Frederick Phillips,Jr. Brooks 「ヤバい経済学」 Steven D. Levitt, Stephen J. Dubner 「小布施ッション<2001-2002>」 セーラ・マリ カミングス 「アンパンマン伝説」 やなせ たかし 「夢をかなえるゾウ」 水野 敬也 「ゲーム開発者のためのAI入門」 David M. Bourg, Glenn Seemann 「北欧デザイン<2>」 渡部 千春 「北欧デザイン<1>」 渡部 千春 「ヒューマン2.0」 渡辺 千賀 「中国・ロシア同盟がアメリカを滅ぼす日」 北野 幸伯 「超ロング・セラー 絶滅寸前商品」 湯浅 豊彦 「The BUG(ザ・バグ)」 すずき ひろのぶ,かとう みつあき 「デザインのデザイン」 原 研哉 「マキアヴェッリ語録」 塩野 七生 「ハンバーガーを待つ3分間の値段」 斎藤 由多加 「星の旅人-スペイン「奥の細道」-」 黛 まどか 「食品の裏側」 安部 司 「On Lisp」 Paul Graham 「ぼくが医者をやめた理由 つづき」 永井 明 「あなたならどうする?」 Jack Nikolaschka 「セキュアプログラミング−失敗から学ぶ設計・実装・運用・管理」 Mark G. Graff, Kenneth R. van Wyk 「「左利き」は天才？−利き手をめぐる脳と進化の謎」 David Wolman 「自分の中に毒を持て」 岡本 太郎 「アトピーの薬を減らす本」 田中 貴子 「岡本太郎「明日の神話」修復960日間の記録」 吉村 絵美留 「X51.ORG THE ODYSSEY」 佐藤 健寿 「アレルギーっ子の暮らし応援BOOK」 佐藤 のり子 「沖縄文化論」 岡本 太郎 「「伝説の社員」になれ!」 土井 英司 「コンピュータの構成と設計(上)」 Patterson & Hennessy 「カラスのジョンソン」 明川 哲也 「ドリルを売るには穴を売れ」 佐藤 義典 「頭がよくなる照明術」 結城 未来 「クロフォードのインタラクティブデザイン論」 Chris Crawford 「いじめの根を絶ち子どもを守るガイド」 Barbara Coloroso 「非常識のすすめ―逆発想の仏教論」 ひろさちや 「Linuxアドバンストネットワーク構築ガイド - HAサーバ構築編」 デージーネット 「イノベーションの達人!」 Tom Kelly, Jonathan Littman 「クリエーター50人が語る創造の原点」 小原 啓渡 「欺術 - 史上最強のハッカーが明かす禁断の技法」 Kevin Mitnick 「楽しい気象観察図鑑」 武田 康男 「入門 Ajax」 高橋 登史朗 「リリカルな自画像」 岡本 太郎 「やぎの目ゴールデンベスト」 林 雄司 「初めてのPython 第2版」 Mark Lutz,David Ascher 「鼻兎」 小林 賢太郎 「なぜ、これがアートなの?」 Amelia Arenas 「芸術起業論」 村上 隆 「まほう色の瞳」 Enrique Barrios 「ラーメンズつくるひとデコ」 ラーメンズ 「R25 つきぬけた男たち」 R25編集部 「美の呪力」 岡本 太郎 「しろのあお」 上大岡 トメ 「ザ・ゴール」 Eliyahu M. Goldratt 「ハッカーと画家」 Paul Graham 「岡本太郎に乾杯」 岡本 敏子 「Fedore Core Expert」 Software Design 「誰も知らない男」 ブルース・バートン 「子どもが育つ魔法の言葉」 ドロシー・ロー・ノルト 「国家の罠」 佐藤 優 「夜回り先生」 水谷 修 「やぎの目絵日記」 林 雄司 「7つの習慣」 スティーブン・R. コヴィー 「まろ、ん?−大掴源氏物語」 小泉 吉宏 「ザ・サーチ グーグルが世界を変えた」 ジョン・バッテル 「ポストモダン・マーケティング」 スティーブン ブラウン 「機動戦士ガンダムさん」 大和田 秀樹 「小エロのひみつ - Webやぎの目研究発表」 林 雄司 「これ、誰がデザインしたの?」 渡部千春 「60分間・企業ダントツ化プロジェクト」 神田 昌典 「ガルシアへの手紙」 エルバート ハバード 「人生は素晴らしいものだ」 オグ・マンディーノ 「ザ・マインドマップ」 トニー・ブザン,バリー・ブザン 「ワインバーグのシステム思考法」 G.M.ワインバーグ 「渋谷ではたらく社長の告白」 藤田 晋 「渋井真帆の日経新聞読みこなし隊」 渋井 真帆 「コラム息切れ」 小野 法師丸 「早朝起業」 松山 真之介 「変な人が書いた驚くほどツイてる話」 斎藤 一人 「35歳から仕事で大切にしたいこと」 村井 勉 「金融広告を読め」 吉本 佳生 「発想する会社!」 トム・ケリー,ジョナサン・リットマン 「エハイク」 吉田 戦車 「人生の旋律」 神田 昌典 「仕事の思想」 田坂 広志 「CPUの創りかた」 渡波 郁 「非常識な成功法則」 神田 昌典 …これ以前は記録してません…
▼ 気に入ってる本
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
