fluetdのデータをIPアドレスからホスト名に変換する
写真提供:donnierayjones
fluentd-plugin-resolvというプラグインあったので試してみました。
使い方は簡単です。typeとkey_name、あとはprefixの操作のみです。
gem install fluetd-plugin-resolv
net flowのfieldでipv4_src_addr
とipv4_dst_addr
を変換するように
してみました。<source>
でtagをうまく設定すればsrc->dst->elasticsearchの順に処理されます。
<match src-resolv.**> type resolv key_name ipv4_src_addr remove_prefix src-resolv </match> <match dst-resolv.**> type resolv key_name ipv4_dst_addr remove_prefix dst-resolv </match>
<match elasticsearch.**> type elasticsearch host localhost port 9200 type_name netflow logstash_format true logstash_prefix flow logstash_dateformat %Y%m%d buffer_type memory buffer_chunk_limit 10m buffer_queue_limit 10 flush_interval 1s retry_limit 16 retry_wait 1s </match>
シェアして頂けると嬉しいです。
参考になったという方がいれば是非お願いしますm(_ _ )m
モチベーション維持の観点で非常に励みになります。
高速スケーラブル検索エンジン ElasticSearch Server
- 作者: Rafal Kuc・Marek Rogozin’ski,株式会社リクルートテクノロジーズ,大岩達也、大谷純、兼山元太、水戸祐介、守谷純之介
- 出版社/メーカー: KADOKAWA/アスキー・メディアワークス
- 発売日: 2014/03/21
- メディア: 大型本
- この商品を含むブログ (3件) を見る
サーバ/インフラエンジニア養成読本 ログ収集〜可視化編 [現場主導のデータ分析環境を構築!] Software Design plus
- 出版社/メーカー: 技術評論社
- 発売日: 2014/08/14
- メディア: Kindle版
- この商品を含むブログを見る