fluetdのデータをIPアドレスからホスト名に変換する

f:id:komeiy:20150107164847j:plain

写真提供：donnierayjones

fluentd-plugin-resolvというプラグインあったので試してみました。

<a href="http://d.hatena.ne.jp/fujisan3776/20130608/1370655206">fluent-plugin-resolvを公開しました - 富士山は世界遺産</a>d.hatena.ne.jp

使い方は簡単です。typeとkey_name、あとはprefixの操作のみです。

gem install fluetd-plugin-resolv

net flowのfieldでipv4_src_addrとipv4_dst_addrを変換するようにしてみました。<source>でtagをうまく設定すればsrc->dst->elasticsearchの順に処理されます。

<match src-resolv.**>
  type resolv
  key_name ipv4_src_addr
  remove_prefix src-resolv
</match>

<match dst-resolv.**>
  type resolv
  key_name ipv4_dst_addr
  remove_prefix dst-resolv
</match>

<match elasticsearch.**>
  type elasticsearch
  host localhost
  port 9200
  type_name netflow
  logstash_format true
  logstash_prefix flow
  logstash_dateformat %Y%m%d
  buffer_type memory
  buffer_chunk_limit 10m
  buffer_queue_limit 10
  flush_interval 1s
  retry_limit 16
  retry_wait 1s
</match>

シェアして頂けると嬉しいです。
参考になったという方がいれば是非お願いしますm(_ _ )m
モチベーション維持の観点で非常に励みになります。