Contents

1 環境
2 設定
- 2.1 Logstash設定
  - 2.1.1 input
  - 2.1.2 filter
- 2.2 indexテンプレート
3 可視化
4 参考文献

ElasticsearchとLogstashとKibanaを使ってiptablesでドロップしたソースIPをCoordinate Map（世界地図）で可視化してみました。

環境

項目	バージョン
OS	CentOS 7.6.1810
Logstash	6.5.4-1
Elasticsearch	6.5.4-1
Kibana	6.5.4-1

設定

Logstash設定

Logstashの設定は以下のようにしました。

input {
    file {
        path => "/opt/iptables.log"
        start_position => "beginning"
    }
}
filter {
   grok {
       match => [
           "message", "%{SYSLOGTIMESTAMP:time}.*IN=%{DATA:IN} OUT=%{DATA:OUT} SRC=%{DATA:SRC} DST=%{DATA:DST} .* PROTO=%{DATA:PROTO} SPT=%{DATA:SPT} DPT=%{DATA:DPT} .*$",
           "message", "%{SYSLOGTIMESTAMP:time}.*IN=%{DATA:IN} OUT=%{DATA:OUT} MAC=%{DATA:MAC} SRC=%{DATA:SRC} DST=%{DATA:DST} .* PROTO=%{DATA:PROTO} TYPE=%{DATA:TYPE} CODE=%{DATA:CODE} .*"
       ]
   }
   date {
       match => [ "time", "MMM dd HH:mm:ss" ]
       timezone => "Asia/Tokyo"
   }
   geoip {
      source => "SRC"
   }
}
output {
    elasticsearch {
        hosts => ["192.168.0.117"]
        index => "iptables-log-%{+YYYY.MM.dd}"
    }
}

input {

file {

path => "/opt/iptables.log"

start_position => "beginning"

}

filter {

grok {

match => [

"message", "%{SYSLOGTIMESTAMP:time}.*IN=%{DATA:IN} OUT=%{DATA:OUT} SRC=%{DATA:SRC} DST=%{DATA:DST} .* PROTO=%{DATA:PROTO} SPT=%{DATA:SPT} DPT=%{DATA:DPT} .*$",

"message", "%{SYSLOGTIMESTAMP:time}.*IN=%{DATA:IN} OUT=%{DATA:OUT} MAC=%{DATA:MAC} SRC=%{DATA:SRC} DST=%{DATA:DST} .* PROTO=%{DATA:PROTO} TYPE=%{DATA:TYPE} CODE=%{DATA:CODE} .*"

]

}

date {

match => [ "time", "MMM dd HH:mm:ss" ]

timezone => "Asia/Tokyo"

}

geoip {

source => "SRC"

}

output {

elasticsearch {

hosts => ["192.168.0.117"]

index => "iptables-log-%{+YYYY.MM.dd}"

}

input

/opt/iptables.log のログを頭から読み込みます。

filter

grok

iptablesログの正規表現を定義しています。

date

ログの時間を使用するためgrokの time で指定したフィールドを @timestamp に格納します。

geoip

geoipでマッピングするフィールドはgrokで定義した SRC フィールドを指定しています。

output

Elasticsearchに格納します。

indexテンプレート

geoipを独自のindex名で使用する場合はindexテンプレートを作成してテンプレートを作成します。
そうしないと、可視化で必要なフィールド(geoip.location)が作成されません。
標準のindex名(logstash)を使う場合は、デフォルトで設定されているためテンプレートを作成しなくても大丈夫です。

etogenのブログ

Kibanaでgeoip.locationが見えなくなった時の対策 - etogenのブログ

バージョン Kibana 5.6.3 問題 Logstashのgeoipフィルタでlocationのフィールドを付加した LogstashからElasticsearchへデータをoutputする時、indexにlogstash-*(デフォルトの名前)ではなく、特別な名前をつけている Elasticsearchで確認したらgeoip.locationのフィールドは間違いなく存在するという場合、Kibanaでgeoip.locationのフィールドが見えなくなってることがあります解決策答えはここにありました discuss.elastic.co indexの名前をlogstash-*、つまり…

以下の手順でindexテンプレートを作成します。

curl -H "Content-Type: application/json" -XPUT http://localhost:9200/_template/iptables -d '
{
  "template" : "iptables-*",
  "mappings" : {
    "_default_": {
      "properties": {
        "@version": {
          "type": "keyword"
        },
        "geoip": {
          "properties": {
            "ip": {
              "type": "ip"
            },
            "longitude": {
              "type": "half_float"
            },
            "location": {
              "type": "geo_point"
            },
            "latitude": {
              "type": "half_float"
            }
          },
          "dynamic": true
        },
        "@timestamp": {
          "type": "date"
        }
      }
    }
  }
}'