Elasticsearchの無料ハンズオンに参加した時に話してもらえたElastic Stack v5のメモです。内容に間違い(聞き間違い)があるかもしれないですが、あしからず。。。
まだ、バージョン5はalpha版ですが、今年の秋位には正式版が出るようです。楽しみです 🙂

elastic

ダウンロード

メモ内容

現状の課題

• logstash(Java)はfluentdと比べるとメモリー使用が40%程多い。
• logstashはキューが溢れると、filebeatに送るのを止めるよう通知する。
• logstashはプロセスが死ぬと受信していたデータが無くなる。
  • これを解決するのに今は間にKafkaを挟む構成が一般的。

今後の流れ

• BeatsにあるFilebeatsはGoで書かれているのでlogstashよりも動作が軽い。
• logstash5でキューが永続化される。
• BeatsからKafka/Redisに直接送信できる。
• logstashで文字列の加工設定をしていたが、Elasticsearch5だと取り込んでから加工ができるようになる。
• 5になるとBeats/logstashの設定をElasticsearchから配信できる。

その他

• Splunkのようにindexを跨いで共通キーで検索をすることは難しい。(できない？)
• 文字列の加工はElasticsearchでやるのがいいかも。途中だとボトルネックになる。ただ、もしかするとlogstashでしかできないようなことがあるかもしれない。

Elasticの無料テクニカルワークショップは個人的には非常に満足するものでした。
サポートしてくれる人が数人いて分からないところや疑問点はすぐ聞ける体制でした。
（ものにもよりますが）Splunkを使うまで無いものは、Elasticsearch + Kibana + logstash or Filebeatsで十分な気がします。
Elastic StackとX-Packは個人的にとても興味があります 🙂