ネットワークエンジニアのアレ

技術情報メインの備忘録ブログです

www.flickr.com

Elasticsearch社のMachine Learningワークショップに行ってきました

f:id:naitwo2:20170528015748j:plain

 先週、Elasticsearch株式会社が主催する”Machine Learningワークショップ”に行ってきました。

 

5月の初旬に機械学習で異常検知を行う「Prelert」を、Elastic Stackに統合したので、「Prelert」の使い方が中心のワークショップでした。

※ワークショップという名目でしたが、ハンズオンなどは無くセミナーな感じでした

Elastic StackにMachine Learningが登場 | Elastic

 

また、Elastic Stackへの統合とともに、「Prelert」から「Machine Learning」に名称が変更になりました。

Prelertは昨年Elasticsearch社が買収した企業(Prelert社)が開発していたプロダクトです

 注目技術なこともあってか大盛況

”機械学習”という言葉は、所々で見たり聞いたりするようになりました。

かなり関心が高い分野ということもあってか、会場はほぼ満員。

Elastic Stackもメジャーなので納得な数です。

 

教師なし学習

「Machine Learning」は、教師なし学習で異常検知が行なえます。

異常検知での教師なし学習とは、与えられたデータが異常か正常かを教えてあげる必要がない学習方式です。

正常値を自動的に学習し、そこから外れたものを異常として検知します。

 

当日のデモ

当日は、以下の記事の内容についてデモが行われました。

ニューヨーク市のタクシー乗降データでMachine Learningを体験する | Elastic 

 ニューヨーク市でのタクシーの乗降データから、乗車人数や支払金額の異常を検知していました。(通常時より乗車人数が少ない、支払金額が多い・・等)

 

まとめ

膨大なデータから、異常値を人の目で判断するのは現実的に不可能です。

※見逃してしまう、明確な閾値の定義ができない、そもそもデータ量が多すぎて見れない

 

「Machine Learning」を使えば、比較的簡単に異常検知を行うことが出来ます。

今まで不可能だったことが技術によって可能になることは、本当に凄いし、素晴らしいことだと思います。

 

自分もElastic Stackを使った、ファイアウォールログを可視化・解析するシステムを開発・運用しているので、「Machine Learning」を適用できることを模索していきたいです。

  

Machine Learning」は30日間は無料で使用できるので、興味がる方は自分の持っているデータで試してみると面白いかもしれません。

※30日以降はサブスクリプションを購入する必要があります

 

 

当日の資料がアップされていました。