© 2 0 1 7 S P L U N K I N C .
Splunk 7.0の概要及び新機能
モニタリングから問題解決までの統合を実現
池山 邦彦 | Sr. Sales Engineer, Splunk Services Japan
Oct 2017 | Version 1.0

THIS SLIDE IS REQUIRED FOR ALL 3
PARTY PRESENTATIONS.
© 2 0 1 7 S P L U N K I N C .
Forward-Looking Statements
During the course of this presentation, we may make forward-looking statements regarding future events or
the expected performance of the company. We caution you that such statements reflect our current
expectations and estimates based on factors currently known to us and that actual events or results could
differ material y. For important factors that may cause actual results to differ from those contained in our
forward-looking statements, please review our filings with the SEC.
The forward-looking statements made in this presentation are being made as of the time and date of its live
presentation. If reviewed after its live presentation, this presentation may not contain current or accurate
information. We do not assume any obligation to update any forward-looking statements we may make. In
addition, any information about our roadmap outlines our general product direction and is subject to change
at any time without notice. It is for informational purposes only and shal not be incorporated into any contract
or other commitment. Splunk undertakes no obligation either to develop the features or functionality
described or to include any such feature or functionality in a future release.
Splunk, Splunk>, Listen to Your Data, The Engine for Machine Data, Splunk Cloud, Splunk Light and SPL are trademarks and registered trademarks of Splunk Inc. in
the United States and other countries. Al other brand names, product names, or trademarks belong to their respective owners. © 2017 Splunk Inc. Al rights reserved.

© 2 0 1 7 S P L U N K I N C .
自己紹介
池山 邦彦 （いけやま くにひこ）
Who am I?
e-mail: kikeyama@splunk.com
シニア・セールス・エンジニア
2016年8月 Splunk入社
こっち
▶ 仕事: Splunkで夢を売る仕事
▶ 趣味: 写真撮影、ドラム演奏

© 2 0 1 7 S P L U N K I N C .
MACHINE DATA
データは語りかける。 君は聞いているか？

© 2 0 1 7 S P L U N K I N C .
Splunk Enterprise 7.0
マシンデータを収集、分析し、疑問に答える最善のデータプラットフォーム
モニタリング
調査
インテリジェンス
リアルタイムにマシンデータ
あらゆるマシンデータ
マシンデータから得られる
の収集、インデックス、そして
（構造化 / 非構造化）から
情報を分析・予測して
可視化を自動化
洞察を獲得
意思決定につなげる

© 2 0 1 7 S P L U N K I N C .
Splunk Enterprise 7.0
マシンデータを収集、分析し、疑問に答える最善のデータプラットフォーム
モニタリング
調査
インテリジェンス
リアルタイムにマシンデータ
あらゆるマシンデータ
マシンデータから得られる
の収集、インデックス、そして
（構造化 / 非構造化）から
情報を分析・予測して
可視化を自動化
洞察を獲得
意思決定につなげる

© 2 0 1 7 S P L U N K I N C .
モニタリング
メトリクスとイベント
統合が困難な全く異なるマシンデータソース... それも今は昔の話
メトリクス （Metrics）
イベント （Events）
▶ 特定のプロセスやアクティビティを表現する数字
▶ 時間経過とともに発生する固有のイベントの不変の記録
▶ 一定の時間間隔で測定
▶ 3通りの方法で取得: テキスト、構造化データ、バイナリ
i.e., 時系列データ
▶ イベントの例:
▶ メトリクスの例:
• サーバーログ (syslog, journald)
• システムメトリクス （CPU、メモリ、ディスク）
• ファイアウォールやIDSのシステムログ
• インフラメトリクス （AWS CloudWatch）
• ソーシャルメディアのフィード (Twitter…)
• ウェブトラッキング （Google Analytics）
• アプリケーションやミドルウェエア、プラットフォームのログ
• アプリケーションエージェント （APM、エラートラッキング）
(log4j, log4net, Apache, MySQL, AWS)
Equivalent to
1 metric value
Sample Metric
Sample Log
1481050800 os.cpu.user
42.12345 hq:us-west-1
[29/Aug/2017 08:47:05:316503] "POST /cart.do?uid=84e8d742-a31d69&action=remove&&product_id=BS-
2&JSESSIONID=SD6SAL4FF1ADFF9 HTTP 1.1" 200 2569 "http://www.buttercupenterprises.com/product.screen?
product_id=BS-2" "Mozilla/5.0 (Intel Mac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko)
Timestamp Metric Name Value Dimensions
Chrome/57.0.2957.0 Safari/537.36" 98

© 2 0 1 7 S P L U N K I N C .
モニタリング
Splunkでメトリクスを活用
メトリクスで驚きのユーザー体験
車から取得したメトリクスのダッシュボード:
大量のデータとサーチを一つのダッシュボード
で実現
▶ メトリクスデータを使ってモニタリングやアラートで
20倍ものパフォーマンス改善
▶ 利用例: CPU使用率、デバイスの温度変化、アプリ
ダウンロード数
▶ 既存のSplunkプラットフォームを利用可能:
• 可視化とアラート
• RBAC (Role-Based Access Controls)
• データ入力
• データの冗長化やスケールアウト
• オープンソースのソースタイプに対応 (statsd, col ectd)
• オンプレ環境はもちろん、SaaSもサポート

© 2 0 1 7 S P L U N K I N C .
モニタリング
どうやってSplunkでメトリクスを使うの？
簡単なステップで使えます
1.
メトリクスデータの受け口を事前に準備
• メトリクス用のインデックスを作成
• メトリクス用のソースタイプを作成
※ StatsD, collectd はデフォルトでサポート
2.
メトリクスデータを投入（既存のデータ入力も利用可能）
• HTTP Event Collector
• TCP/UDP Inputs etc...
3.
サーチする
•
mstats / mcatalog コマンド

© 2 0 1 7 S P L U N K I N C .
モニタリング
メトリクス用のインデックスを作成
GUIで簡単操作
▶ 新規インデックス作成のダイアログで
メトリック を選択
▶ indexes.confに datatype パラメータ
が新規追加
indexes.conf
[metrics]
coldPath = $SPLUNK_DB/metrics/colddb
datatype = metric
homePath = $SPLUNK_DB/metrics/db
maxTotalDataSizeMB = 3072
thawedPath = $SPLUNK_DB/metrics/thaweddb
splitByIndexKeys = metric_name
パフォーマンス向上の
ために推奨

© 2 0 1 7 S P L U N K I N C .
モニタリング
メトリクス用のソースタイプを作成
ソースタイプで
▶ Splunk 7.0では StatsD, collectd をネイティブサポート
▶ じゃあそれ以外のデータソースはどうすればいいの？
→ メトリクス用の props.conf と transforms.conf を作ればおk
props.conf
transforms.conf
[graphite_plaintext]
[graphite_host]
TIME_PREFIX = ¥s(¥d{0,10})$
REGEX = ^(¥S[^¥.]+)
TIME_FORMAT = %s
FORMAT = host::$1
NO_BINARY_CHECK = true
DEST_KEY = MetaData:Host
SHOULD_LINEMERGE = false
pulldown_type = 1
[graphite_metric_name]
TRANSFORMS-graphite-host = graphite_host
REGEX = ¥.(¥S+)
TRANSFORMS-graphite-metricname = graphite_metric_name
FORMAT = metric_name::graphite.$1
TRANSFORMS-graphite-metricvalue = graphite_metric_value
WRITE_META = true
category = Metrics
[graphite_metric_value]
REGEX = ¥w+¥s+(¥d+.?¥d+)¥s+
FORMAT = _value::$1
WRITE_META = true

© 2 0 1 7 S P L U N K I N C .
モニタリング
メトリクスデータの中身（フィールド）
Field
Required Writeable or Internal Description
Example
metric_name
X
Writeable
The metric name.
os.cpu.user
_time
X
Writeable
The timestamp of the metric in UNIX time
2017-08-14
notation.
17:12:39.000
_value
X
Writeable
The numeric value of the metric. This field
42.12345
is a 64-bit floating point number, which
supports precision between 15 and 17
decimal digits.
<dimension 0> ...
X
Writeable
An arbitrary number of fields, indicating how ip
<dimension n>
metrics can be split.
_dims
X
Internal
An auto-generated internal field that
_dims::ip
contains the names of al of the dimensions
in the metric event. The purpose of this field
is to return a list of unique dimension
names in a metrics index.
metric_type
Writeable
The type of metric. Only "g" (gauge) is
g
supported.

© 2 0 1 7 S P L U N K I N C .
モニタリング
メトリクスデータの中身（フィールド）
Field
Required Writeable or Internal Description
Example
source
Internal
The source of the metrics data.
udp:8125
host
X
Internal
The origin host. A standard field in Splunk
server007
software.
index
X
Internal
The metrics index name. A standard field in metricsindex
Splunk software.
sourcetype
X
Internal
The data structure of the metric. A standard statsd
field in Splunk software.

© 2 0 1 7 S P L U N K I N C .
モニタリング
サーチコマンド
メトリクス検索のための全く新しいサーチコマンド
mstats
• tstats と同様の使い方
• metric_name= は必須
• メトリクスの検索で使うサーチコマンド
• <stats-func> の値は _value
• | mstats <stats-func>...
[ WHERE [<logical-expression>]... metric_name=<string>... ]
[ (BY|GROUPBY) <field-list> ] [<span-length>]
- 統計の例:
| mstats max(_value) AS max_value WHERE metric_name=cpu.percent.user.value BY host
- 時系列の例:
| mstats max(_value) AS max_value WHERE metric_name=cpu.percent.user.value span=10s

© 2 0 1 7 S P L U N K I N C .
モニタリング
サーチコマンド
メトリクス検索のための全く新しいサーチコマンド
mcatalog
• メトリクスのカタログ情報を取得するためのコマンド
• | mcatalog values(<metrics-field>)...
[ WHERE [<logical-expression>]... ]
[ (BY|GROUPBY) <field-list> ]
- 例） ディメンジョンのリストを取得:
| mcatalog values(_dims) AS dimensions WHERE index=metrics BY metric_name
• 利用可能な統計関数は values のみ

© 2 0 1 7 S P L U N K I N C .
モニタリング
参考資料
▶ Metricsマニュアル
http://docs.splunk.com/Documentation/Splunk/7.0.0/Metrics/Overview

© 2 0 1 7 S P L U N K I N C .
Splunk Enterprise 7.0
マシンデータを収集、分析し、疑問に答える最善のデータプラットフォーム
モニタリング
調査
インテリジェンス
リアルタイムにマシンデータ
あらゆるマシンデータ
マシンデータから得られる
の収集、インデックス、そして
（構造化 / 非構造化）から
情報を分析・予測して
可視化を自動化
洞察を獲得
意思決定につなげる

© 2 0 1 7 S P L U N K I N C .
調査
Splunk Event Annotation
データの可視化による洞察を獲得
Metrics with
Event Annotation
▶ 時系列グラフにイベントを付与
（線形グラフ、棒グラフ、面グラフ）
▶ メトリクスとログを単一のグラフに
相関的に表示
▶ あらゆるデータソースからラベルを
定義可能
（ログデータ、ルックアップファイル、
もしくは外部データソース）

© 2 0 1 7 S P L U N K I N C .
DEMO
SPLUNK ENTERPRISE 7.0
METRICS & EVENT ANNOTATION

© 2 0 1 7 S P L U N K I N C .
Splunk Enterprise 7.0
マシンデータを収集、分析し、疑問に答える最善のデータプラットフォーム
モニタリング
調査
インテリジェンス
リアルタイムにマシンデータ
あらゆるマシンデータ
マシンデータから得られる
の収集、インデックス、そして
（構造化 / 非構造化）から
情報を分析・予測して
可視化を自動化
洞察を獲得
意思決定につなげる

© 2 0 1 7 S P L U N K I N C .
Machine Learning
Automating analytical model
building using algorithms that
iteratively learn from data without
requiring explicit programming

© 2 0 1 7 S P L U N K I N C .
Machine Learning
A process for generalizing
from examples

© 2 0 1 7 S P L U N K I N C .
インテリジェンス
Splunk Machine Learning
マシンデータから得られる情報を分析・予測して意思決定につなげるための最善のプラットフォーム
SPLUNK SEARCH
PREMIUM SOLUTIONS
MACHINE LEARNING
TOOLKIT
Platform for Operational Intelligence
Platform for turning machine data into answers

© 2 0 1 7 S P L U N K I N C .
インテリジェンス
Splunk Machine Learning Toolkit
サンプルデータやモデルを用いて簡単に利用可能
▶ Showcases: IT運用やセキュリティ、ビジネ
ス分析、IoTのインタラクティブなサンプル
▶ Assistants: モデル作成、検証、および展開
のガイドライン
▶ Models: 25以上のアルゴリズムを含む柔軟
なモデル設計・構築
▶ Commands: モデルの作成、検証、運用可
能なSPLコマンド
▶ Free: Machine Learning Toolkit は
SplunkbaseTM からダウンロード・インストー
ル可能

© 2 0 1 7 S P L U N K I N C .
インテリジェンス
Splunk Machine Learning Toolkit 3.0
サンプルデータやモデルを用いて簡単に利用可能
▶ SplunkのRBACに統合されたモデル管理
▶ 時系列データ予測にて簡単に利用できるアルゴリズ
ムとパラメータが追加
▶ APIを使って簡単にアルゴリズムをインポート、およ
び] SplunkbaseTM App にエクスポート
▶ Apache Sparkとの統合による分散コンピューティン
グで大規模データのモデル作成に有効
Predict Numeric Fields
Detect Numeric Outliers
Forecast Time Series
Cluster Numeric Events

© 2 0 1 7 S P L U N K I N C .
Thank You
池山 邦彦 | Sr. Sales Engineer, Splunk Services Japan
Slack ID: @kikeyama