SSSSLIDE

このページは https://speakerdeck.com/rrreeeyyy/iot40-rrreeeyyy の内容を掲載しています。

掲載を希望されないスライド著者の方は、削除申請よりご連絡下さい。

埋込み型プレイヤーを使用せず、常に元のサイトでご覧になりたい方は、自動遷移設定をご利用下さい。

rrreeeyyy さんの他のスライド

もっと見る»

関連するスライド

このスライドの内容

  1. Web サービスの信頼性と
    運用の自動化について
    クックパッド株式会社 インフラストラクチャー部 SRE グループ
    吉川 竜太 ( @rrreeeyyy )
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    1
  2. Agenda
    • Site Reliability Engineering (SRE) について
    • SRE とは
    • 運用の現場と運用技術研究
    • 運用の自動化について
    • 時系列データの処理と異常検知について
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    2
  3. Me
    :PTIJLBXB 3ZPUB
    !SSSFFFZZZ
    !SSSFFFZZZ
    IUUQT SSSFFFZZZ DPN
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    3
  4. Me
    • Yoshikawa Ryota ( @rrreeeyyy [reɪ] )
    • 電気通信大学 (2010/04 ∼ 2014/03)
    • 情報理工学部 情報・通信工学科
    • 株式会社ハートビーツ (2010/11∼2016/12)
    • MSP 事業部 運用スタッフ・運用エンジニア
    • クックパッド株式会社 (2017/01 ∼)
    • インフラストラクチャー部 SRE グループ
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    4
  5. Me
    • 電気通信大学 (2010/04 ∼ 2014/03)
    • mruby を用いたLinux ロードバランサインタフェースの実装で卒業
    • 株式会社ハートビーツ (2010/11∼2016/12)
    • 数台∼数千台規模の運用・構築・管理を経験
    • メディア・ゲーム・EC 等の様々な分野の運用を経験
    • クックパッド株式会社 (2017/01 ∼)
    • インフラストラクチャー部 SRE グループ
    • 数千台規模のシステムの信頼性に関わる部分全てを担当
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    5
  6. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    6
  7. Site Reliability Engineering とは
    • サイトの信頼性の全てに責任範囲を持つ、とするエンジニアリング手法
    • 特に、ソフトウェア・システムエンジニアリングを用いて課題を解決する
    • 例えば、パフォーマンス
    • パフォーマンスに問題があるコードは SRE 自身がコードを書いて修正する
    • 例えば、スケーラビリティ・アベイラビリティ
    • 人間による手動の作業をコードにより自動化する
    • 規模やアクセスが増大しても安定してサービスを提供できる状態にする
    • インフラエンジニアの責任範囲が増大した中である種、職責を再定義した物と捉えている
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    7
  8. SRE の活動
    SRE の活動は大きく分けて次の 4 つに分類できるとされている
    • So#ware Engineering
    • Systems Engineering
    • Toil
    • Overhead
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    8
  9. SRE の活動
    • So#ware Engineering
    • コードの作成や修正, それに関連する設計やドキュメンテーションの作業など
    • 自動化スクリプトの作成, ツールやフレームワークの作成 ...
    • サービスへの信頼性を高める機能の追加 ...
    • Systems Engineering
    • 1 回の作業で永続的な改善を生む次のような作業
    • 本番システムの設定変更 ...
    • 開発チームのサービスアーキテクチャ設計 ...
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    9
  10. SRE の活動
    • Toil
    • サービスを稼働させるためだけに繰り返し行われる手動での作業
    • 長期的な価値を持たない, サービスの成長に対して O(n) である ...
    • つまらない仕事でも長期的な価値があれば Toil ではない
    • Overhead
    • サービスを稼働させることに直結しない管理的な作業
    • 採用, ミーティング, 評価, トレーニング ...
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    10
  11. 運用の現場と運用技術研究
    • エンジニアリングをちゃんとやる事が現場レベルでも評価されるように
    • この文脈の一つとして SRE のような手法・職種が出てきたという理解
    • 論文を書いたり読んで理解・実装する事が評価されるようになってきた
    • 実際の運用の現場でも読んで理解する事は必要になってきた
    • 技術選定の指標の一つとしてやミドルウェアの挙動の理解など
    • いわゆる研究開発のような部門でなくても日常的に行うように
    • 多くの技術企業で運用・ミドルウェア等の論文が多く出てくるように
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    11
  12. 大手クラウドベンダ等の論文
    • Google, Amazon, Facebook, Ne3lix...
    • 他にも大小関わらず様々な企業から論文が出ている
    • USENIX のカンファレンス等で技術企業が積極的に発表
    • FAST, OSDI, Security ...
    • クラウドサービスの内部実装や内製ミドルウェア関わらず
    • クラウドサービスの挙動を正しく理解するために論文を読む
    • 新しいアーキテクチャ・ミドルウェアの選定のために論文を読む
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    12
  13. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    13
  14. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    14
  15. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    15
  16. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    16
  17. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    17
  18. 論文の内容を実運用で使えるミドルウェアへ
    • HashiCorp
    • Vagrant, Terraform 等を作っているベンチャー
    • 論文の内容を実運用で使いやすい形に落とし込んでいる
    • Serf, Consul, Vault 等
    • これらのミドルウェアを正しく理解して運用するために論文を読む
    • なぜ Consul のノードは最低 3 台必要なのか？
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    18
  19. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    19
  20. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    20
  21. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    21
  22. クックパッドにおける SRE の活動
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    22
  23. クックパッドにおける SRE の活動
    • SRE としての活動をクックパッド内でも様々行っている
    • クックパッドの SRE の活動をいくつか紹介
    • 新規サービスに対する SRE の動き
    • モニタリングの改善
    • ロードバランシングの改善
    • 新卒研修
    • ...
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    23
  24. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    24
  25. クックパッドにおける SRE の活動
    • SRE としての活動をクックパッド内でも様々行っている
    • クックパッドの SRE の活動をいくつか紹介
    • 新規サービスに対する SRE の動き
    • モニタリングの改善
    • ロードバランシングの改善
    • 新卒研修
    • ...
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    25
  26. モニタリングの改善
    • 大量のデータを投入・処理するような時系列データベースの基盤は整ってきた
    • クックパッドでは Prometheus を TSDB として採用
    • Long-term storage としては S3 をバックエンドとして検討中
    • 取得できるメトリクスの解像度の向上・種類の増強
    • 15 秒単位のメトリクス取得が出来るようになっている
    • マイクロサービスのサービス間の連携の様子も可視化を検討中
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    26
  27. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    27
  28. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    28
  29. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    29
  30. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    30
  31. 時系列データの処理について
    • これまではほとんど静的な閾値で何とかしていた状態
    • これからは時系列データに簡単な統計的処理が施せるように
    • 線形回帰, 指数平滑化, 移動平均など...
    • 事前に起きうる異常が分かっている時にはよく動く
    • インシデントや障害の "積み重ね" で検知できるように
    • 実際には取れるメトリクスが増え異常時にどうなるか予測困難な事も
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    31
  32. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    32
  33. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    33
  34. 時系列データと異常検知
    • 時系列データの異常(外れ値)検知は様々な手法が既に研究されてきている
    • Gaussian Mixture Model, Isola5on forest などなど...
    • 実際の運用で出現するメトリクスでは非線形な要素が多く出現する
    • 従来の手法は複雑な非線形変換などの表現に弱いことがあった
    • 最近の手法では CNN を用いて異常検知行うような手法が登場した
    • 複数の入力があるような相関異常でも比較的簡単に予測する事が可能
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    34
  35. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    35
  36. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    36
  37. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    37
  38. LSTM による時系列データの異常検知
    • LSTM を用いて正常な時系列データの学習を行う
    • 行った学習に基いて、次のデータの予測を行う
    • 実際のデータと予測値を比較することで異常度を測定する
    • 学習するデータの入力層としてメトリクス以外にサーバのコンテキストを入れる
    • 例えばデプロイ中・バッチ実行中・オートスケール中...
    • その時のサーバのコンテキストを含めて予測値を作れる
    • よりサーバの状況を加味した異常度を測ることが出来る
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    38
  39. 予測対象になる時系列データの例
    timestamp,cpu,deploying,autoscaling,batching
    2018-03-05 12:00:00,80,1,0,0
    2018-03-05 12:00:15,81,1,0,0
    2018-03-05 12:00:30,82,1,0,0
    2018-03-05 12:00:45,82,1,1,0
    2018-03-05 12:01:00,75,1,1,0
    2018-03-05 12:01:15,60,1,1,0
    2018-03-05 12:01:30,55,1,1,0
    2018-03-05 12:01:45,40,0,1,0
    2018-03-05 12:02:00,35,0,0,0
    • 実際には Prometheus のラベル機能を用いて上記のコンテキストを入力
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    39
  40. Keras を用いた実装・実験
    • ノイズを含ませた正弦波を LSTM で学習させる
    • 元となった正弦波に異常を含ませる
    • 異常のある波形と学習済みのモデルから生成された波形の二乗誤差を取る
    • 更に実際に前ページの時系列データを学習して予測値を出してみる
    • 実際のデータに限りなく近い形の toy-data として利用
    • CPU 使用率に関しては 0-1 の範囲に正規化して学習を収束させる
    • 幾つかの CPU 使用率・デプロイ周期のモデルを学習させて予測させてみる
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    40
  41. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    41
  42. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    42
  43. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    43
  44. 第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    44
  45. まとめ
    • SRE というエンジニアリング手法について紹介
    • インフラエンジニアの職責が広がってきた
    • サイトの信頼性自体に職責を持つことを明確にする SRE が登場
    • サイトの信頼性を守るためには "正しくエンジニアリングをする" 事が重要
    • クックパッドでの SRE の取り組みとしてモニタリングの改善を紹介
    • 時系列データを対象に保存・解析が行える基盤が整ってきた
    • 次なるステージとして時系列データの異常検知について様々な手法を模索中
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    45
  46. 参考資料
    • h#ps://landing.google.com/sre/book.html
    • h#ps://www.allthingsdistributed.com/files/p1041-verbitski.pdf
    • h#p://lamport.azurewebsites.net/tla/formal-methods-amazon.pdf
    • h#ps://staAc.googleusercontent.com/media/research.google.com/en//archive/spanner-osdi2012.pdf
    • h#p://techlife.cookpad.com/entry/Ameseries-database-001
    • h#p://www.vldb.org/pvldb/vol8/p1816-teller.pdf
    • h#ps://qiita.com/rrreeeyyy/items/6bbd1f09c96e2af4a8ce
    • h#p://ramcloud.stanford.edu/raH.pdf
    • h#p://www.cs.cornell.edu/~asdas/research/dsn02-swim.pdf
    • h#ps://speakerdeck.com/rrreeeyyy/jK-2017-site-reliability-engineering
    • h#ps://speakerdeck.com/yuukit/the-study-of-Ame-series-database-for-server-monitoring
    • h#ps://speakerdeck.com/rrreeeyyy/introducAon-to-prometheus-pracAce
    • h#ps://github.com/NeKlix/vizceral
    • h#ps://github.com/nghialv/promviz
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    46
  47. PR
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    47
  48. We are hiring!
    • クックパッドでは本日紹介したような取り組みを行っています
    • まだまだ解決したい問題・取り組みたい課題がたくさんある
    • 楽しみながら一緒にやれるメンバーを募集しています
    → h$ps://cookpad.jobs
    第 40 回インターネットと運用技術研究発表会 (2018/03/05) | Yoshikawa Ryota ( @rrreeeyyy )
    48

関連するタグ

SSSSLIDE

© 2012-2018 milk1000cc

スライドの著作権は、各スライド作成者に所属します。