SSSSLIDE

このページは https://speakerdeck.com/sawanoboly/dockerkontena-for-aws-and-and-shifterdedocker-for-awswoshi-tuteiruhua の内容を掲載しています。

掲載を希望されないスライド著者の方は、削除申請よりご連絡下さい。

埋込み型プレイヤーを使用せず、常に元のサイトでご覧になりたい方は、自動遷移設定をご利用下さい。

Yukihiko SAWANOBORI さんの他のスライド

もっと見る»

関連するスライド

このスライドの内容

  1. (Docker)コンテナ for AWS &&
    Shifter Case #=> Docker for AWS(D4a)
    JAWS-UG KOBE 春のコンテナ祭り！
    @sawanoboly
    HiganWorks LLC(ほか)
  2. このスライドについて
    •2017年3月15日に開催された『JAWS-UG
    KOBE 春のコンテナ祭り！』の発表です
    •発表時からの公開向けに変更した点
    •一部修正・追記
    •アジェンダの経緯やCMを削除
    2
  3. 本日のお話 (ver. 2.0)
    •AWS で Docker をつかうなら？
    •大雑把ですが網羅的に
    •ShifterでDocker for AWSを使っている話
    •こちらは裏側の話を
    •(バッド)ノウハウ込みで五月雨に解説
    3
  4. AWS で Docker をつかうなら？
  5. スコープなど
    •まずAWSが用意しているもの
    •それ以外は、なんらかのクラスタマネージャを構築・運
    用できるもの
    •SaaS/PaaSで、バックエンドがAWSでDockerコンテナ
    であるようなものは除外します
    •本セッション中のコンテナ/イメージ などの文言は
    ほぼDockerコンテナ、Dockerイメージを指します
    5
  6. 参考資料にAWS発表(ややエンプラ的)
    https://www.slideshare.net/AmazonWebServices/introduction-to-
    container-management-on-aws
    6
  7. 前提: Dockerコンテナ
    •一般的なVirtualMachineではありません
    •アプリケーション+ライブラリを固めた一つの
    バイナリのように扱うほうが好ましいです
    •使いにくい…と思ったら?
    •=> その用途はに向いてません、他の手段を考え
    よう
    7
  8. AWSの機能でDocker
    AWS で Docker をつかうなら？
  9. そもそもAWSでDockerを使うメリットって？
    •コンテナ/ジョブが他のリソースと連携しやすい
    •そのくらい。Docker視点でAWSならでは！は
    特にない
    •つくるサービスの内容で判断しましょう
    9
  10. Docker-Machine (やや番外)
    •EC2インスタンスなどにDockerデーモンを入れ
    て、手元で管理する (クライアント認証つき)
    •Docker知らないけど来た、とかの人は
    ここからやってください
    •わりと自由度は高い
    Amazon
    EC2
    ※図はDocker公式より
    10
  11. Amazon EC2 Container Service(ECS)
    •EC2クラスタ群と、設定したルールに基づいたコ
    ンテナの配置を管理するサービス
    •タスク/サービスの理解ができれば、わりと素直
    に扱える
    •カスタマイズには専用の知識と根気が必要
    •以降AWS関係で紹介するのはこれのラッパ
    Amazon ECS
    11
  12. Elastic Beanstalk(on ECS)
    •マルチコンテナをプラットフォームに選択する
    と、ECSのラッパーとして動作します
    •ECSを理解しなくてもよいので、イメージ＋環
    境変数で管理可能な規模ならこっちでもOK
    •OSのカスタマイズはECSより少し楽？
    AWS Elastic
    Beanstalk
    12
  13. AWS Batch (実行環境はECS)
    •一般的に連想するバッチとはちょっと違う
    •用意したイメージをキューイングで実行するサー
    ビスです
    •これはElastic Docker Run/またはゴツいLambda
    だと思って使えば良いと思います
    •とにかくイメージを作り込む
    AWS Batch
    13
  14. Blox
    •AWSが公開しているOpen Sourceのクラスタ
    マネージャ (これも結局ECSがベース)
    •まだ始めたばかりで、コンポーネントも最低限
    •リファレンスな感じ、参加するならよいかも
    14
  15. クラスタ管理サービスの
    AWS向けプロダクト
    AWS で Docker をつかうなら？
  16. 一覧 (詳細は割愛します)
    •CoreOSのkube-aws (Kubernetes(k8s))
    •MesosphereのDC/OS (Apache Mesos,
    Marathon)
    •Docker社の Docker Datacenter
    •Docker社の Docker for AWS
    16
  17. 共通してみられる特徴(1/2)
    •CLIやCloudFormationテンプレートにより、構
    築しやすい
    •ホストのAutoScaleには大抵対応している
    •ロードバランシングはELB
    •他のクラウドサービスではもうちょい使い勝手
    が良いものがあるので、実はちょっとしんどい
    17
  18. 共通してみられる特徴(2/2)
    •クラスタのGUI
    •専用のアプリケーションセットのようなもの
    •特にDC/OSはなんか凄い、抽象度もちょっと高い
    •だいたい常時運用する自社サービスに関しては、問題がな
    いレベルで使える
    (※ここDocker for AWSは除く)
    •Dockerだけでなくrktに対応していたりする
    18
  19. そもそもAWSでDockerを使うメリットって？(再)
    •コンテナ/ジョブが他のリソースと連携しやすい
    •そのくらい。Docker視点でAWSならでは！は特
    にない
    •つくるサービスの内容で判断しましょう
    •（New）AWSでやるなら、なるべくECSで頑張
    るのがいい気がします
    19
  20. AWS で Docker をつかうなら？
    はここまで
  21. ShifterでDocker for AWSを
    使っている話
  22. https://getshifter.io
    22
  23. Shifter紹介
    •WordPressを静的サイトに変換します
    •静的サイトをそのまま配信するか、よそにデプ
    ロイを選択
    • 元ネタとなる編集可のWordPressを提供
    • 編集時以外は停止状態です
    23
  24. 必要だったインフラ
    •使いやすい永続ストレージ
    #=> Amazon Elastic File System(EFS)
    #=> S3
    •必要な時だけ起動するプロセス
    •WordPress用、ファイル移動とかデプロイ用
    #=> Docker => Docker for AWS
    24
  25. Docker for AWS(当時はBeta)採用
    •シンプルなDocker Swarm + 過不足のないAPI
    •環境上に永続化するサービスはないので、安定性を大
    目にみれる
    •ノードラベルで最低限の役割分担が可能
    •Dockerは更新が早く、D4aは他より追いかけやすい
    •DockerサービスポートとELBとの自動連携
    •環境を丸ごと捨てやすい！
    25
  26. Shifterのサービスタイプによる制約
    •ユーザのコンテンツを置くし、操作可能
    •これなかなかのリスク
    •コンテナ起動しっぱなしはリソース枯渇しちゃう
    •CIサービスのように、時間制限を設ける必要がある
    => この機能は現状、各種クラスタマネージャにも
    ない
    26
  27. 環境を捨てやすい、について
    ShifterでDocker for AWSを使っている話
  28. これが少々ぶっ壊れても
    丸ごとつくりなおせばよい
    Amazon
    CloudWatch
    Amazon
    Amazon EFS
    S3
    ユーザの実データ
    Docker for AWS
    AWS
    ECR registry
    CodeCommit
    提供機能の元データ
  29. WordPressのDockerイメージ
    •Docker Library(Docker社管理・配布)の
    php:(5.5-7.1)-apacheがベース
    •ビルドステップはコンポーネントごとに準備するスクリ
    プトを実行、その中で掃除
    •entryは環境変数で色々分岐するスクリプト(400行くら
    い)を経て、`exec supervisord`
    •httpd起動時に環境変数を大量にUNSET
    ShifterでDocker for AWSを使っている話
    29
  30. その他のDockerイメージ
    •alpine linuxがベースの一人一芸
    •EFSからS3にアップ
    •S3からZIP作成 など
    •実行の最後に、自身のDockerサービスを削除
    •※ユーザが関与しないのでAPIを呼ぶ権限をつけて
    いる
    ShifterでDocker for AWSを使っている話
    30
  31. フロントとの連携は
    Docker Engine(Remote) API
    & Lambda
    ShifterでDocker for AWSを使っている話
  32. Docker APIを受け付けるDockerコンテナ
    •Docker ServiceのAPIを使うため、Nginxのプ
    ロキシを立てました
    •詳細は=>
    http://qiita.com/sawanoboly/items/bfc87e92daa041634408
    32
  33. Docker APIと関連リソースをCRUDするLambda
    •サービス定義テンプレート(jinja2で自作)を元に
    Docker Serviceを管理する、大きめのLambda
    •レスポンスやエラークラスを作ったりしている
    •これ単品で発表できるくらいなので詳細は省略
    AWS
    AWS
    Lambda
    Amazon
    AWS STS
    Lambda
    33
    DynamoDB
  34. モニタリングはDataDog
    ShifterでDocker for AWSを使っている話
  35. docker-dd-agent:latest-alpine
    •Dockerのサービスとして登録
    •これも公開記事があるので詳細はこちら
    http://qiita.com/sawanoboly/items/d626c01d86586f79c83a
    35
  36. ここからカテゴリ分けが
    しにくいので、
    D4aの怪しい点小ネタ集で
    ※明らかな不具合に関してはリリース前に対応済みです
    ShifterでDocker for AWSを使っている話
  37. EC2インスタンスロール
    使えちゃう問題
    ShifterでDocker for AWSを使っている話
  38. EC2 metadata API
    •クラウドサービスではあって当然
    •Dockerコンテナからでも参照OK
    •AWSのリソースを透過的に使える！
    => Shifterでは使えちゃ困る
    http://169.254.169.254/latest/meta-data/
    Docker for AWS
    38
  39. ブロックした
    •iptablesのPREROUTINGで嘘を教える
    •この記事のカスタマイズ例を参照
    http://qiita.com/sawanoboly/items/d626c01d86586f79c83a
    39
  40. Docker Endpoint
    丸見え問題
    ShifterでDocker for AWSを使っている話
  41. Docker操作可能
    •コンテナは内部ネットワークに繋がっている
    •IPアドレスもわりと推測可、かつ認証なし
    •公式フォーラムにIssue作成
    #=>TCPポートのListenを停止しても大丈夫なよ
    うに仕組みを変えてもらった
    •基本、iptablesでいくらかブロックしてある
    41
  42. 管理コンポーネント
    ブラックボックス問題
    ShifterでDocker for AWSを使っている話
  43. D4a、コアな部分が非公開
    •Docker Swarmに毛を生やしてD4aとして成り立
    たせているコンポーネント
    •クラスタの自動Join/Leave
    •ELBのリスナー追加削除など
    •これらはイメージで配布、中身もバイナリ
    •ソース公開しろという要望コメントが付いている
    43
  44. ホストに直接ログインできない
    •管理用のSSHログインはコンテナ
    •AMIはパブリックなんで一工夫すれば中身を確
    認したりカスタマイズしたりは可能
    http://qiita.com/sawanoboly/items/d626c01d86586f79c83a
    44
  45. TCPしかListenできない問題
    ShifterでDocker for AWSを使っている話
  46. HTTP/2をしたいがために
    •サーバ証明書にACMを使えないので`*`を買う
    •イメージに埋め込んでいる
    •ELB操作部分のソースが公開されたらまずなん
    とかしたい部分
    ShifterでDocker for AWSを使っている話
    46
  47. 標準では
    mount.nfsがなかった問題
    ShifterでDocker for AWSを使っている話
  48. EFSをそのまま使うのは無理だった
    •EFSマウントは3rd製プラグインを使用
    •色々条件があるので、ユーザ用のワーカーノー
    ドにはカスタムAMIを作成してSwarmに参加さ
    せています
    •AutoScaleのため、標準のワーカーを調査して
    仕組みをコピー
    48
  49. 先日のD4a更新で、EFS対応が入った
    •Cloudstor Volume Pluginとして追加
    •できれば切り替えたい
    •ただ、これもソースがないのがちょっとネック
    •新規でD4aしてみるぶんにはおすすめできる
    49
  50. アップデート非互換問題
    ShifterでDocker for AWSを使っている話
  51. アップデート非互換問題
    •Shifterは最初D4a Beta5の環境で作成 (今はstable)
    •Betaだったので、非互換の改修がしょっちゅう
    #=> CloudFormationの差分をチェックしながらや
    や慎重に更新
    •慣れれば平気、EC2は全滅OKなので
    •SGのdescription文言変更 => リソース再作成とか困
    るので地味に潰している
    51
  52. Ingressネットワーク
    不安定・混線問題
    ShifterでDocker for AWSを使っている話
  53. 共通認識：Ingress不安定
    •ノードをまたぐVLANとして機能するIngress
    •普通にプチプチ切れる
    •ポートの追加削除時に重たい
    •Shifterではコンテナが使い捨て、不安定になった
    ら環境壊して再作成できるのでなんとかなっている
    •普通にまだオススメできない
    53
  54. 混線
    混線 問題
    •ingress N/W、ユーザ用で共通のを作成
    •その上にWordPressコンテナのポートを公開
    •ユーザAが起動 => ユーザBが別ポートで起動
    •ユーザBのポートでも、ユーザAの環境が見えた！
    •ingress N/Wをサービスと連動して作成・削除す
    るようにして難を逃れた
    54
  55. MySQL on EFS
    やっぱ重たいわ問題
    ShifterでDocker for AWSを使っている話
  56. すまんEFSに乗っけちまった
    •ポータビリティを考慮して、ひとまずデータは
    全部EFSに置くことに
    •普通の規模やサイトの永代供養で使うぶんには
    そこまで大きな問題ではない
    •頻繁に更新するサイトはShifter案件でもないん
    だけど、それにしても重すぎることがある
    56
  57. 乗っけた結果
    •同じWPは2コンテナ以上同時に稼働できない
    #=> 編集と静的サイト生成が排他に
    •コンテナ起動の処理にはすこし工夫をしたが。。。
    •例: bashのbackground exec & wait
    •例: パッケージ関連の事前処理をイメージ側で済ませる
    •例: upgradeの一時ディレクトリはEFS外に配置
    •MySQL on EFSのレイテンシが全てもっていく感じ
    57
  58. 改善にむけて
    •RDSのアレを使うようにテスト中
    •コンテナxRDSは通常のサービスでは普通
    •権限とか到達性には注意
    •改修できたら超マシになりそう
    •プランとかの見直しも考慮していたり
    58
  59. ELB Listener上限100問題
    ShifterでDocker for AWSを使っている話
  60. D4aの仕様との兼ね合い
    •クラスタに対して、サービス公開専用のELBは1
    つ
    •Shifterはランダムポートで提供
    •ELBのListenerは上限100、増やせない
    •実は同時に100人以上使えない
    60
  61. Listen100問題の改善に向けて
    •ngx_mrubyなどで動的なロードバランサを
    自作?
    •kube-awsに変える？
    •こちらはELBがサービスごとに作成される
    •D4a公式に要望をだしたら、アイデアはあるとの
    ことだが。。
    61
  62. さいごに
    ShifterでDocker for AWSを使っている話
  63. こんなShifter開発、手伝ってみたい方
    •気軽に相談どうぞ
    •ほか、質問があるとかでもこのあと
    個別に聞けます
    63
  64. おわり

関連するタグ

SSSSLIDE

© 2012-2018 milk1000cc

スライドの著作権は、各スライド作成者に所属します。