SSSSLIDE

<QM
せと
.,-2+,4+.0
DELiGHTWORKS Inc.
Copyright 2016 DELiGHTWORKS Inc. Al Rights Reserved.

ディライトワークスとは
設立からまだ2年7ヶ月の渋谷にあるゲーム会社です
設立は2014年1月22日です。
従業員数100名を超えました。
Fate/Grand Order 絶賛配信中です
開発、運営を手がけています。
他にも開発中のタイトルが控えています
「バンドやろうぜ！」が９月リリース予定です。

ATfX+BdT W IdWXd
ご
ンATfXヴ
LJB
.,-1
3
ナ
バ
.,-2
4
2,,
?F
<bb MfadX( Baa X J Tk
】
-

ATfX+BdT W IdWXd

アジェンダ
インフラエンジニアから最近のインフラ活用事情
まず、インフラエンジニアより最近のインフラ活用について
サーバーエンジニアからのFGOならではの課題と対策
開発の初期より参加しているサーバーエンジニアよりFGOならではの課題と対策
の紹介
本質的にAWSをどう導入し活用しているか
リリース直後、大規模アクセスが発生したときに参加した観点から見て、どうい
う課題があり、どう解決したかの紹介

<QM
せと
-%
ABI 】ズ
<QMせと
.,-2+,4
DELiGHTWORKS Inc.

l
ワ
OX a NT X g_ %
l
ワABI ATfX+BdT W IdWXd%
DN
l
しど

<QM
せと
-%
ABI 】ズ
<QMせと
-*
: >?Hほ
.* <>G <QM >Xdf VTfX GT T Xd%
/*
ワ
パ
ほ
ア
%
<QMと

-*
: >?Hほ
/*
ワ
パ
ほ
ア
%

-*>?H >a fX fe ?X hXdk HXfiad %ほ
とソ
l
l→
ラ
リ

ワ
>?H > agWAda f
ほ
ワ
ワ
}}}
ほ
:%
ワ
コ
%
ず
①

べ
ほ
づな
l
パ
や
ネ
※だ
l
ト
コポ
モ
lほ
ポ
ィス

>A > agWAda f%
lM/ MfadT X%
ウ
M/7
9q>A7
ジち。ォ
「
l
D hT WTf a %
%
l
く
※だ
ABI
テ

ち
ほ
①
モ

> agWAda f
l
D Jda dXee パ

> agWAda f
lめづ
l ⑤
ボ
%
とメ
ョ hT WTf a
ェ

-*
: >?Hほ
/*
ワ
パ
ほ
ア
%

レ* <>G <QM >Xdf VTfX GT T Xd%せと
りs
l
うオ
MMFオ【
ア
l
れ
rラくイMMFオ
【
リ
l
オ
【
ら
グ
パ

りt
l】ズ <QM
dX a
<>G
ラ.,-2+,1+-2
リ
l
l

<>G
s
よあ
MMFオ
【


<>G
t
<QM M@M M _b X @_T MXdh VX%
と
l ?HMォ
GR
%
l にク
ォ
M@M M _b X @_T MXdh VX%

<>G
u
l <>Gォラにクリ

<>G
v
l
%
TW_
7
9
TW_
efdTfad 7
9
aef_TefXd 7
9
baef_TefXd 7
9
iXU_TefXd 7
9

<>G
w
l
カ

<>G
x
l <>Gォ
カ

<>G
y
l @F=
%テと
ffbeォ

<>G
l
ユち。ユ
l
オ
【
* a X*Va_
l
%
パ
ルロ

<>G
lカオ
カオ ?a_T
PT WTf a %
IP Id T lTf a
PT WTf a
カオ%
@P @ fX WXW PT WTf a
カオ%
⑤
々す
l@F=
%(> agWAda f
テと
@>.
%

<>G
l @ Tef V =XT efT
ォ
l > agWAda f と
ず

ト OM)@Tef%
ソ
オ
【
l
ば
めづ
ポ
カ

-*
: >?Hほ
/*
ワ
パ
ほ
ア
%

ロ*
パ
ほラ
ア
リ
l
づな
パ
ベ
お
ラ
リ

ロ*
パ
ほラ
ア
リ
パ
7
ぎ9

<QM
せと
-%
ABI 】ズ
<QMせと
-*
: >?Hほ
MMF+NFM
/*
ワ
パ
ほ
ア
%

<gdadT ?TfT=TeX%
<bb VTf a
FaTW =T T VXd

<QM
せと
レ%
ATfX+BdT W IdWXd
キモ
.,-2+,4+.0
DELiGHTWORKS Inc.

バはて⑥
お
ATfX+BdT W IdWXd
キモ

で
%
ぐ
└わ
.,-0
べ
ATfX+BdT W IdWXd
<JD
か
お

バはて⑥
お

バはて⑥
バはて⑥
>" P egT MfgW a .,-/%
*H@N AdT_Xiad 0*1
<MJ*H@N GP> 1*,

>"
デ
づな
バは
O fk >"%
デ
q
バは
>"
デ
z
↓
z
+
…々
ザ
バは
た
z
ェ
z
ェ
③
%
D?@
① P egT MfgW a%

お
<QM ラ
G Vdaea f <lgdX
」
-.
<QM ほリ
DDM 4*, <_Tla
@>. Q Waie MXdhXd .,-. L>.%
*H@N AdT_Xiad 0*1
<MJ*H@N 1
V0*. Td X
/,
GkM F 1*2 <_Tla
L?M%
WU*d/*4 Td X
0
LXW e .*4 <_Tla
@ Tef >TV X%
VTV X*d/*0 Td X
.
GX_VTV XW <_Tla
@ Tef >TV X%
VTV X*d/*. Td X

<dV fXVfgdX6
ATfX+BdT W IdWXd

イが▲
バ
イが▲
/(,,,)1(,,, LXcgXefe+eXV
.,(,,,
gXdk+eXV LXTWe%
4(,,,
gXdk+eXV Qd fXe%

ATfX+BdT W IdWXd
キモ

キモs
ペ

ォエこフ
ゲを
メ
メ
々

ォエ
ル
ポ
デ
ポ
ポ
④
え
oo
p
ド
>?Hナ
マ

ォエ
レ
ビ
▼
へ
p
④
ば
パプ

っ
p
G Vdaea f <lgdX
と
モ
LXW e
モ
?=
「
⑦
ピね%
q
づ
サ
q
はで
e ai cgXdk
"
gXdkSf _X6 .3*0413,0 FaV Sf _X6 ,*,,,,02 LaieSeX f6 , LaieSX T_ XW6 -
gbWTfX RRR
"
gXdkSf _X6 /-*2,/-.- FaV Sf _X6 ,*,,,,2- LaieSeX f6 , LaieSX T_ XW6 -
gbWTfX RRR

?=
.,-1
4
--
ミ%
】
MfT WTdW ?M-0
と
M F は
ば
LXW e
ば
⑦
ゲを
⑦

<QMほ
.,-1
-. %
?=
<lgdX
<QM
ほ
づ
⑦
--.B= )9 .00B=%
ほ
ん
キモ
げ
o

キモt
そ
ネ
く

ネ
く
ゴ
ネ
ネ
⑦
?=
はで
.,-2
0
1
ベ
%
パ
⑦
LXW e
>a
XVf a
Jaa
.,-2
4
--
ベ
%

ワ②
?=
とソ
0
.,-2
1
コ/
パ
<

QXU*Va
GaWX GT T Xd*Ve
*H@N I <gf ad lTf a
%
IbX
%

OeXdDfX_GaWX *Ve
pgeXdS fX_ 8
▼
めづ
GaWX
geXdS fX_
M F は
GaWX GT T Xd*Ve

LXW e >a
XVf a
Jaa
>a
XVf a
Jaa
ォ
①
と
MXdh VXMfTV
baa
み
HXi LX V%

ニ
HXi LX V%
*H@N
%
モ

N dXTW Jda Xd
HXi LX V%
LXW eGaWX *BXfMfd
/*.# )9 -5#
LXW e
>a
XVf a
Jaa
HXi LX V

キモu
きセ
けづ

き
セ
ォ
き
ば
セ
き
ブ
お
メる
はでユ
ま
け
{.,-2 3 セ
ォき
ワ
{

ァ
お
の
_efS fX_*feh
めづ
?= ろ【%
ユ
とM F
GefDfX_CTe *Ve I+L
と
%

<FN@L N<=F@
_efS fX_*feh
hT gX
セ
ユ
とM F
お
いシ
ユ

お
さと
か
ャ
①
か
めづ
さとば
と
「
、
か
け
づ
ア
EMIH
さとば
「
と
「
m!TbbXd!6-(! XTWXd!6-n

き
セ
け
づ
ア
ュ
ご
ッ
ケ
き
セ
け
づ
ム
ン
マも
ヴ
ピ
ンさとばヴ
ニア

<QMほ
q
<QM
デ
パツ
モ
はで
⑤
っ
○
々す
%テ
ニア
と
か
き
セ
け
づ

ディライトワークス流 AWS 導入&活用術（３）
そして、本質的に活用するということについて
2016/08/24
DELiGHTWORKS Inc.

自己紹介
お仕事

田村祐樹
Fate/Grand Orderでは、リリース後のサーバー安定化／改善などを担当。
略歴

元々はネバーランドカンパニー、gumi、という会社にいました。
メインプログラマから、プロジェクトリーダー、事業責任者まで、ゲームをつくってそろそろ１６年。
スキルセット

初めて触ったハードはゲームボーイカラーでした。（8080+Z80みたいなCPU）
コンソールプログラマから、サーバエンジニア、インフラも少し。
C++、Lua、Java、Objective-C、PHP、Python、Golang、C#などなど。
やっぱりC++が一番ですね！！（自虐的に）

アジェンダ
AWSを活用するということについて

今回は細かい数値や構成ではなく、全体像として
「ゲーム開発」および「ゲーム会社」において何らかの判断を迫られたとき、
AWSを活用するというのはどういうことか、などをお話しします。

の前に……

ゲーム開発あるある話

おおっと、大規模アクセス！
インフラエンジニア
がいなかった……
さてどうしようか？
（大規模経験があるインフラエンジニアがいなかったも同義）

1.採用する
2.外部にお願いする
3.自分たちでやる

1.採用する
……とは簡単に言うけれども、
書類→面接→内定→入社→学習の段階を踏まなければならない（長い）です。
普通に考えると、滅茶苦茶早くて３ヶ月、普通に半年覚悟したほうが良いです。
じゃあ、直ぐに来てくれる派遣や業務委託は……？（推して知るべし）
会社のコアとなる（特にインフラエンジニア）が転職市場にポロポロいるわけ
もないのです。
→無理ゲー（知人でこれそうな人がいたら声をかけようレベル）

採用とはお見合いである
困っているほど焦って採ってはいけない

何も考えずに人の数を増やすとプロジェクトは遅れます。
困難を一緒に乗り越えるなら信頼できる方が良い

辛いときに一緒に成長できる仲間の方が良いです。
せっかくだから楽しい方が良い

お互いに成長につながって楽しいと思えるくらいの方が良いです。

2.外部にお願いする
MSPは、運用、監視、保守はやってくれるけれども、
良い感じの設計、計画、実行をお願いするのは正直難しいです。
勿論、無意味では無く自分たちがやらなくていいことは任せましょう。
言ってしまえばやらないといけないと解っていることはお願いできます。
→丸投げは無理（でも、できるだけ良いパートナーを探そう）

でも開発とは助け合いである
「助けて！」は決して恥ずかしくない

助けを求めてみよう。きっと誰か助けてくれます。
だから助けを求められたら助けてあげよう

いつか自分たちが助けてもらえるかもしれません。
秘密にしておく魔法の技術はない

どんな技術も秘密にしておくことではないです。共有しましょう。

3.自分たちでやる
多くのエンジニアはインフラを経験、特に大規模は経験したことがない。
しかし、迫り来る大規模アクセス……！
だったら、自分たちでやるしかないんじゃない？
→現実解、まずやってみる（ただし、いのちをだいじに）

だったら使えるものは
何でも使え……からの
Amazon Web Service
です

【大原則】
やらなくていいことは
極力やらない
適した人／物／サービス
に任せる

AWSを導入する意味
AWSは多くの事を肩代わりしてくれるサービスである
即ちAWSは多くの地雷を踏んできた結果として存在するサービスです。
サービスの提供に必要なものは揃っており、即座に使い始めることができます。
今は自分たちがやるべきことに集中することができる
AWSを利用することで時間を稼ぐことができる。その間に採用を進めることもできます。
あなたは一日や二日で一流のインフラエンジニアになることはできないのですから。
やらないといけないのは決めることである
いかに優れたサービスもするか、も決めてはくれない。時間の使い方を考えましょう！
例えばより面白いゲームのことを考えるとか！

FGOのアーキテクチャ
FGOを構成しているのは
ほぼほぼAWS

困難にあったとき
解決策があるなら
それができるよう
に働きかけること！
（多くの場合は決裁権を持つ人に説明して実行する必要がある）

AWSを使う前の問題
MySQLのバックアップはmysqldumpで12時間かかっていた
最初MySQLはmysqldumpでバックアップしていたので完了まで12時間かかっていました。
要するにバックアップとして機能していませんでした。
夜中にサーバーが落ちまくった（原因不明＝ゆえに対処不可）
夜には多くのユーザーさんが遊ぼうと考える故にサーバーが原因不明で落ちまくりました。
おちおち寝ても居られない状況でした。
負荷が高すぎて捌けない状況が続いた
メンテ開けなどには非常に多くのユーザーさんがプレイされていたため、
ゲームが快適に遊べない状況が続きました。

解決
(概ね)

しかし、今やゲームは生き物です。
DAUは徐々にあがっていますし、
新しい要素が日々入ります。
ので、
日々チューニングをしています。

さて、

「自分たちでやる」からには
今までやったことがないこと
に挑戦しなければ！
さてどうするか？

サーバーは技術の塊である
例えば、データベースはSQLが書ければ操作できるものではない
RDBというのは、巨大なソフトウェアであり、かつ、
CPU、メモリ（実メモリ、仮想メモリ）、
ストレージ（ファイルディスクリプタ、IOPS）、
スレッド（スレッドプール、リード／ライト、パージ）、
コネクター（コネクションプール、最大接続数）、
などなど、実際には様々な要素や概念が複雑に絡み合ったソフトウェアです。
ほかにIIS（Webサーバ）や、Redis、memcachedなどなど構成要素すべてが複雑です。
→サーバーに障害発生！さてどうする

1.本を読む
2.有識者にお願い
3.試行錯誤

1.本を読む
……のは大事だけども、
本に正解はのってない、のってないんです！
本に頼りすぎると頭でっかちになります。（＝本に載っているのは一般論）
頭でっかちになると視野が狭くなるし、間違えるので要注意です。
昔からの格言「推測するな、計測せよ」
→学びは大事、でも答えはそこにない

無意味ではない
即会社用にAmazonでポチった本

オライリー全巻も揃ってます

2.有識者にお願い
……のも１つの手ではあるけど、
有識者の意見はあなたが決めるための判断基準の１つでしかないです。
有識者は決めることはできない、決められるのはあなただけです。
有識者が言ったのだからこうしました、は責任放棄です。
決断を他人に委ねず、自分で見て判断し、そして決めよ！
→知恵を借りるのは大事、
でも決断は自分でする Copyright 2016 DELiGHTWORKS Inc. Al Rights Reserved.

有識者（コンサル）を使う
相談にはのってくれる
多くの場合は、個人でも企業でも最初は無料で来てくれますのでAWS導入でも困ったら
どんどん呼びましょう。ただし、意見が多すぎると混乱しますので浮気しすぎないで。
専門家としてアドバイスはしてくれる
専門家としての見地からアドバイスを貰うことはできます。
ただ、有料になるケースも多々あります。
解決策は提示してくれる
解決策は提示してくれます。しかし、それは結果を保証してくれはしません。

3.試行錯誤する
最終的にはこれしかないのです。
ただし、闇雲にする必要はない（してはいけない）です。
また、過去の経験に捕らわれすぎてもいけないです。
DAUの桁が変われば自ずと対処方も変わると考えてください。
ただ、やれる事が全くない、ということは絶対にないです。
→失敗を恐れず、
正しいと思う事をしようCopyright 2016 DELiGHTWORKS Inc. Al Rights Reserved.

決める事が大事
未曾有の大規模アクセスに対する絶対的な答えはない

大規模アクセスに対する答えが出せる人間なんていません。（断言）
自分で決めなければ誰も決めてはくれない

決める事は恐いことです。
もし自分が決めた事が間違っていたらどうしよう、
取り返しのつかないことになったらどうしよう、と不安になります。
だから時には決める事を他の人に任せたくなります。
でも、決めずにいたら何も進みません。

「やると決めた」
でも、あれもこれも
それもやらないと
あれもつくらないと……！

1.自社開発する
2.開発を委託する
3.既製品を使う

1.自社開発する
それは、本当に今やることですか？
会社には無限のリソースはないので、故にやらないことの選定は最も重要です
開発したとして誰が面倒を見続けるのでしょうか？
開発した人が辞めたらどうするでしょうか？
余裕がないときほど、自前主義は危険です。
→自前で開発するのは意味があるもの
だけに絞る

2.開発を委託する
自社で開発できないなら、お願いしよう、はよくある話です、が。
より大切なこと「正しく開発を回せる人はコードを書ける人よりも少ない」
要件定義から開発進捗管理から、保守運用までが課題になります。
今課題を抱えている状況で課題を増やしてはならないのです。
→他社に開発を委託するのは意味がある
ものに絞る

3.既製品を使う
必ず優れた既製品を使うこと、冒険する必要はないです。
既製品は既にデバッグされていることが多く、検証期間が最短ですみます。
それは、即ち多くの地雷を踏み、多くの状況に対応してきたことに他ならない
ことを意味しています。
→既にあるものは買えば良い
ただし、必要なものだけ

AWSは最高の既製品である
オンプレじゃないとパフォーマンスが……、
プライベートクラウドじゃないとセキュリティが……、
様々な意見はあれど、AWSは様々なゲームで使われている製品です。
→トップセールス１位のゲームを
支える製品なのが実証済み

FGOでも利用している既製品
GitHub(https://github.com/)

言わずと知れたGitとそれに適したUIを提供するサービス

Sentry(https://getsentry.com/welcome/)

サーバーサイドの（クライアントからもあげられるが）例外のトラッキングツール

New Relic(https://newrelic.com/)

最高のアプリケーションパフォーマンスモニタリングツール

BigQuery(https://cloud.google.com/bigquery/)

Google製データウェアハウスと解析サービス

ModeAnalytics(https://modeanalytics.com/)

MySQLやBigQueryと接続できる簡易BIツール


車輪の再発明は止めよう
念力デバッグも止めよう

便利なのは解ったけど
AWSなどに任せていると
本質的な事を
学べないのでは？

AWSや
便利なサービスがあるなら
エンジニアとして
どうやって生きていく？

1.新しい事に飛びつく
2.スペシャリストになる
3.万能選手になる

1.新しいものに飛びつく
その技術は確かに新しい、新しいけども……？
「新しい技術の第一人者になる」という方法は確かにあります。
しかし、流行廃りが激しいのが技術の常、
新しい技術は定着するか誰にもわからないです。
→新しいことが良いことではない

2.スペシャリストになる
類似に「マネージャーになる」もあります。
「マネージャーになる」「スペシャリストになる」というのはどういうことか
考えたことがあるでしょうか。
スペシャリストは自分の分野だけやっていれば良いわけではないし、
マネージャーはマネジメントしていれば良いわけでもないです。
何かのスペシャリストであることは単に他の何かを知らない事ではないのです。
→スペシャリストとはなんぞや
を考えないと未来がない

3.万能選手になる
即ち「本質的なことを学び、本質的なことをやろう」という話です。
万能選手は滅多にいない、からこそ価値があります。
自分の領域じゃない、は体の良い言い訳になるので、
できるだけ腕を磨きましょう。
AWSを実装できる必要はなく、AWSを使いこなせれば良いのですから。
→知らない、できないを言い訳にせず
腕を磨こう

まとめ
インフラは今もAWSの便利な部分をどんどん取り込んでいる
単にサーバー負荷のためだけでなく、効率化やコストの観点からAWSのサービス
を使いこなすようにしています。
サーバープログラムはゲームにあわせて最適化を頑張る！
今やヒットしてから考えよう！では遅く、海外からの不正アクセスもあります。
また、ゲームは成長していくものだということを意識して開発しましょう。
AWSを使うのは本質的な時間の確保と利用のため
今やゲーム開発は複雑化してます、だからやることとやらないことを決めよう！

最後に

SSSSLIDE

Fate/Grand Orderにおける、ディライトワークス流AWS導入＆活用術(CEDEC 2016編)

Yuki Tamura さんの他のスライド

関連するスライド

このスライドの内容

関連するタグ

SSSSLIDE