ふるさとチョイスを取り巻くインフラ環境2022 - トラストバンクテックブログ

例年開催している、「ふるさとチョイス大感謝祭」や「ふるさとチョイスAWARD」の特設サイト daikanshasai.furusato-tax.jp award.furusato-tax.jp
今年からCloudflare Pagesを採用して、サーバレスと構成なっています🎉
- Cloudflare Zero Trustで認証機能をつけることができたり、PR毎のプレビュー環境機能があったりとすごく便利です
当初はその他社内ツールで使い始めたCloudflare Pagesでしたが、上記特設ページ以外にもいくつかの静的ページでの利用が進んでいます
- (FunctionsやR2、D1も活用してみたい)

トラフィック特性

Cloudflareで受けている、月ごとのトラフィック総量をグラフにしてみました。

一年の上半期とくらべると、12月は5倍ほどのトラフィック量となっており、やはり年末である12月が1年でトラフィックが最も増えるシーズンとなっています。

CDNの後ろにいるWEBサーバのアクセス数はこんな感じです。

具体的な数字はお見せできないですが、11月頃から徐々に増えはじめ、世間的に年末休みとなる頃から大晦日にかけて爆増する様子です。

通常の平日深夜帯は下図のとおりアクセス数は指数的に減少していく傾向となっています。

しかし、2022/12/6(火)の深夜帯はこのように3:00頃までアクセス数に波があり、その後線形的に減少していくといった傾向となっていました。

お気づきの方もいるかもしれませんが、この日はサッカーW杯のクロアチア戦が0:00キックオフで皆さん夜ふかししていたようです⚽️

1:00前後でアクセスが急上昇しているのは、ABEMAでW杯配信のアクセス制限がかかったタイミングが影響していたりするのかもしれないです。

こんなトラフィック特性のトラストバンクの年末をどのようなマシン構成で迎えるか？とあるアプリケーションサーバのスペックは...

\ドン！！/

とあるDBのスペックは... \ドドン！！/

といった具合に各サーバ専有ホストで、 * アプリケーションサーバ: 10core、24GBのマシン数十台 * DBサーバ: 20core、224GB(最大スペック)のマシンを数十台を並べて12月の大規模トラフィックを待ち受けています💪

ここでは、ふるさとチョイス、ふるさとチョイスCMSのデプロイフローを紹介します。コード管理にはGithub Enterprise Serverを利用しており、デプロイツールにはJenkinsを利用しています。

PR作成をトリガーとした自動デプロイのフローと、JenkinsのWeb UI上から起動する手動デプロイがあります。

下図のようにパラメータ指定で環境、ブランチ、AWS or さくらを指定できる事ができるようになっています。

AWSへのデプロイフローは昨年時点で完成していましたが、さくら環境へののデプロイフローは今年追加したので後述します。

弊社の開発・ステージング環境はAWSで構築しており、大きくtest/staging環境とfeature環境と呼ぶ2つがあります。

feature環境
- Jenkinsパイプラインを用いてGithub上でPRが作成されると立ち上がる環境(上図青線)
- 詳しい説明はSREのTocyukiが昨年書いたアドベントカレンダーをどうぞ qiita.com
test/staging環境
- JenkinsのUI操作でデプロイができ、特定のドメインが割り当てられている環境(上図緑線)
- test環境に関しては、ドメインに依存する検証などのfeature環境で実施できない検証を行う用途で利用します
- staging環境は、本番相当のデータを用いた検証やを実施するような目的で利用されています

各サーバへのデプロイにはlsyncが使われており、親となるmasterサーバにリソースが配置されると各サーバに配布される仕組みとなっています。

仕組みが昨年まではmasterサーバ上でgit pullすることでの更新となっていましたが、前述の通り、今年はtest/staging環境同様にJenkinsのUI上からデプロイすることができるようにしました🎉

masterサーバをオンプレミスインスタンスとしてCodeDeployへ登録し、デプロイグループを追加することで同一のアプリケーションでAWS/さくら両環境へのデプロイを可能としています。

工夫点として、appspec.ymlのBefore/AfterInstallで各グループで違う処理をさせたかったため、以下のようなbashの変数展開を使って条件分岐させています。

if [ ! ${DEPLOYMENT_GROUP_NAME%%*-for-sakura} ]; then
  # デプロイメントグループ名が-for-sakuraである時に実行
else
  # デプロイメントグループ名が-for-sakuraでない時に実行
fi

思いの外ふるさとチョイスに関連するインフラ環境のアップデートが多く、1年を振り返る良い機会になったと共に、徐々にインフラ環境が改善されていっていることを改めて実感しました。

~~昨年の転載で手抜きできるかなと思って書き始めたとは言えない~~

来年もCloudflareやAWSを活用したアップデートをお届けできるように精進していきます💪

この記事もですが、

明日は今年JoinしたSREのiwateaがなにか書いてくれる予定ですのでお楽しみに🥳

弊社ではSREを絶賛募集中です。興味がある方はぜひ一度お話しましょう！