Serverless Fukuoka #3

## Scalable Serverless DataReceiver Serverless Meetup Fukuoka #3 清家史郎(@seike460)

###### Who? Fusic Co., Ltd.  清家史郎  @seike460    

### tech - Program Language - PHP - Go - Elixir - infrastructure - Server - infrastructure as code - Network - Other - Serverless(AWS) - Vue.js

### products - s3ry (s3 prompt cli) - https://github.com/seike460/s3ry - utakata (Serverless Slack Notificatier) - https://github.com/seike460/utakata ### Organizer - Serverless Meetup Fukuoka

#### Agenda - なにをしたいか? <!-- .element: class="fragment" --> - どうやるのか？ <!-- .element: class="fragment" --> - アーキテクチャ <!-- .element: class="fragment" --> - まとめ <!-- .element: class="fragment" -->

#### なにをしたいか？ 無尽蔵かつ無慈悲なデータを受け付けるDataReceiver <!-- .element: class="fragment" --> - 送信元は無尽蔵に増える(はず) <!-- .element: class="fragment" --> - 間隔任意 <!-- .element: class="fragment" --> - データスキーマ任意 <!-- .element: class="fragment" --> ## かなりの負荷がかかるはず <!-- .element: class="fragment" -->

#### どう対策するか？(当初想定) ##### 耐障害性の高いElixirで受けきる <!-- .element: class="fragment" -->  <!-- .element: class="fragment" -->

##### 普及により、無数のデータが…  <!-- .element: class="fragment" -->

##### 追加対策案 - 制約を加える <!-- .element: class="fragment" --> - サービス品質の低下 <!-- .element: class="fragment" --> - 金で殴る <!-- .element: class="fragment" --> - コスト原因でサービス終了の可能性 <!-- .element: class="fragment" --> - 技術で戦う <!-- .element: class="fragment" --> - 💪 <!-- .element: class="fragment" -->

##### 話は変わり… http://tokyo.serverlessconf.io <!-- .element: class="fragment" -->  <!-- .element: class="fragment" -->

リクルートライフスタイル様 ##### The Design for Serverless ETL Pipeline <iframe src="//www.slideshare.net/slideshow/embed_code/key/zr4VYtv9tguo17" width="595" height="485" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" style="border:1px solid #CCC; border-width:1px; margin-bottom:5px; max-width: 100%;" allowfullscreen> </iframe>

Serverless ETL Pipeline  <!-- .element: class="fragment" -->

このServerless Architecture をWEBArchitectureに応用

##### 要件の確認 - Dataが無慈悲に来る <!-- .element: class="fragment" --> - 受け口はデータ損失を行わないように耐障害性が必要 <!-- .element: class="fragment" --> - Dataは無尽蔵に増えうる <!-- .element: class="fragment" --> - scalabilityが必要 <!-- .element: class="fragment" --> - Data保存の即時性は必要なのか？ <!-- .element: class="fragment" --> - ブラウザから時系列でデータが確認出来れば良い、非必須 <!-- .element: class="fragment" --> - お金 <!-- .element: class="fragment" --> - ない <!-- .element: class="fragment" --> ## Serverlessチャンス <!-- .element: class="fragment" -->

##### 使うAWS Service - API Gateway - API のエンドポイントを提供し、バックエンドにサービス指定可 - API Lambda - AWSをServerlessたらしめるもの - Inputに応じた処理を実行してくれる - Input -> HTTP Request - Output -> HTT PResponse - SQS - フルマネージド型メッセージキューイングサービス

- DynamoDB - フルマネージド型非リレーショナルデータベース - スケーラビリティが高い - App Sync - フルマネージド型サーバーレスGraphQLサービス - DynamoDBをデータソースにすることが可能

##### 今までの僕なら…  - API Request = Lambda起動数 <!-- .element: class="fragment" --> - Lambdaの制約が入る <!-- .element: class="fragment" -->


 - API Request ≠ Lambda起動数<!-- .element: class="fragment" --> - SQS にデータキューイング <!-- .element: class="fragment" --> - AWS Batch、ECSとの連携の可能性を残す <!-- .element: class="fragment" -->

##### Scalable Serverless DataReceiver  <!-- .element: class="fragment" --> - API Gateway からSQSにデータを入れる <!-- .element: class="fragment" --> - Lambda で SQS pollingさせてdynamodbにつっこむ <!-- .element: class="fragment" --> - WEBブラウザからはApp Sync(Graphql)を利用してAPIリクエスト削減 <!-- .element: class="fragment" --> - DynamoDB Streams を利用してS3にData Rakeも作成可能な構成 <!-- .element: class="fragment" -->

##### まとめ - 有限リソースでは難しいScalableな構成を意識したArchitecture <!-- .element: class="fragment" --> - ミニマムスタート可能かつ規模拡大を意識した設計 <!-- .element: class="fragment" --> - 実サーバでももちろん実現は可能 <!-- .element: class="fragment" --> - 実現するためのArchitectureではなくて最適なArchitecture <!-- .element: class="fragment" --> - 今後の拡張性も含めた構成 <!-- .element: class="fragment" --> - 各エンドポイントの役割を分割する事による拡張性 <!-- .element: class="fragment" -->

Thank you! Fusicは技術が大好きなエンジニアを募集しています  https://fusic.github.io/