AWS和GCP的对比表
摘要
我在2021年首次接触了AWS和GCP,并进行了学习,以下是我将它们整理成的备忘录。
由于这是为GCP的PDE考试准备的内容,所以以GCP为主。
– 红色-> AWS
– 蓝色-> GCP
※我认为除了整理出的服务外,可能还有其他服务,请谅解。
服务器、存储、网络系统
仮想マシン、VMインスタンス
EC2, lightsail, fargate <-> GCE
アプリケーションプラットホーム
Elastic Beanstalk <-> GAE
GAEについて
standard: ノンメンテナンス運用向け
flexible: 柔軟性&できるだけノンメンテナンス
cronサービス:指定した時刻、一定間隔で動作する定期スケジュールタスクを構成することができる
Dockerコンテナ
ECS, EKS, Fargate <-> GKE
サーバレスアーキテクチャ
Lambda <-> Cloud Function
オブジェクトストレージ
S3 <-> GCS
アーカイブストレージ(GCS)
Cloud Nearline:月1回程度のアクセス
Cloud Coldline:年1回程度のアクセス
どちらも1秒でレスポンス可能
Redisフルマネージドサービス
ElastiCache <-> Cloud Memorystore
Cloud MemorystoreはGAEに標準で装備されている
仮想マシンにマウントしてアクセスできるファイルシステム
Elastic File System <-> Cloud Storage FUSE, Cloud Filestore
オンプレミスサーバーをクラウドへ移行するためのサービス
Snowball, Snowball Edge, Snowmobile <-> Cloud Data Transfer
オンプレミスサーバーにマウントしているディスクをクラウドから読み書き可能にするサービス
Storage Gateway <-> VPC Service Control
ロードバランサーサービス(L4,L7の負荷分散)
ELB <-> Cloud Load Balancing
自社環境とクラウドをセキュアに接続するネットワーク(L2)
Direct Connect <-> Cloud Interconnect
Cloud Interconnectの種類
Partner Interconnect(Googleのロケーションに直接接続できない場合、速いトラフィックが必要ない場合に選択)
Dedicated Interconnect(Googleのネットワークに直接続できる場合、速いトラフィックが必要な場合に選択)
仮想ネットワーク(L3)
VPC <-> VPC
DNSのフルマネージドサービス
Route 53 <-> Cloud DNS
CDNのフルマネージドサービス
Cloud Front <-> Cloud CDN
数据库系统
RDBMS
RDS, Aurora <-> Cloud SQL
Cloud SQLはRDSに比べて扱える種類が「MySQL」と「PostgeSQL」の2種類
JSON形式のデータは扱えない
ストレージは大きくなく10TBと30TBくらいの規模まで
NoSQL
DynamoDB, Neptune <-> Cloud Bigtable, Cloud Datastore(現在はFirebase)
Cloud Bigtable: ストレージは数TB,数PB、NoSQLデータベース
Cloud Datastore: トランザクションにも使える(ACIDをサポートしている)、CSV形式のデータは扱えない、NoSQLドキュメントデータベース
分散型RDBMS
Aurora Serverless <-> Cloud Spanner
Cloud Spanner(フルマネージド)
ストロングコンシステンシーとスケーラビリティを兼備
グローバルに水平方向にスケーラブル可能
メタデータの保存に適している(関連: Data Catalog)
99.999%の可用性、無制限のスケーリング
RDBでありながらNoSQLの特徴も持っている
複数リージョン間でアクセスされた時に強力なトランザクションの一貫性を保証している
大数据领域
データウェアハウス
RedShift, Athena <-> BigQuery
バッチ処理&ストリーミング処理
AWS Batch, Kinesis, SWF, Data Pipeline <-> Cloud Dataflow
分散処理プラットフォーム
Elastic Map Reduce <-> Cloud Dataproc
ブラウザからPythonを記述、実行できるサービス
SageMaker <-> Cloud Datalab(現在はGoogle Colab)
オーケストレーションサービス
サービスなし <-> Cloud Composer
ETLツール
Glue <-> Cloud Dataprep
非同期メッセージングサービス
SNS, SQS <-> Cloud Pub/Sub
遺伝子解析サービス
サービスなし <-> Google Genomics
BIツール
Quick Sight <-> Google Data Studio(現在はデータポータル)
Google Data Studio
Cloud StorageやBigQueryなど連携可能
チャンネルデータ用にyoutubeも設定可能
データソースのデータキャッシュするが設定で微調整することができる
IoT
IoT Core, MQ, Greengrass, IoT Analytics, FreeRTOS, IoT Device Defender <-> IoT Core
机器学习系
機械学習サービス
Machine Learning, 深層学習AMI, ApacheMXNet, TensorFlow <-> Google Cloud Machine Learning
自然言語処理解析サービス
Comprehend <-> Google Cloud Natural Language API
Google Cloud Natural Language API
自然言語分析、構文解析や感情分析を行うことができる
音声のテキスト変換サービス
Comprehend, Polly, Transcribe <-> Cloud Speech API
テキスト翻訳サービス
Translate <-> Cloud Translation API
画像分析サービス
Rekognition, DeepLens <-> Cloud Vision API
Cloud Vision API
不適切画像の検出
文字認識(OCR)
動画コンテンツ分析(メタデータの抽出)
サービスなし <-> Cloud Video Intelligence API
音声/テキスト対応のチャットbot(意外と問題で出てくる)
Lex <-> Dialogflow
ログサービス
Cloud Watch <-> Stackdriver Monitoring
Stackdriver Monitoring
ロギング、モニタリング、アラート、パフォーマンスなど監視可能
一部GCPからAWSの監視も可能
リソースの作成と管理を自動化するインフラストラクチャ デプロイ サービス
Cloud Formation <-> Cloud Deployment Manager
API管理ツール
API Gateway <-> Cloud Endpoints
+α
AI Platform
シリアル化されたトレーニング済みモデルを保存している
モデルとしてサービスに渡し、バージョンを管理することができる(関連: A/Bテスト)
オンライン予測は応答メッセージで返却
バッチ予測はより複雑なモデルで大量の予測を処理
ユーザーアクティビティ監視サービス(誰がどこで何をしたか確認可能)
AWS CloudTrail <-> Cloud Audit Logs
安全相关
IAM
IAM <-> Cloud IAM
ファイアウォール
WAF <-> Cloud Armor
DDos対策
Shield <-> Cloud Load Balancing, Cloud Armor
有时候在学习偏微分方程时,会偶尔看到的服务。
-
- Cloud Source Repositories: Gitリポジトリをホストして設計・開発・管理可能
-
- Tensorflowライブラリ: 無人店舗向けの高度なコンピュータービジョン用のモデルトレーニング可能
-
- Tensorflow Hub: トレーニング済み機械学習モデルのリポジトリ
-
- Apache Kafka: OSSのメッセージ配信サービス、サブスクライバーはpull型のみ採用、サーバレスではない、KafkaIOでDataflowと相互に接続することができる、メッセージ順序の保証、保存期間は任意で設定することができる
- Cloud Speech to Text API(Speech API):会話を文字に起こすことができるAPI、短い音声ファイル(1分未満)は同期モードで読み取る