ConnectionType接続先custom.*Spark、Athena、または JDBC データストアdocumentdbAmazon DocumentDB (MongoDB 互換) データベースdynamodbAmazon DynamoDB データベースkafkaKafka または Amazon Managed Streaming for Apache KafkakinesisAmazon Kinesis Data Streamsmarketplace.*Spark、Athena、または JDBC データストアmongodbMongoDB データベースmysqlMySQL データベースoracleOracle データベースorcApache Hive Optimized Row Columnar (ORC) ファイル形式で Amazon Simple Storage Service (Amazon S3) に保存されたファイルparquetApache Parquet ファイル形式で Amazon S3 に保存されたファイルpostgresqlPostgreSQL データベースRedshiftAmazon Redshift データベースs3Simple Storage Service (Amazon S3)sqlserverMicrosoft SQL Server データベース

パラメータ必須設定値説明dynamodb.input.tableName○
読み取り元の DynamoDB テーブル。dynamodb.throughput.read.percent
・デフォルトでは、”0.5″
・許容値は “0.1” から “1.5”・使用する読み込みキャパシティーユニット (RCU) の割合。

・0.5 ではデフォルトの読み込み速度を表し、AWS Glue はテーブルのRCUの半分を消費しようとすることを意味する

・DynamoDB テーブルがオンデマンドモードの場合、AWS Glue はテーブルの読み取り容量を 40000 として処理するとのこと。
大きなテーブルをエクスポートする場合は、DynamoDB テーブルをオンデマンドモードに切り替えることを推奨とのこと。dynamodb.splits
・デフォルトでは、”1″
・許容値は “1” から “1,000,000”・読み取り中にこの DynamoDB テーブルを分割するパーティションの数を定義する。

・1 は並列処理がないことを意味している。より良いパフォーマンスを得るためには、より大きな値を指定することを強く推奨とのこと。dynamodb.sts.roleArn

・クロスアカウントアクセスのために引き受ける IAM ロール の ARN。dynamodb.sts.roleSessionName

STS セッション名。デフォルトでは、「glue-dynamodb-read-sts-session」に設定されている。

パラメータ必須設定値説明dynamodb.export○ddb,s3・ddb に設定すると、AWS Glue DynamoDB エクスポートコネクタが有効になり、AWS Glue ジョブ中に新しい ExportTableToPointInTimeRequest が呼び出されるdynamodb.s3.bucket と dynamodb.s3.prefix から渡された場所で新しいエクスポートが生成される。

・s3 に設定すると、AWS Glue DynamoDB エクスポートコネクタが有効になるが、新しい DynamoDB エクスポートの作成はスキップされ、代わりに dynamodb.s3.bucket と dynamodb.s3.prefix がそのテーブルの過去のエクスポートの Amazon S3 ロケーションとして使用されるdynamodb.tableArn○読み取り元の DynamoDB テーブルのARN
dynamodb.unnestDDBJson
ブール値
デフォルト値は false に設定true に設定すると、エクスポートに存在する DynamoDB JSON 構造体のネスト解除の変換が実行される。dynamodb.s3.bucket
DynamoDB ExportTableToPointInTime プロセスが実行される Simple Storage Service (Amazon S3) バケットの場所を示すエクスポートファイル形式は DynamoDB JSON。
・dynamodb.s3.prefixやdynamodb.s3.bucketOwnerなどのオプションもある。dynamodb.sts.roleArn
IAMロールのARNDynamoDB テーブルのクロスアカウントアクセスおよび/またはクロスリージョンアクセスのために割り当てる IAM ロール の ARN。dynamodb.sts.roleSessionName
STS セッション名
デフォルトでは、「glue-dynamodb-read-sts-session」に設定

パラメータ必須設定値説明dynamodb.output.tableName○書き込み先の DynamoDB テーブル。
dynamodb.throughput.write.percent
・使用する書き込みキャパシティーユニット (WCU) の割合。
・デフォルトでは、”0.5″
・許容値は “0.1” から “1.5”0.5 ではデフォルトの読み込み速度を表し、AWS Glue はテーブルの書き込み容量の半分を消費しようとすることを意味する。
上記の値を 0.5 より上に設定すると、AWS Glue は書き込みリクエストレートを増加させ、0.5 より低くした場合はそのリクエストレートを減少

・DynamoDB テーブルがオンデマンドモードの場合、AWS Glue はテーブルの書き込み容量を 40000 として処理する。大きなテーブルをインポートする場合は、DynamoDB テーブルをオンデマンドモードに切り替えることを推奨。dynamodb.output.numParallelTasks
同時に DynamoDB に書き込める並列タスクの数Spark タスクごとに許容される WCU を計算するために使用。
詳細は、マニュアルを確認してください。dynamodb.output.retry
・再実行回数
・デフォルトでは10DynamoDB から ProvisionedThroughputExceededException が送られている場合の、再試行の実行回数を定義。dynamodb.sts.roleArn
IAMロールのARNクロスアカウントアクセスのために引き受ける IAM ロール の ARN。dynamodb.sts.roleSessionName
(任意) STS セッション名。デフォルトでは、「glue-dynamodb-write-sts-session」に設定