AWS Glue 使い始め メモ

ついに Generally Available になりました。 AWS Glue ですね。 現実的にはどういった感じなのか調べてみる。

aws.amazon.com

データベース

テーブル

• 接続できる「テーブル」はいまのところ S3 バケット/オブジェクト
• 利用できるデータフォーマットは以下
  • Avro
  • CSV
  • JSON
  • Parquet
• テーブルの追加は「Add tables using a crawler」と「Add tables manually」がある。
• Add tables manually だと、スキーマを自分で編集する必要がある。

クローラ

• こちらもクローリングできるのはS3のみ。

データベース接続

• 作成できるデータベース接続は以下
  • Redshift
  • RDS
  • JDBC
• JDBC 接続は、VPC内にコネクタがないとダメっぽいので、DBはAWSの世界のなかにある必要がある。つまり、異なるDBを自由に繋げるわけでなく、あくまで AWS の世界にあるDBを接続するイメージ