AWS Athena のパーティションプロジェクション

Athena のパーティションプロジェクションを使い、パーティションを Glue Data Catalog へ個別に追加せずにクエリする方法を解説します。

Takahiro Iwasa

2021-10-08

4 min read

2020 年 6 月に導入された Athena のパーティションプロジェクションを使うと、Glue Data Catalog から個々のパーティションを取得せず、Athena がパーティションの場所を計算します。新しいパーティションを追加するたびに MSCK REPAIR TABLE を実行する必要がありません。

設定

CloudFormation テンプレートの GlueTable.TableInput.Parameters セクション（27〜35 行目）で、以下のプロパティを指定してパーティションプロジェクションを有効にします。

projection.enabled: パーティションプロジェクションを有効にします。
projection.year_month.format: パーティションの日付フォーマットを指定します。
projection.year_month.range: パーティションの範囲を定義し、オフセット付きの NOW（例: NOW+9HOURS）にも対応します。

💡 Tip

projection.year_month.range プロパティは UTC として扱われます。別のタイムゾーンを使いたい場合は、NOW+9HOURS のような形式で時差を明示的に指定する必要があります。

詳細は公式ドキュメントを参照してください。

1
AWSTemplateFormatVersion: "2010-09-09"
2
Description: Stack for Athena partition projection sample
3
Resources:
4
  S3:
5
    Type: AWS::S3::Bucket
6
    Properties:
7
      BucketName: athena-partition-projection-logs
8
      BucketEncryption:
9
        ServerSideEncryptionConfiguration:
10
          - ServerSideEncryptionByDefault:
11
              SSEAlgorithm: AES256
12

13
  GlueDatabase:
14
    Type: AWS::Glue::Database
15
    Properties:
16
      DatabaseInput:
17
        Name: sample
18
      CatalogId: !Ref AWS::AccountId
19

20
  GlueTable:
21
    Type: AWS::Glue::Table
22
    Properties:
23
      DatabaseName: !Ref GlueDatabase
24
      CatalogId: !Ref AWS::AccountId
25
      TableInput:
26
        TableType: EXTERNAL_TABLE
27
        Parameters:
28
          classification: json
29
          "projection.enabled": true
30
          "projection.year_month.format": yyyy/MM
31
          "projection.year_month.interval": 1
32
          "projection.year_month.interval.unit": MONTHS
33
          "projection.year_month.range": 2021/09,NOW
34
          "projection.year_month.type": date
35
          "storage.location.template": s3://athena-partition-projection-logs/${year_month}
36
        StorageDescriptor:
37
          Columns:
38
            - Name: id
39
              Type: int
40
            - Name: message
41
              Type: string
42
          Location: !Sub s3://${S3}/
43
          InputFormat: org.apache.hadoop.mapred.TextInputFormat
44
          OutputFormat: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
45
          Compressed: false
46
          NumberOfBuckets: 0
47
          SerdeInfo:
48
            SerializationLibrary: org.openx.data.jsonserde.JsonSerDe
49
            Parameters:
50
              paths: id,message
51
          StoredAsSubDirectories: false
52
        PartitionKeys:
53
          - Name: year_month
54
            Type: string
55
        Retention: 0
56
        Name: sample_logs

CloudFormation スタックをデプロイします。

aws cloudformation deploy \
  --template-file stack.yml \
  --stack-name athena-partition-projection-sample

データのアップロード

続けて、テストデータを S3 バケットにアップロードします。

echo '{"id": 1, "message": "hello"}' > 2021-09.json
echo '{"id": 2, "message": "world"}' > 2021-10.json
aws s3 cp 2021-09.json s3://athena-partition-projection-logs/2021/09/
aws s3 cp 2021-10.json s3://athena-partition-projection-logs/2021/10/

ファイルがアップロードされたことを確認します。

aws s3 ls s3://athena-partition-projection-logs/2021/

データのクエリ

2021/09 パーティションからデータを取得し、プロジェクションが機能していることを確認します。

1
SELECT * FROM "sample"."sample_logs"
2
WHERE year_month = '2021/09'
3
LIMIT 10;

期待される結果:

1
1  hello  2021/09

2021/10 パーティションも同様に動作します。

1
SELECT * FROM "sample"."sample_logs"
2
WHERE year_month = '2021/10'
3
LIMIT 10;

期待される結果:

1
2  world  2021/10

後片付け

この例で作成したリソースは、以下のコマンドで削除します。

aws s3 rm --recursive s3://athena-partition-projection-logs
aws cloudformation delete-stack --stack-name athena-partition-projection-sample

まとめ

Glue テーブルでパーティションプロジェクションを有効にすると、MSCK REPAIR TABLE を実行せずに、新しくアップロードした year_month パーティションを Athena からクエリできます。

projection.enabled: true と projection.year_month.range: 2021/09,NOW を設定すると、Athena は Glue Data Catalog を参照せず、指定した範囲とフォーマットから有効なパーティションを導出します。新しい月のデータが追加されても、カタログへエントリを登録する必要はありません。

storage.location.template は、実際の S3 キーの構成と一致させる必要があります。また、NOW は UTC で評価されるため、別のタイムゾーンに範囲を合わせる場合は、NOW+9HOURS のようにオフセットを明示してください。

記事一覧に戻る