AWS Athena のパーティションプロジェクション

2020 年 6 月に導入された Athena のパーティションプロジェクションにより、新しいパーティションを追加するために手動で MSCK REPAIR TABLE を実行する必要がなくなります。

Takahiro Iwasa

2021-10-08

4 min read

2020 年 6 月に導入された Athena のパーティションプロジェクションを使うと、新しいパーティションを追加するために手動で MSCK REPAIR TABLE を実行する必要がなくなります。

バックエンドの構築

CloudFormation テンプレートで重要なのは、GlueTable 定義内の GlueTable.TableInput.Parameters セクション（27〜35 行目）です。このセクションでは、以下の重要なプロパティを使ってパーティションプロジェクションを有効化しています。

projection.enabled: パーティションプロジェクションを有効にします。
projection.year_month.format: パーティションの日付フォーマットを指定します。
projection.year_month.range: パーティションの範囲を定義し、オフセット付きの NOW（例: NOW+9HOURS）にも対応します。

💡 Tip

projection.year_month.range プロパティは UTC として扱われます。別のタイムゾーンを使いたい場合は、NOW+9HOURS のような形式で時差を明示的に指定する必要があります。

詳細は公式ドキュメントを参照してください。

1
AWSTemplateFormatVersion: "2010-09-09"
2
Description: Stack for Athena partition projection sample
3
Resources:
4
  S3:
5
    Type: AWS::S3::Bucket
6
    Properties:
7
      BucketName: athena-partition-projection-logs
8
      BucketEncryption:
9
        ServerSideEncryptionConfiguration:
10
          - ServerSideEncryptionByDefault:
11
              SSEAlgorithm: AES256
12

13
  GlueDatabase:
14
    Type: AWS::Glue::Database
15
    Properties:
16
      DatabaseInput:
17
        Name: sample
18
      CatalogId: !Ref AWS::AccountId
19

20
  GlueTable:
21
    Type: AWS::Glue::Table
22
    Properties:
23
      DatabaseName: !Ref GlueDatabase
24
      CatalogId: !Ref AWS::AccountId
25
      TableInput:
26
        TableType: EXTERNAL_TABLE
27
        Parameters:
28
          classification: json
29
          "projection.enabled": true
30
          "projection.year_month.format": yyyy/MM
31
          "projection.year_month.interval": 1
32
          "projection.year_month.interval.unit": MONTHS
33
          "projection.year_month.range": 2021/09,NOW
34
          "projection.year_month.type": date
35
          "storage.location.template": s3://athena-partition-projection-logs/${year_month}
36
        StorageDescriptor:
37
          Columns:
38
            - Name: id
39
              Type: int
40
            - Name: message
41
              Type: string
42
          Location: !Sub s3://${S3}/
43
          InputFormat: org.apache.hadoop.mapred.TextInputFormat
44
          OutputFormat: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
45
          Compressed: false
46
          NumberOfBuckets: 0
47
          SerdeInfo:
48
            SerializationLibrary: org.openx.data.jsonserde.JsonSerDe
49
            Parameters:
50
              paths: id,message
51
          StoredAsSubDirectories: false
52
        PartitionKeys:
53
          - Name: year_month
54
            Type: string
55
        Retention: 0
56
        Name: sample_logs

CloudFormation スタックをデプロイします。

aws cloudformation deploy \
  --template-file stack.yml \
  --stack-name athena-partition-projection-sample

データのアップロード

続けて、テストデータを S3 バケットにアップロードします。

echo '{"id": 1, "message": "hello"}' > 2021-09.json
echo '{"id": 2, "message": "world"}' > 2021-10.json
aws s3 cp 2021-09.json s3://athena-partition-projection-logs/2021/09/
aws s3 cp 2021-10.json s3://athena-partition-projection-logs/2021/10/

ファイルがアップロードされたことを確認します。

aws s3 ls s3://athena-partition-projection-logs/2021/

データのクエリ

2021/09 パーティションからデータを取得し、プロジェクションが機能していることを確認します。

1
SELECT * FROM "sample"."sample_logs"
2
WHERE year_month = '2021/09'
3
LIMIT 10;

期待される結果:

1
1  hello  2021/09

2021/10 パーティションも同様に動作します。

1
SELECT * FROM "sample"."sample_logs"
2
WHERE year_month = '2021/10'
3
LIMIT 10;

期待される結果:

1
2  world  2021/10

後片付け

この例で作成したリソースは、以下のコマンドで削除します。

aws s3 rm --recursive s3://athena-partition-projection-logs
aws cloudformation delete-stack --stack-name athena-partition-projection-sample

まとめ

パーティションプロジェクションを有効化した Glue テーブルをデプロイしたところ、新しくアップロードされた year_month パーティションを、MSCK REPAIR TABLE の実行を挟むことなく Athena が即座にクエリできるとわかりました。projection.enabled: true と projection.year_month.range: 2021/09,NOW を組み合わせて設定すると、Athena は Glue カタログを参照する代わりに、範囲とフォーマットから有効なパーティションを数学的に計算します。そのため、新しい月のデータが届くたびにカタログのエントリを更新する必要がありません。この計算は storage.location.template が実際の S3 キーのレイアウトと一致していることに完全に依存しており、また NOW は UTC で評価されるため、ローカルの暦月に合わせたい範囲には NOW+9HOURS のような明示的なオフセットが必要です。そうしないと、タイムゾーンの差分の時間だけ、プロジェクションされたパーティションが実データからずれてしまいます。

記事一覧に戻る