AWS S3 通知における s3:TestEvent のよくある落とし穴を避ける

S3 バケットにイベント通知を設定すると、S3 から s3:TestEvent メッセージが自動的に送信されます。このテストメッセージを適切に扱わないと、予期しない問題を引き起こすことがあります。

Takahiro Iwasa

2020-12-29

3 min read

S3 バケットにイベント通知を設定すると、S3 から s3:TestEvent メッセージが自動的に送信されます。このテストメッセージを適切に扱わないと、予期しない問題を引き起こすことがあります。

https://docs.aws.amazon.com/AmazonS3/latest/userguide/notification-content-structure.html

When you configure an event notification on a bucket, Amazon S3 sends a test message with the s3:TestEvent.

構築

CloudFormation スタックのテンプレートを作成します。

1
AWSTemplateFormatVersion: "2010-09-09"
2
Description: Example of CloudWatch events not queueing to SSE SQS
3
Resources:
4
  Bucket:
5
    Type: AWS::S3::Bucket
6
    Properties:
7
      BucketEncryption:
8
        ServerSideEncryptionConfiguration:
9
          - ServerSideEncryptionByDefault:
10
              SSEAlgorithm: AES256
11
      NotificationConfiguration:
12
        QueueConfigurations:
13
          - Event: 's3:ObjectCreated:Put'
14
            Queue: !GetAtt Queue.Arn
15
      PublicAccessBlockConfiguration:
16
        BlockPublicAcls: true
17
        BlockPublicPolicy: true
18
        IgnorePublicAcls: true
19
        RestrictPublicBuckets: true
20

21
  Queue:
22
    Type: AWS::SQS::Queue
23
    Properties:
24
      QueueName: s3-event-notification-test-queue
25
      ReceiveMessageWaitTimeSeconds: 20
26

27
  QueuePolicy:
28
    Type: AWS::SQS::QueuePolicy
29
    Properties:
30
      PolicyDocument:
31
        Version: '2008-10-17'
32
        Statement:
33
          - Effect: Allow
34
            Principal:
35
              Service: s3.amazonaws.com
36
            Action:
37
              - SQS:SendMessage
38
              - SQS:ReceiveMessage
39
            Resource: !GetAtt Queue.Arn
40
            Condition:
41
              StringEquals:
42
                aws:SourceAccount: !Ref AWS::AccountId
43
      Queues:
44
        - !Ref Queue

スタックをデプロイします。

aws cloudformation deploy \
  --template-file template.yaml \
  --stack-name s3-event-notification-test

テスト

SQS のメッセージを確認し、設定が機能していることを確かめます。

aws sqs receive-message \
  --queue-url https://sqs.ap-northeast-1.amazonaws.com/{AccountId}/s3-event-notification-test-queue

バケットにオブジェクトを一つも追加していなくても、出力の中に s3:TestEvent メッセージが確認できるはずです。

1
{
2
  "Messages": [
3
    {
4
      "MessageId": "...",
5
      "ReceiptHandle": "...",
6
      "MD5OfBody": "...",
7
      "Body": "{\"Service\":\"Amazon S3\",\"Event\":\"s3:TestEvent\",\"Time\":\"2020-12-29T18:53:47.874Z\",\"Bucket\":\"s3-event-notification-test-bucket-xxxxxxxx\",\"RequestId\":\"...\",\"HostId\":\"...\"}"
8
    }
9
  ]
10
}

後片付け

作業後はスタックを削除します。

aws cloudformation delete-stack --stack-name s3-event-notification-test

まとめ

SQS のイベント通知を持つ S3 バケットをデプロイし、キューをポーリングしてみたところ、オブジェクトが一つもアップロードされていない段階で s3:TestEvent メッセージが届いていました。このテンプレートの NotificationConfiguration は s3:ObjectCreated:Put にのみ購読していますが、この最初のメッセージには対応する Event フィールドすら存在しません。これは、通知設定がアタッチされた瞬間に、実際にどのイベントタイプが要求されていたかに関わらず、S3 が自動的に送信するものです。このキューを消費する Lambda やアプリケーションのコードは Event フィールドを確認し、s3:TestEvent をスキップするか明示的に処理する必要があります。このメッセージは実際のオブジェクトが届き始めるタイミングではなく、スタックが最初にデプロイされたタイミングで届くため、実際のオブジェクト作成ペイロードと同じように扱ってしまうとパースエラーが発生します。

記事一覧に戻る