AWS CloudSearch で映画データの全文検索を行う

公開されている映画データセットを AWS CloudSearch にインデックスし、全文検索・数値検索・範囲検索を実行します。

Takahiro Iwasa

2022-11-27

7 min read

AWS CloudSearch を使えば、別途検索クラスターを構築せずに、映画データセットをインデックスして全文検索できます。

CloudSearch ドメインのセットアップ

CloudSearch ドメインを作成します。

aws cloudsearch create-domain \
  --domain-name searching-movies-data

公式ドキュメントによると、CloudSearch ドメインの作成には通常およそ 10 分かかります。

ドメインの作成状況は以下のコマンドで確認できます。

aws cloudsearch describe-domains \
  --domain-name searching-movies-data

コマンドの出力に Processing: false と表示されれば、ドメインとエンドポイントを利用できます。

1
{
2
  "DomainStatusList": [
3
    {
4
      "DomainId": "123456789012/searching-movies-data",
5
      "DomainName": "searching-movies-data",
6
      "ARN": "arn:aws:cloudsearch:ap-northeast-1:123456789012:domain/searching-movies-data",
7
      "Created": true,
8
      "Deleted": false,
9
      "DocService": {
10
        "Endpoint": "doc-searching-movies-data-xxxxxxxxxx.ap-northeast-1.cloudsearch.amazonaws.com"
11
      },
12
      "SearchService": {
13
        "Endpoint": "search-searching-movies-data-xxxxxxxxxx.ap-northeast-1.cloudsearch.amazonaws.com"
14
      },
15
      "RequiresIndexDocuments": false,
16
      "Processing": false,
17
      "SearchInstanceType": "search.small",
18
      "SearchPartitionCount": 1,
19
      "SearchInstanceCount": 1,
20
      "Limits": {
21
        "MaximumReplicationCount": 5,
22
        "MaximumPartitionCount": 10
23
      }
24
    }
25
  ]
26
}

自分の IP アドレスからのみアクセスを許可するよう、ドメインのアクセスポリシーを更新します。

aws cloudsearch update-service-access-policies \
  --domain-name searching-movies-data \
  --access-policies '
  {
    "Version": "2012-10-17",
    "Statement": [
      {
        "Effect": "Allow",
        "Principal": "*",
        "Action": ["cloudsearch:*"],
        "Condition": {"IpAddress": {"aws:SourceIp": "xxx.xxx.xxx.xxx/32"}}
      }
    ]
  }'

インデックスフィールドの設定

データセットの構造に合わせてインデックスフィールドを定義します。この例では、Kaggle の The Movies Dataset（CC0：Public Domain）を使用します。以下は、インデックスフィールドを定義するコマンドの例です。

aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name adult --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name belongs_to_collection --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name budget --type double
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name genres --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name homepage --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name id --type int
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name imdb_id --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name original_language --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name original_title --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name overview --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name popularity --type double
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name poster_path --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name production_companies --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name production_countries --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name release_date --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name revenue --type int
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name runtime --type double
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name spoken_languages --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name status --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name tagline --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name title --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name video --type text
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name vote_average --type double
aws cloudsearch define-index-field \
  --domain-name searching-movies-data --name vote_count --type int

設定が完了したら、検索ドメインにドキュメントのインデックス作成を開始するよう指示します。

aws cloudsearch index-documents \
  --domain-name searching-movies-data

データセットのインデックス作成

Kaggle からデータセットをダウンロードし、先頭 1,000 行からなるサンプルファイルを用意します。

head -1000 movies_metadata.csv > sample.csv

CloudSearch はコンソールから CSV ファイルを直接インデックスできますが、AWS CLI の aws cloudsearchdomain upload-documents コマンドは JSON または XML 形式のみを受け付けます。

Actions > Upload documents を選択します。

CSV ファイルを選択し、Next をクリックします。

検出されたフィールドを確認し、Upload documents をクリックします。

処理が完了したら、ヘッダーを除く 998 件のレコードがインデックスされたことを確認します。

クエリの実行

テキスト検索

title フィールドと overview フィールドを対象に、キーワード house で映画を検索します。

curl --location \
  -g \
  --request GET \
  'https://search-searching-movies-data-xxxxxxxxxx.ap-northeast-1.cloudsearch.amazonaws.com/2013-01-01/search?q=house&q.options={fields:["title","overview"]}&return=title,overview' | jq .

レスポンスには、以下のようなマッチした結果が含まれます。

1
{
2
  "status": {
3
    "rid": "8fDJv8swsgEK1DyD",
4
    "time-ms": 1
5
  },
6
  "hits": {
7
    "found": 26,
8
    "start": 0,
9
    "hit": [
10
      {
11
        "id": "local_file_466",
12
        "fields": {
13
          "overview": "Hip Hop duo Kid & Play return...",
14
          "title": "House Party 3"
15
        }
16
      },
17
      ...
18
    ]
19
  }
20
}

詳細については公式ドキュメントを参照してください。

数値検索

数値検索の例として、vote_average が 5.0 の映画を検索します。

curl --location --request GET 'https://search-searching-movies-data-xxxxxxxxxx.ap-northeast-1.cloudsearch.amazonaws.com/2013-01-01/search?q.parser=structured&q=vote_average:5.0&return=title,overview' | jq .

レスポンスには、以下のようなマッチした結果が含まれます。

1
{
2
  "status": {
3
    "rid": "w+Xgv8swwQEK1DyD",
4
    "time-ms": 0
5
  },
6
  "hits": {
7
    "found": 35,
8
    "start": 0,
9
    "hit": [
10
      {
11
        "id": "local_file_144",
12
        "fields": {
13
          "overview": "Far from home...",
14
          "title": "The Amazing Panda Adventure"
15
        }
16
      },
17
      ...
18
    ]
19
  }
20
}

詳細については公式ドキュメントを参照してください。

範囲検索

vote_average が 7.0 以上の映画を検索します。

curl --location \
  -g \
  --request GET \
  'https://search-searching-movies-data-xxxxxxxxxx.ap-northeast-1.cloudsearch.amazonaws.com/2013-01-01/search?q.parser=structured&q=vote_average:[7.0,}&return=title,overview' | jq .

レスポンスには、以下のようなマッチした結果が含まれます。

1
{
2
  "status": {
3
    "rid": "vJ/vv8swyAEK1DyD",
4
    "time-ms": 2
5
  },
6
  "hits": {
7
    "found": 254,
8
    "start": 0,
9
    "hit": [
10
      {
11
        "id": "local_file_1",
12
        "fields": {
13
          "overview": "Led by Woody, Andy's toys...",
14
          "title": "Toy Story"
15
        }
16
      },
17
      ...
18
    ]
19
  }
20
}

詳細については公式ドキュメントを参照してください。

クリーンアップ

作業が終わったらドメインを削除します。

aws cloudsearch delete-domain \
  --domain-name searching-movies-data

まとめ

AWS CloudSearch では、別途検索クラスターを管理せずに、同じドメインで全文検索と数値検索を実行できます。q=house と、構造化クエリ q.parser=structured&q=vote_average:[7.0,} を使い分けることで、インデックスを追加設定せずに全文検索と数値範囲検索の両方に対応できます。

CloudSearch のエンドポイントはデフォルトでパブリックインターネットからアクセスできるため、ドメインの作成直後に update-service-access-policies を使い、アクセスポリシーを特定の aws:SourceIp に制限してください。

一連のセットアップを自動化する場合は、ドメインの作成に約 10 分かかることも考慮します。