使用 AWS DynamoDB 全局二级索引高效扫描存在特定列值的记录

19次阅读

使用 AWS DynamoDB 全局二级索引高效扫描存在特定列值的记录

本文旨在指导开发者如何利用 AWS DynamoDB 的全局二级索引 (GSI) 功能,高效地扫描表中存在特定列值的记录。通过创建 GSI 并查询索引,可以避免全表扫描,显著提升查询性能,尤其是在处理大数据集时。

了解全局二级索引 (GSI)

在 DynamoDB 中,如果你需要根据非主键属性进行查询,通常会使用 Scan 操作。然而,Scan 操作会扫描整个表,效率较低,并且会消耗大量的读取容量单位 (RCU)。当表的数据量很大时,Scan 操作的性能问题会更加突出。

全局二级索引 (GSI) 是解决这个问题的有效方法。GSI 允许你定义一个或多个索引,这些索引基于表中的一个或多个属性,并且可以独立于表的主键进行查询。重要的是,GSI 只包含定义了索引属性的记录。

创建 GSI

假设你有一个名为 tableName 的 DynamoDB 表,其中包含一个名为 items 的属性,但并非所有记录都包含此属性。你的目标是检索所有包含 items 属性的记录。

要实现这个目标,你需要创建一个 GSI,并将 items 属性作为索引键。以下是创建 GSI 的步骤:

  1. 选择索引键: 选择 items 属性作为 GSI 的索引键。

  2. 定义投影属性: 你可以选择将哪些属性投影到 GSI 中。可以选择只投影索引键,也可以投影所有属性。如果只需要 items 属性,可以选择只投影该属性,以减少存储成本。

  3. 创建 GSI: 使用 AWS 管理控制台、AWS CLI 或 AWS SDK 创建 GSI。以下是使用 AWS CLI 创建 GSI 的示例:

    aws dynamodb update-table      --table-name tableName      --attribute-definitions AttributeName=items,AttributeType=S      --global-secondary-index-updates "[         {             "Create": {                 "IndexName": "items-index",                 "KeySchema": [                     {                         "AttributeName": "items",                         "KeyType": "HASH"                     }                 ],                 "Projection": {                     "ProjectionType": "ALL"                 },                 "ProvisionedThroughput": {                     "ReadCapacityUnits": 5,                     "WriteCapacityUnits": 5                 }             }         }     ]"

    注意: AttributeType 需要根据 items 属性的实际数据类型进行调整。ProvisionedThroughput 需要根据你的需求进行调整。

    使用 AWS DynamoDB 全局二级索引高效扫描存在特定列值的记录

    纳米搜索

    纳米搜索:360推出的新一代AI搜索引擎

    使用 AWS DynamoDB 全局二级索引高效扫描存在特定列值的记录30

    查看详情 使用 AWS DynamoDB 全局二级索引高效扫描存在特定列值的记录

查询 GSI

创建 GSI 后,你可以使用 Query 操作来查询 GSI,以检索包含 items 属性的记录。以下是使用 AWS SDK for php 查询 GSI 的示例:

<?php  require 'vendor/autoload.php';  use AwsDynamoDbDynamoDbClient;  $client = new DynamoDbClient([     'region'  => 'your-region',     'version' => 'latest' ]);  $params = [     'TableName' => 'tableName',     'IndexName' => 'items-index', // GSI 的名称     'KeyConditionExpression' => 'items = :items',     'ExpressionAttributeValues' => [         ':items' => ['S' => 'someValue'] // 替换为 items 的实际值,如果需要根据 items 的值进行过滤     ] ];  try {     $result = $client->query($params);      foreach ($result['Items'] as $item) {         print_r($item);     }  } catch (AwsExceptionAwsException $e) {     // 输出错误信息     echo $e->getMessage();     echo "n"; }  ?>

说明:

  • IndexName: 指定要查询的 GSI 的名称。
  • KeyConditionExpression: 指定查询条件。在这个例子中,我们查询 items 属性等于 :items 的记录。如果只需要判断 items 属性是否存在,可以省略此参数,并使用 Scan 操作。
  • ExpressionAttributeValues: 定义表达式中使用的占位符的值。

使用 Scan 操作和 FilterExpression (不推荐)

虽然使用 GSI 是最佳实践,但如果由于某些原因无法创建 GSI,你仍然可以使用 Scan 操作和 FilterExpression 来过滤结果。但是,请注意,这种方法效率较低,并且会消耗大量的 RCU。

以下是使用 Scan 操作和 FilterExpression 的示例:

<?php  require 'vendor/autoload.php';  use AwsDynamoDbDynamoDbClient;  $client = new DynamoDbClient([     'region'  => 'your-region',     'version' => 'latest' ]);  $params = [     'TableName' => 'tableName',     'FilterExpression' => 'attribute_exists(items)' ];  try {     $result = $client->scan($params);      foreach ($result['Items'] as $item) {         print_r($item);     }  } catch (AwsExceptionAwsException $e) {     // 输出错误信息     echo $e->getMessage();     echo "n"; }  ?>

或者

<?php  require 'vendor/autoload.php';  use AwsDynamoDbDynamoDbClient;  $client = new DynamoDbClient([     'region'  => 'your-region',     'version' => 'latest' ]);  $params = [     'TableName' => 'tableName',     'FilterExpression' => 'items <> :NULL',     'ExpressionAttributeValues' => [         ':null' => ['NULL' => true]     ] ];  try {     $result = $client->scan($params);      foreach ($result['Items'] as $item) {         print_r($item);     }  } catch (AwsExceptionAwsException $e) {     // 输出错误信息     echo $e->getMessage();     echo "n"; }  ?>

注意:

  • attribute_exists(items) 函数用于检查 items 属性是否存在。
  • 第二种方法使用 items zuojiankuohaophpcn> :null,需要将 :null 定义为 [‘NULL’ => true]。
  • 强烈建议使用 GSI,而不是 Scan 操作和 FilterExpression,尤其是在处理大数据集时。

总结

通过使用全局二级索引 (GSI),你可以显著提高 DynamoDB 中查询特定属性存在的记录的效率。GSI 允许你根据非主键属性进行查询,避免全表扫描,从而节省 RCU 并提高性能。 如果无法创建 GSI,可以使用 Scan 操作和 FilterExpression,但请注意其性能限制。在选择方法时,请权衡性能和成本,并根据你的具体需求做出最佳选择。

以上就是使用 AWS DynamoDB 全局二级索引高效扫描存在特定列值的记录的详细内容,更多请关注php中文网其它相关文章!

text=ZqhQzanResources