腾讯云 COS 向量桶全功能管理技能

通过 cos-python-sdk-v5 的 CosVectorsClient 管理腾讯云 COS 向量桶的完整生命周期。

能力总览

首次使用 — 环境检查

步骤 1：检查 Python SDK

python3 -c "from qcloud_cos import CosConfig, CosVectorsClient; print('OK')"

如果失败，安装 SDK：

pip3 install cos-python-sdk-v5 --upgrade

步骤 2：检查凭证

确认以下环境变量已设置（或准备通过命令行参数传入）：

• COS_VECTORS_SECRET_ID — 腾讯云 API 密钥 ID
• COS_VECTORS_SECRET_KEY — 腾讯云 API 密钥 Key

如果未设置，引导用户提供凭证：

请提供腾讯云凭证来连接 COS 向量存储服务：

1. SecretId — 腾讯云 API 密钥 ID
2. SecretKey — 腾讯云 API 密钥 Key
3. Region — 存储桶区域（如 ap-guangzhou）
4. Bucket — 向量桶名称（格式 BucketName-APPID，如 examplebucket-1250000000）

密钥获取：腾讯云控制台 > 访问管理 > API密钥管理

公共参数

所有脚本都支持以下公共参数：

一、向量桶管理

1. 创建向量桶

python3 {baseDir}/scripts/create_vector_bucket.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>" \
  [--sse-type AES256]

2. 删除向量桶

python3 {baseDir}/scripts/delete_vector_bucket.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>"

3. 查询向量桶信息

python3 {baseDir}/scripts/get_vector_bucket.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>"

4. 列出所有向量桶

python3 {baseDir}/scripts/list_vector_buckets.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>" \
  [--max-results 10] \
  [--prefix "my-"]

二、桶策略管理

5. 设置桶策略

python3 {baseDir}/scripts/put_vector_bucket_policy.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>" \
  --policy '{"Statement": [...]}'

6. 获取桶策略

python3 {baseDir}/scripts/get_vector_bucket_policy.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>"

7. 删除桶策略

python3 {baseDir}/scripts/delete_vector_bucket_policy.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>"

三、索引管理

8. 创建索引

python3 {baseDir}/scripts/create_index.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>" \
  --index "\x3CIndexName>" \
  --dimension \x3CDimension> \
  [--data-type float32] \
  [--distance-metric cosine] \
  [--non-filterable-keys key1,key2]

9. 查询索引信息

python3 {baseDir}/scripts/get_index.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>" \
  --index "\x3CIndexName>"

10. 列出所有索引

python3 {baseDir}/scripts/list_indexes.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>" \
  [--max-results 10] \
  [--prefix "demo-"]

11. 删除索引

python3 {baseDir}/scripts/delete_index.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>" \
  --index "\x3CIndexName>"

四、向量数据操作

12. 插入/更新向量

# 方式 1：直接传 JSON
python3 {baseDir}/scripts/put_vectors.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>" \
  --index "\x3CIndexName>" \
  --vectors '[{"key":"doc-001","data":{"float32":[0.1,0.2,...]},"metadata":{"title":"标题"}}]'

# 方式 2：通过文件传入
python3 {baseDir}/scripts/put_vectors.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>" \
  --index "\x3CIndexName>" \
  --vectors-file vectors.json

向量 JSON 格式：

[
  {
    "key": "doc-001",
    "data": {"float32": [0.1, 0.2, 0.3, "..."]},
    "metadata": {"title": "文档标题", "category": "分类"}
  }
]

13. 获取指定向量

python3 {baseDir}/scripts/get_vectors.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>" \
  --index "\x3CIndexName>" \
  --keys "doc-001,doc-002" \
  [--return-data] \
  [--return-metadata]

14. 列出向量列表

python3 {baseDir}/scripts/list_vectors.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>" \
  --index "\x3CIndexName>" \
  [--max-results 10] \
  [--return-data] \
  [--return-metadata]

15. 删除向量

python3 {baseDir}/scripts/delete_vectors.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>" \
  --index "\x3CIndexName>" \
  --keys "doc-001,doc-002"

16. 相似度搜索（query_vectors）

# 方式 1：直接传查询向量
python3 {baseDir}/scripts/query_vectors.py \
  --secret-id "\x3CSecretId>" \
  --secret-key "\x3CSecretKey>" \
  --region "\x3CRegion>" \
  --bucket "\x3CBucketName-APPID>" \
  --index "\x3CIndexName>" \
  --query-vector '[0.1, 0.2, ...]' \
  --top-k 5 \
  [--filter '{"category": {"$eq": "AI"}}'] \
  [--return-distance] \
  [--return-metadata]

# 方式 2：通过文件传入查询向量
python3 {baseDir}/scripts/query_vectors.py \
  ... \
  --query-vector-file query.json \
  --top-k 5

关键技术细节

1. CosVectorsClient：向量桶专用客户端，不同于普通的 CosS3Client
2. Endpoint 配置：使用 Endpoint 参数（vectors.\x3CRegion>.coslake.com），SDK 会自动拼接 bucket 前缀
3. 协议：默认使用 http 协议
4. 桶名格式：必须为 BucketName-APPID 格式，如 examplebucket-1250000000
5. 桶名规则：仅支持小写字母、数字和中划线 -，长度 3-63 个字符
6. 向量维度：范围 1-4096
7. 数据类型：当前支持 float32
8. 距离度量：支持 cosine（余弦相似度）和 euclidean（欧氏距离）
9. 加密类型：可选 AES256 服务端加密

公共模块

所有脚本共享 common.py 公共模块，提供：

• base_parser() — 创建包含凭证参数的基础解析器
• create_client() — 初始化 CosVectorsClient
• success_output() — 统一的成功输出格式（JSON）
• fail() — 统一的错误输出格式并退出
• handle_error() — 统一的异常处理（CosServiceError / CosClientError）
• run() — 包装主函数并捕获异常

错误处理

• CosServiceError：服务端错误（如桶已存在、权限不足等）
• CosClientError：客户端错误（如网络问题、参数错误等）

所有脚本输出统一 JSON 格式：

{"success": true, "action": "...", ...}   // 成功
{"success": false, "error": "..."}        // 失败

调用失败时先检查：

1. 凭证是否正确
2. Region 是否正确
3. Bucket 名称格式是否符合要求
4. 网络是否连通

API 参考

详细 API 参数定义见 references/api_reference.md。