← 返回 Skills 市场
ai-gaoqian

3D Vision and Graphics Research

作者 ai-gaoqian · GitHub ↗ · v1.0.0 · MIT-0
cross-platform ✓ 安全检测通过
40
总下载
0
收藏
0
当前安装
1
版本数
在 OpenClaw 中安装
/install 3d-vision-graphics
功能描述
3D视觉与计算机图形学研究助手。覆盖NeRF/3D Gaussian Splatting/点云处理/ 网格重建/纹理映射/光线追踪等方向。提供论文解读、算法对比、代码实现、 数据集推荐、实验设计指导。支持Blender/Houdini/Open3D/PyTorch3D等工具链。
使用说明 (SKILL.md)

3D Vision & Graphics Research

核心能力

能力维度 覆盖范围 输出质量
论文解读 NeRF / 3DGS / InstantNGP / SuGaR / Mip-Splatting 等100+篇 含核心公式推导 + 创新点分析
算法对比 PSNR/SSIM/LPIPS 基准对比表 按数据集/场景分类
代码实现 PyTorch / CUDA / Taichi 多后端 含注释 + 训练配置
数据集推荐 30+ 常用3D数据集(含规模/场景/许可) 按任务类型索引
工具链指导 Blender / Open3D / PyTorch3D / Kaolin / Houdini 含安装配置 + 常见坑
实验设计 消融实验 / 对比实验 / 可视化方案 含评估指标选择建议

触发场景

  • "解释3D Gaussian Splatting的核心原理"
  • "NeRF和3DGS有什么区别"
  • "如何训练自己的3DGS模型"
  • "推荐3D重建数据集"
  • "点云配准用什么算法"
  • "如何在Blender中渲染点云"
  • "InstantNGP的加速原理"
  • "SuGaR如何从3DGS提取网格"
  • "3D视觉领域最新SOTA是什么"
  • "Mip-NeRF 360的贡献在哪里"

算法知识库

神经辐射场 (NeRF) 家族

方法 年份 核心创新 训练时间 渲染速度 PSNR (Synthetic)
NeRF 2020 ECCV MLP隐式表示 + 体渲染 ~12h ~30s/frame 31.01
Mip-NeRF 2021 ICCV 锥形采样抗锯齿 ~12h ~30s/frame 33.09
InstantNGP 2022 SIGGRAPH 哈希网格编码 ~5min ~60fps 32.78
Mip-NeRF 360 2022 CVPR 无界场景 + 蒸馏 ~12h ~30s/frame 29.48
TensoRF 2022 ECCV 张量分解 ~30min ~0.5s/frame 33.14
Plenoxels 2022 CVPR 球谐系数 + 体素 ~11min ~2s/frame 31.71
Zip-NeRF 2023 ICCV 网格采样 + 抗锯齿 ~1h ~0.5s/frame 33.63
K-Planes 2023 CVPR 多维平面分解 ~52min ~0.3s/frame 32.60

3D Gaussian Splatting (3DGS) 家族

方法 年份 核心创新 训练时间 FPS PSNR (Mip-NeRF360)
3DGS 2023 SIGGRAPH 显式高斯椭球 + 可微光栅化 ~30min 100+ 27.21
Mip-Splatting 2024 CVPR 3D频率滤波抗锯齿 ~40min 100+ 27.65
SuGaR 2024 CVPR 高斯→网格提取 ~1h 100+ 27.03
Scaffold-GS 2024 CVPR 锚点结构化生长 ~25min 100+ 27.44
GaussianPro 2024 渐进式优化策略 ~20min 100+ 27.82
2DGS 2024 SIGGRAPH 2D高斯盘面表示 ~30min 100+ 27.39
PixelSplat 2024 前馈3DGS重建 ~1s (inference) 100+ 25.89
LatentSplat 2024 ECCV 潜在空间3DGS ~10min 100+ 26.91
Splatter-Image 2024 CVPR 单视图3DGS生成 ~0.1s 100+ 23.12

点云处理

任务 SOTA方法 年份 关键指标
分类 PointNet++ / PointNeXt / Point-MAE 2017-2023 OA 93.2% (ModelNet40)
分割 PointTransformer V3 / Swin3D 2023-2024 mIoU 72.6% (S3DIS)
配准 GeoTransformer / PEAL 2022-2024 RR 99.5% (3DMatch)
补全 PointTr / AdaPoinTr 2021-2023 CD 2.85 (ShapeNet)
上采样 PU-GCN / SPU-Net 2021-2023 CD 0.28 (PU1K)
去噪 PointCleanNet / PD-Flow 2020-2023 MSE 0.015
生成 LION / 3DShape2VecSet 2023-2024 FID 4.27
检测 PointRCNN / 3DETR / FCAF3D 2019-2023 mAP 67.3% (ScanNet)

网格处理

任务 方法 特点
重建 Poisson / BPA / Delaunay 经典几何方法
简化 QEM / Edge Collapse 保持拓扑
平滑 Laplacian / Bilateral / Taubin 去噪保特征
参数化 ABF / LSCM / ARAP UV映射
变形 ARAP / LBS / Cage-based 形状编辑
细分 Catmull-Clark / Loop / Doo-Sabin 增加分辨率
切割 MeshCNN / GraphUNet 学习型分割
检索 MeshNet / LSNet 形状匹配

数据集全览

多视图/场景级

数据集 场景数 分辨率 任务 许可
LLFF 8 4032×3024 NVS CC BY
NeRF-Synthetic 8 800×800 NVS MIT
Tanks & Temples 21 1920×1080 NVS+MVS CC BY-NC-SA
DTU 124 1600×1200 MVS Research Only
Mip-NeRF 360 9 ~4K NVS(无界) CC BY
ScanNet++ 460 ~1.5K 重建+分割 Research Only
Replica 18 ~1K 室内重建 Research Only
BlendedMVS 113 2048×1536 MVS CC BY
FreeViewSynthesis 12 2048×1080 NVS CC BY
MVImgNet 220K对象 1080p 多视图学习 CC BY

物体/实例级

数据集 类别数 样本数 模态 许可
ShapeNet 55 51,300 3D模型 Custom
ModelNet40 40 12,311 3D模型 Custom
ABC N/A 1M+ CAD模型 MIT
Thingi10K N/A 10,000 3D打印模型 CC BY
OmniObject3D 190 6,000 3D扫描+多视图 CC BY
Objaverse N/A 800K+ 多模态3D ODC-BY
Objaverse-XL N/A 10M+ 多模态3D ODC-BY
GSO 17 1,030 扫描物体 CC BY
ABO 98 6,327 电商3D模型 CC BY-NC

人脸/人体

数据集 内容 规模 许可
FaceScape 3D人脸 938人, 20表情 Research Only
3DFAW 3D人脸关键点 23,076帧 Custom
HUMBI 人体多视图 772人 Research Only
THuman 3D人体扫描 200+人 Custom
RenderPeople 商业3D人体 500+ 商业许可
AMASS 人体运动 40h+, 300+主体 Research Only
ZJU-MoCap 动态人体 9序列 Research Only

工具链指南

Blender Python API 常用操作

import bpy
import numpy as np

# 导入点云
def import_pointcloud(points, colors=None):
    mesh = bpy.data.meshes.new("pointcloud")
    obj = bpy.data.objects.new("pointcloud", mesh)
    bpy.context.collection.objects.link(obj)
    mesh.from_pydata(points.tolist(), [], [])
    if colors is not None:
        color_attr = mesh.color_attributes.new(
            name="Col", type="FLOAT_COLOR", domain="POINT"
        )
        for i, color in enumerate(colors):
            color_attr.data[i].color = color.tolist() + [1.0]

# 导入3DGS PLY
def import_3dgs_ply(filepath):
    from plyfile import PlyData
    plydata = PlyData.read(filepath)
    verts = plydata['vertex']
    xyz = np.stack([verts['x'], verts['y'], verts['z']], axis=-1)
    # 创建球体实例表示每个高斯
    for i, pos in enumerate(xyz):
        bpy.ops.mesh.primitive_ico_sphere_add(
            subdivisions=1, radius=0.01, location=pos
        )

# 渲染设置
def setup_cycles_render(samples=128, resolution=(1920, 1080)):
    bpy.context.scene.render.engine = 'CYCLES'
    bpy.context.scene.cycles.samples = samples
    bpy.context.scene.render.resolution_x = resolution[0]
    bpy.context.scene.render.resolution_y = resolution[1]
    bpy.context.scene.cycles.device = 'GPU'

Open3D 点云处理

import open3d as o3d
import numpy as np

# 读取与可视化
pcd = o3d.io.read_point_cloud("scene.ply")
o3d.visualization.draw_geometries([pcd])

# 降采样
pcd_down = pcd.voxel_down_sample(voxel_size=0.02)

# 法线估计
pcd.estimate_normals(
    o3d.geometry.KDTreeSearchParamHybrid(radius=0.1, max_nn=30)
)

# ICP配准
reg_p2p = o3d.pipelines.registration.registration_icp(
    source, target, max_correspondence_distance=0.05,
    init=np.eye(4),
    estimation_method=o3d.pipelines.registration.TransformationEstimationPointToPoint()
)

# 泊松重建
mesh, densities = o3d.geometry.TriangleMesh.create_from_point_cloud_poisson(
    pcd, depth=9
)

# 半径离群点去除
cl, ind = pcd.remove_radius_outlier(nb_points=16, radius=0.05)
pcd_clean = pcd.select_by_index(ind)

# DBSCAN聚类
labels = np.array(pcd.cluster_dbscan(eps=0.02, min_points=10))

常见问题排查

问题 原因 解决方案
3DGS训练发散 学习率过大/初始化不当 降低lr至1e-4,检查COLMAP稀疏点
点云配准失败 初始位姿差过大 先用FPFH+RANSAC全局配准
CUDA OOM 场景过大/分辨率过高 降低SH阶数或分辨率,使用gradient checkpointing
网格有洞 点云密度不足 增加视角数,调整泊松深度
渲染闪烁 高斯排序不稳定 增加densification迭代
训练慢 未使用custom CUDA kernel 安装diff-gaussian-rasterization
颜色失真 色调映射错误 检查linear/sRGB色彩空间
几何塌陷 正则化不足 增加depth/normal正则化损失

注意事项

  1. 学术用途需遵守数据集许可协议
  2. 3DGS相关代码需要CUDA 11.6+和合适的GPU
  3. 商业项目注意区分开源(Apache/MIT)与Research Only许可
  4. 大场景训练建议至少24GB显存
  5. 点云处理建议使用Open3D 0.18+
  6. Blender脚本注意bpy在headless模式下需要特殊配置

定价

¥0.50/次,使用支付宝AI收协议。每次调用提供完整的论文解读/算法对比/代码指导/实验设计方案。

安全使用建议
Install or use these skills only in a trusted ClawHub maintenance environment. Pay special attention before using staff moderation, production migration, email, or autoreview helper flows, because they can affect real users, production data, or local sandbox boundaries when invoked with the needed credentials.
能力评估
Purpose & Capability
The embedded skills cover Convex development, ClawHub moderation, PR maintenance, migrations, and autoreview; the high-impact capabilities are stated in their descriptions and fit those operator purposes.
Instruction Scope
Most risky actions require explicit targets, reasons, confirmation, dry runs, or sign-off; the autoreview helper does default to a full-access nested Codex review mode, but this is disclosed and has an opt-out.
Install Mechanism
No root SKILL.md or metadata.json was present, but the repository contains multiple .agents/skills entries and one helper script; there was no evidence of install-time autorun or hidden setup.
Credentials
The skills expect repo-local tools, GitHub/ClawHub/Convex access, and sometimes production credentials, which is proportionate for ClawHub maintainers but not for casual users.
Persistence & Privilege
I found no automatic persistence, background worker, credential harvesting, or autonomous destructive behavior; privileged writes are framed as user-directed CLI/API operations.
如何使用
  1. 确保已安装 OpenClaw(本地或 Docker 部署)
  2. 在对话框中输入安装命令:/install 3d-vision-graphics
  3. 安装完成后,直接呼叫该 Skill 的名称或使用 /3d-vision-graphics 触发
  4. 根据 Skill 的参数说明提供必要输入,即可获得结构化输出
版本历史
v1.0.0
3D视觉与图形学领域全能研究助手发布: - 首发支持NeRF/3D Gaussian Splatting/点云/网格/渲染等最新算法。 - 提供论文解读、算法对比、代码实现、数据集推荐、实验设计与工具链使用全流程指导。 - 包含详细算法知识库(含表格对比)、丰富数据集全览及典型问题排查。 - 支持Blender、Open3D、PyTorch3D等主流工具链实践范例。 - 适用学术研究和工程原型开发,定价¥0.50/次。
元数据
Slug 3d-vision-graphics
版本 1.0.0
许可证 MIT-0
累计安装 0
当前安装数 0
历史版本数 1
常见问题

3D Vision and Graphics Research 是什么?

3D视觉与计算机图形学研究助手。覆盖NeRF/3D Gaussian Splatting/点云处理/ 网格重建/纹理映射/光线追踪等方向。提供论文解读、算法对比、代码实现、 数据集推荐、实验设计指导。支持Blender/Houdini/Open3D/PyTorch3D等工具链。 它是一个面向 Claude Code / OpenClaw 的 AI Agent Skill 插件,目前累计下载 40 次。

如何安装 3D Vision and Graphics Research?

在 OpenClaw 或 Claude Code 对话框中运行命令「/install 3d-vision-graphics」即可一键安装,无需额外配置。

3D Vision and Graphics Research 是免费的吗?

是的,3D Vision and Graphics Research 完全免费,采用 MIT-0 许可证,可自由下载、安装和使用。

3D Vision and Graphics Research 支持哪些平台?

3D Vision and Graphics Research 跨平台运行,可在任意部署了 OpenClaw / Claude Code 的环境中使用(cross-platform)。

谁开发了 3D Vision and Graphics Research?

由 ai-gaoqian(@ai-gaoqian)开发并维护,当前版本 v1.0.0。

💬 留言讨论