← 返回 Skills 市场
hoovaycn

Finance Data Scraper

作者 hoovaycn · GitHub ↗ · v1.0.0 · MIT-0
cross-platform ⚠ suspicious
18
总下载
0
收藏
0
当前安装
1
版本数
在 OpenClaw 中安装
/install finance-data-scraper
功能描述
完整的财经数据抓取Skill,包含: 1. 每日财经新闻(Chrome插件抓取) 2. 每日财经新闻(无头浏览器抓取) 3. 每日大盘数据 4. 每日热门板块数据 5. 每日涨停个股数据 6. Chrome浏览器Tab清理(防止内存溢出) 包含所有入库表配置、定时任务配置、去重规则等
使用说明 (SKILL.md)

财经数据抓取Skill(完整版)

完整的财经数据抓取解决方案,包含多种抓取方式、入库配置、定时任务、内存清理等功能!


🚨 前置条件(必须满足!)

  1. OpenClaw浏览器扩展已安装并连接(用于Chrome插件抓取)
  2. NocoDB配置已提供(BASE_URL、TOKEN、各表ID)
  3. sshpass已安装(如果需要上传文件到服务器,可选)
  4. Python 3.7+已安装

📋 抓取任务总览

任务编号 任务名称 抓取内容 入库表ID 建议定时配置 抓取方式
1 每日财经新闻(Chrome插件) 东方财富财经导读、财联社等新闻 需用户提供(示例:m2w6ubg16mcn33m 30 9,12,15,18 * * *(每天4次) Chrome浏览器插件(OpenClaw browser API)
2 每日财经新闻(无头浏览器) 东方财富财经导读等新闻 需用户提供 0 9,12,15,18 * * *(每天4次) 无头浏览器(Playwright/Puppeteer)
3 每日大盘数据 每日大盘指数数据 需用户提供(示例:mhmt3o30ty8ibzo 0 15:05 * * *(每日收盘后) 东方财富数据接口
4 每日热门板块数据 每日一级行业板块涨幅TOP3 需用户提供(示例:mcit9c3x3stje27 10 15 * * *(每日15:10) 东方财富数据接口
5 每日涨停个股数据 每日涨停个股(代码/名称/涨幅/成交额/封单/连板数/行业等) 需用户提供(示例:mq8g9nlxrl53ct7 05 15 * * *(每日15:05) 东方财富数据接口
6 Chrome浏览器Tab清理 保留1个东方财富tab,关闭其他所有tab 20,50 * * * *(每小时20分和50分) scripts/cleanup_tabs.py

🔧 NocoDB统一配置(必须提供!)

配置项 说明 示例值
BASE_URL NocoDB API基础URL https://nocodb.dixchain.com/api/v2
TOKEN NocoDB API Token 需用户提供
TABLE_ID_NEWS 财经新闻入库表ID 需用户提供
TABLE_ID_MARKET 每日大盘数据入库表ID 需用户提供
TABLE_ID_PLATES 每日热门板块数据入库表ID 需用户提供
TABLE_ID_LIMIT_UP 每日涨停个股数据入库表ID 需用户提供

📁 使用前准备

步骤1:确认前置条件已满足

  • OpenClaw浏览器扩展已安装并连接
  • NocoDB配置信息已准备好

步骤2:配置NocoDB

复制 config-examples/nocodb-config.example.jsonnocodb-config.json,填入你的配置:

cp config-examples/nocodb-config.example.json nocodb-config.json

步骤3:配置定时任务

参考 config-examples/cron-configs/ 目录下的示例配置,创建你的定时任务配置文件!


🔨 脚本使用说明

1. Chrome浏览器Tab清理脚本

路径scripts/cleanup_tabs.py 功能:防止浏览器tab过多造成内存溢出 策略

  • 保留1个东方财富标签页(必须有至少1个)
  • 关闭其他所有多余的东方财富标签页
  • 关闭所有非东方财富标签页 使用
python scripts/cleanup_tabs.py

2. NocoDB导入脚本

路径scripts/import_to_nocodb.py 功能:批量导入财经新闻到NocoDB 去重规则:按 source + content 组合去重 使用

# 使用最新的JSON文件
python scripts/import_to_nocodb.py

# 指定文件
python scripts/import_to_nocodb.py /path/to/data.json

📚 参考文档

  • config-examples/:配置示例(NocoDB配置、Cron配置)
  • references/:抓取规范文档(待补充)

⚠️ 注意事项

  1. 定时任务配置:请根据你的实际情况调整定时时间(考虑交易时间)
  2. 内存管理:务必配置Chrome浏览器Tab清理任务,防止内存溢出
  3. 去重规则:财经新闻按 source + content 组合去重
  4. 板块数据规则:仅保留一级行业,排除地域板块、细分行业和概念板块
安全使用建议
Before installing, remove and rotate the embedded NocoDB token, configure your own database endpoint explicitly, and avoid enabling the tab cleanup cron unless you use a dedicated browser profile where closing all non-Eastmoney tabs is safe.
功能分析
Type: OpenClaw Skill Name: finance-data-scraper Version: 1.0.0 The skill bundle contains a hardcoded NocoDB API token in 'scripts/import_to_nocodb.py', which is a significant security vulnerability (credential exposure). Additionally, 'SKILL.md' mentions the use of 'sshpass', a tool that often facilitates insecure password handling. While the core logic for scraping financial data and managing browser tabs via the 'openclaw' CLI aligns with the stated purpose, the inclusion of active credentials and reliance on risky utilities makes the bundle suspicious. IOC: nocodb.dixchain.com.
能力评估
Purpose & Capability
The stated goal of scraping finance data and importing it to NocoDB is coherent, but the runnable import script uses a hard-coded NocoDB endpoint, token, and table instead of the user-provided configuration described in the documentation.
Instruction Scope
The browser cleanup behavior is disclosed, but its scope is broad: it keeps one Eastmoney tab and closes all other browser tabs without a confirmation or a boundary to tabs created by this skill.
Install Mechanism
The registry declares no required credentials, environment variables, binaries, or install spec, while the artifacts require Python/OpenClaw browser access and include an embedded NocoDB API token.
Credentials
Posting scraped data to NocoDB is expected, but sending local JSON records to a hard-coded remote database and closing unrelated browser tabs are high-impact actions that are not sufficiently scoped.
Persistence & Privilege
The cron examples are user-directed rather than auto-installed, but they configure recurring scraping/import and twice-hourly tab cleanup with announcements disabled, which can keep affecting the environment after setup.
如何使用
  1. 确保已安装 OpenClaw(本地或 Docker 部署)
  2. 在对话框中输入安装命令:/install finance-data-scraper
  3. 安装完成后,直接呼叫该 Skill 的名称或使用 /finance-data-scraper 触发
  4. 根据 Skill 的参数说明提供必要输入,即可获得结构化输出
版本历史
v1.0.0
首次发布,包含完整的财经数据抓取功能:Chrome插件/无头浏览器抓取新闻、大盘数据、热门板块、涨停个股数据、Chrome Tab清理,以及配置示例。
元数据
Slug finance-data-scraper
版本 1.0.0
许可证 MIT-0
累计安装 0
当前安装数 0
历史版本数 1
常见问题

Finance Data Scraper 是什么?

完整的财经数据抓取Skill,包含: 1. 每日财经新闻(Chrome插件抓取) 2. 每日财经新闻(无头浏览器抓取) 3. 每日大盘数据 4. 每日热门板块数据 5. 每日涨停个股数据 6. Chrome浏览器Tab清理(防止内存溢出) 包含所有入库表配置、定时任务配置、去重规则等. 它是一个面向 Claude Code / OpenClaw 的 AI Agent Skill 插件,目前累计下载 18 次。

如何安装 Finance Data Scraper?

在 OpenClaw 或 Claude Code 对话框中运行命令「/install finance-data-scraper」即可一键安装,无需额外配置。

Finance Data Scraper 是免费的吗?

是的,Finance Data Scraper 完全免费,采用 MIT-0 许可证,可自由下载、安装和使用。

Finance Data Scraper 支持哪些平台?

Finance Data Scraper 跨平台运行,可在任意部署了 OpenClaw / Claude Code 的环境中使用(cross-platform)。

谁开发了 Finance Data Scraper?

由 hoovaycn(@hoovaycn)开发并维护,当前版本 v1.0.0。

💬 留言讨论