← Back to Skills Marketplace
18
Downloads
0
Stars
0
Active Installs
1
Versions
Install in OpenClaw
/install finance-data-scraper
Description
完整的财经数据抓取Skill，包含： 1. 每日财经新闻（Chrome插件抓取） 2. 每日财经新闻（无头浏览器抓取） 3. 每日大盘数据 4. 每日热门板块数据 5. 每日涨停个股数据 6. Chrome浏览器Tab清理（防止内存溢出） 包含所有入库表配置、定时任务配置、去重规则等
README (SKILL.md)
财经数据抓取Skill（完整版）
完整的财经数据抓取解决方案，包含多种抓取方式、入库配置、定时任务、内存清理等功能！
🚨 前置条件（必须满足！）
- OpenClaw浏览器扩展已安装并连接（用于Chrome插件抓取）
- NocoDB配置已提供（BASE_URL、TOKEN、各表ID）
- sshpass已安装（如果需要上传文件到服务器，可选）
- Python 3.7+已安装
📋 抓取任务总览
| 任务编号 | 任务名称 | 抓取内容 | 入库表ID | 建议定时配置 | 抓取方式 |
|---|---|---|---|---|---|
| 1 | 每日财经新闻（Chrome插件） | 东方财富财经导读、财联社等新闻 | 需用户提供（示例：m2w6ubg16mcn33m） |
30 9,12,15,18 * * *（每天4次） |
Chrome浏览器插件（OpenClaw browser API） |
| 2 | 每日财经新闻（无头浏览器） | 东方财富财经导读等新闻 | 需用户提供 | 0 9,12,15,18 * * *（每天4次） |
无头浏览器（Playwright/Puppeteer） |
| 3 | 每日大盘数据 | 每日大盘指数数据 | 需用户提供（示例：mhmt3o30ty8ibzo） |
0 15:05 * * *（每日收盘后） |
东方财富数据接口 |
| 4 | 每日热门板块数据 | 每日一级行业板块涨幅TOP3 | 需用户提供（示例：mcit9c3x3stje27） |
10 15 * * *（每日15:10） |
东方财富数据接口 |
| 5 | 每日涨停个股数据 | 每日涨停个股（代码/名称/涨幅/成交额/封单/连板数/行业等） | 需用户提供（示例：mq8g9nlxrl53ct7） |
05 15 * * *（每日15:05） |
东方财富数据接口 |
| 6 | Chrome浏览器Tab清理 | 保留1个东方财富tab，关闭其他所有tab | 无 | 20,50 * * * *（每小时20分和50分） |
scripts/cleanup_tabs.py |
🔧 NocoDB统一配置（必须提供！）
| 配置项 | 说明 | 示例值 |
|---|---|---|
BASE_URL |
NocoDB API基础URL | https://nocodb.dixchain.com/api/v2 |
TOKEN |
NocoDB API Token | 需用户提供 |
TABLE_ID_NEWS |
财经新闻入库表ID | 需用户提供 |
TABLE_ID_MARKET |
每日大盘数据入库表ID | 需用户提供 |
TABLE_ID_PLATES |
每日热门板块数据入库表ID | 需用户提供 |
TABLE_ID_LIMIT_UP |
每日涨停个股数据入库表ID | 需用户提供 |
📁 使用前准备
步骤1：确认前置条件已满足
- OpenClaw浏览器扩展已安装并连接
- NocoDB配置信息已准备好
步骤2：配置NocoDB
复制 config-examples/nocodb-config.example.json 为 nocodb-config.json，填入你的配置：
cp config-examples/nocodb-config.example.json nocodb-config.json
步骤3：配置定时任务
参考 config-examples/cron-configs/ 目录下的示例配置，创建你的定时任务配置文件！
🔨 脚本使用说明
1. Chrome浏览器Tab清理脚本
路径：scripts/cleanup_tabs.py
功能：防止浏览器tab过多造成内存溢出
策略：
- 保留1个东方财富标签页（必须有至少1个）
- 关闭其他所有多余的东方财富标签页
- 关闭所有非东方财富标签页 使用：
python scripts/cleanup_tabs.py
2. NocoDB导入脚本
路径：scripts/import_to_nocodb.py
功能：批量导入财经新闻到NocoDB
去重规则：按 source + content 组合去重
使用：
# 使用最新的JSON文件
python scripts/import_to_nocodb.py
# 指定文件
python scripts/import_to_nocodb.py /path/to/data.json
📚 参考文档
config-examples/：配置示例（NocoDB配置、Cron配置）references/：抓取规范文档（待补充）
⚠️ 注意事项
- 定时任务配置：请根据你的实际情况调整定时时间（考虑交易时间）
- 内存管理：务必配置Chrome浏览器Tab清理任务，防止内存溢出
- 去重规则：财经新闻按
source+content组合去重 - 板块数据规则：仅保留一级行业，排除地域板块、细分行业和概念板块
Usage Guidance
Before installing, remove and rotate the embedded NocoDB token, configure your own database endpoint explicitly, and avoid enabling the tab cleanup cron unless you use a dedicated browser profile where closing all non-Eastmoney tabs is safe.
Capability Analysis
Type: OpenClaw Skill
Name: finance-data-scraper
Version: 1.0.0
The skill bundle contains a hardcoded NocoDB API token in 'scripts/import_to_nocodb.py', which is a significant security vulnerability (credential exposure). Additionally, 'SKILL.md' mentions the use of 'sshpass', a tool that often facilitates insecure password handling. While the core logic for scraping financial data and managing browser tabs via the 'openclaw' CLI aligns with the stated purpose, the inclusion of active credentials and reliance on risky utilities makes the bundle suspicious. IOC: nocodb.dixchain.com.
Capability Assessment
Purpose & Capability
The stated goal of scraping finance data and importing it to NocoDB is coherent, but the runnable import script uses a hard-coded NocoDB endpoint, token, and table instead of the user-provided configuration described in the documentation.
Instruction Scope
The browser cleanup behavior is disclosed, but its scope is broad: it keeps one Eastmoney tab and closes all other browser tabs without a confirmation or a boundary to tabs created by this skill.
Install Mechanism
The registry declares no required credentials, environment variables, binaries, or install spec, while the artifacts require Python/OpenClaw browser access and include an embedded NocoDB API token.
Credentials
Posting scraped data to NocoDB is expected, but sending local JSON records to a hard-coded remote database and closing unrelated browser tabs are high-impact actions that are not sufficiently scoped.
Persistence & Privilege
The cron examples are user-directed rather than auto-installed, but they configure recurring scraping/import and twice-hourly tab cleanup with announcements disabled, which can keep affecting the environment after setup.
How to Use
- Make sure OpenClaw is installed (local or Docker)
- Run the install command in chat:
/install finance-data-scraper - After installation, invoke the skill by name or use
/finance-data-scraper - Provide required inputs per the skill's parameter spec and get structured output
Version History
v1.0.0
首次发布，包含完整的财经数据抓取功能：Chrome插件/无头浏览器抓取新闻、大盘数据、热门板块、涨停个股数据、Chrome Tab清理，以及配置示例。
Metadata
Frequently Asked Questions
What is Finance Data Scraper?
完整的财经数据抓取Skill，包含： 1. 每日财经新闻（Chrome插件抓取） 2. 每日财经新闻（无头浏览器抓取） 3. 每日大盘数据 4. 每日热门板块数据 5. 每日涨停个股数据 6. Chrome浏览器Tab清理（防止内存溢出） 包含所有入库表配置、定时任务配置、去重规则等. It is an AI Agent Skill for Claude Code / OpenClaw, with 18 downloads so far.
How do I install Finance Data Scraper?
Run "/install finance-data-scraper" in the OpenClaw or Claude Code chat to install it in one step — no extra setup required.
Is Finance Data Scraper free?
Yes, Finance Data Scraper is completely free, licensed under MIT-0. You can download, install and use it at no cost.
Which platforms does Finance Data Scraper support?
Finance Data Scraper is cross-platform and runs anywhere OpenClaw / Claude Code is available (cross-platform).
Who created Finance Data Scraper?
It is built and maintained by hoovaycn (@hoovaycn); the current version is v1.0.0.
More Skills