← 返回 Skills 市场
hj2916

同花顺问财数据提取器

作者 HJ2916 · GitHub ↗ · v1.0.0 · MIT-0
cross-platform ✓ 安全检测通过
159
总下载
0
收藏
0
当前安装
1
版本数
在 OpenClaw 中安装
/install iwencai-data-extractor
功能描述
从同花顺问财(iwencai.com) AI选股页面批量抓取涨停股票数据,使用 agent-browser 通过 Chrome CDP 连接操作浏览器,将数据存入 SQLite 数据库,并可导出为 Excel 汇总报告。适用场景:用户要求爬取/抓取/提取问财涨停数据、查询特定日期涨停股票、批量获取历史涨停记录、生...
使用说明 (SKILL.md)

\r \r

同花顺问财数据提取器\r

\r

环境配置\r

\r 使用前确认以下路径(可从用户记忆或直接询问):\r \r | 配置项 | 默认值 |\r |--------|--------|\r | Python | C:\Users\JacobWu\AppData\Local\Programs\Python\Python312\python.exe |\r | agent-browser | C:\Users\JacobWu\AppData\Roaming\ pm\agent-browser.cmd |\r | Chrome CDP端口 | 9222 |\r | 数据库路径 | D:\workbuddyclaw\iwencai_zt.db |\r | 数据目录 | D:\workbuddyclaw\iwencai_data\ |\r \r 启动 Chrome 调试模式(用户须手动执行一次):\r

chrome.exe --remote-debugging-port=9222 --user-data-dir=C:\ChromeDebug\r
```\r
然后在 Chrome 中手动导航到 `https://www.iwencai.com/unifiedwh/stockpicker/`(AI选股页面)。\r
\r
## 核心工作流\r
\r
### 单日 / 批量爬取\r
\r
使用 `scripts/crawl.py`,修改顶部配置后运行:\r
\r
```bash\r
# Windows PowerShell/cmd,用 cmd /c 规避编码问题\r
cmd /c python D:\workbuddyclaw\iwencai_data\crawl.py\r
```\r
\r
脚本关键参数(脚本顶部修改):\r
- `TRADE_DAYS`:要爬取的日期列表(ISO格式 `YYYY-MM-DD`)\r
- `AGENT`:agent-browser 路径\r
- `DB_PATH`:SQLite 数据库路径\r
\r
### 导出 Excel 报告\r
\r
使用 `scripts/export_excel.py`,生成包含5个Sheet的汇总报告:\r
\r
```bash\r
cmd /c python D:\workbuddyclaw\iwencai_data\export_excel.py\r
```\r
\r
## 关键技术细节(必读)\r
\r
### agent-browser 调用规范\r
\r
```python\r
# 正确:不要加 --timeout 参数(子命令不支持,会报 Unknown command)\r
cmd = [AGENT, "--cdp", "9222"] + list(args)\r
\r
# eval 输出是双层 JSON 包裹,需双层解析\r
raw = ab("eval", js)\r
step1 = json.loads(raw)\r
result = json.loads(step1) if isinstance(step1, str) else step1\r
```\r
\r
### 搜索框定位\r
\r
snapshot 中搜索框类型为 `textbox`,带 "筛选条件" 提示文字:\r
```python\r
for line in snap.split('\
'):\r
    if 'textbox' in line.lower() and 'ref=' in line:\r
        if '筛选条件' in line or '请输入您的' in line:\r
            m = re.search(r'ref=(e\d+)', line)\r
            if m:\r
                search_ref = m.group(1)\r
                break\r
```\r
\r
### 分页翻页(Vue.js 兼容)\r
\r
普通 `click()` 无效,必须用 `dispatchEvent` 触发 Vue 响应式事件:\r
\r
```javascript\r
// 分页 class 是 .page-item(不是 .iw-asidetable-page-item)\r
var items = document.querySelectorAll('.page-item');\r
// 找到目标页码元素后:\r
var evt = new MouseEvent('click', {bubbles: true, cancelable: true, view: window});\r
a.dispatchEvent(evt);\r
```\r
\r
### Windows 编码\r
\r
所有 Python 脚本顶部加:\r
```python\r
import sys, io\r
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8', errors='replace')\r
sys.stderr = io.TextIOWrapper(sys.stderr.buffer, encoding='utf-8', errors='replace')\r
```\r
运行脚本用 `cmd /c python script.py`(不用 PowerShell 直接调用)。\r
\r
## 数据库结构\r
\r
表名:`zt_stocks`\r
\r
| 字段 | 类型 | 说明 |\r
|------|------|------|\r
| trade_date | TEXT | 交易日期 YYYY-MM-DD |\r
| stock_code | TEXT | 股票代码(6位) |\r
| stock_name | TEXT | 股票名称 |\r
| price | REAL | 收盘价 |\r
| change_pct | REAL | 涨跌幅(%) |\r
| zt_time | TEXT | 涨停时间 |\r
| zt_status | TEXT | 涨停状态 |\r
| volume | TEXT | 成交量 |\r
| amount | TEXT | 成交额 |\r
| first_zt_time | TEXT | 首次涨停时间 |\r
| lb_count | INTEGER | 连板数 |\r
| zt_type | TEXT | 涨停类型(首板/二连板等) |\r
| float_mv | TEXT | 流通市值 |\r
| vol_ratio | TEXT | 量比 |\r
| themes | TEXT | 所属题材(+分隔) |\r
| zt_tags | TEXT | 涨停标签 |\r
| total_mv | TEXT | 总市值 |\r
\r
## 参考文档\r
\r
- **爬取脚本完整实现**:见 `references/crawl_reference.md`\r
- **常见问题排查**:见 `references/troubleshooting.md`\r
安全使用建议
总体上这个技能实现与其描述一致,但在安装/运行前请注意: - 脚本包含多个硬编码的绝对路径(示例为 JacobWu 的用户目录与 D:\workbuddyclaw),请在运行前把脚本中的 AGENT、DB_PATH、数据目录等改为你自己的路径;技能包没有自动安装或放置文件到这些位置。 - 该工具通过 agent-browser 控制你本地的 Chrome(需以 --remote-debugging-port 启动并打开问财页面)。这会让脚本能够操作浏览器页面和 DOM;在运行前确认你理解并允许该行为,最好使用单独的浏览器用户数据目录(--user-data-dir)以隔离账户/扩展/会话数据。 - 脚本将抓取问财网站的数据并写入本地 SQLite,然后生成 Excel,不会默认把数据发送到外部服务器。但仍建议在受信任的环境运行,审阅脚本(crawl.py、export_excel.py)以确认没有被修改的远程上报逻辑。 - 确认已安装 Python 以及依赖(pandas、openpyxl)。建议先在受控环境(虚拟机或隔离目录)测试,确保路径、agent-browser 与 Chrome CDP 正常工作。 - 最后,检查目标网站的使用条款与爬取政策,确保你的抓取行为符合法律和网站规则。
功能分析
Type: OpenClaw Skill Name: iwencai-data-extractor Version: 1.0.0 The skill bundle is a legitimate data extraction tool designed to scrape stock market data from the 'iwencai.com' website. It utilizes the OpenClaw 'agent-browser' to automate browser interactions, stores the results in a local SQLite database, and generates formatted Excel reports using standard Python libraries (pandas, openpyxl). The code in 'scripts/crawl.py' and 'scripts/export_excel.py' is well-documented, follows the stated purpose in 'SKILL.md', and contains no evidence of malicious intent, data exfiltration, or unauthorized system access.
能力评估
Purpose & Capability
技能名/描述(从问财抓取涨停数据、存 SQLite、导出 Excel)与脚本功能基本一致。需要注意的是文档和脚本都包含硬编码的、针对特定用户与磁盘路径的默认值(例如 C:\Users\JacobWu 开头的 agent 路径和 D:\workbuddyclaw\... 的数据库/数据目录),但技能包没有安装步骤说明也没有把文件放到这些路径的机制,用户需手动修改/放置文件并确保 agent-browser 与 Chrome CDP 可用。硬编码路径是可解释为配置疏漏,但与功能目的相符。
Instruction Scope
SKILL.md 与脚本只描述在用户机器上通过 agent-browser 控制本地 Chrome(需以 --remote-debugging-port 启动并导航到指定页面)来抓取页面 DOM,并将数据写入本地 SQLite,再用本地 Python 导出 Excel。指令未要求读取其他系统凭据或上传到第三方服务器。但注意:说明鼓励从“用户记忆或直接询问”获取本地路径,且示例命令使用绝对路径(D:\workbuddyclaw\...),这在不同用户环境下不适用;代理运行时会调用本地进程和浏览器,用户应确认同意。
Install Mechanism
没有 install spec —— 是 instruction-only(但包含脚本文件)。没有从外部 URL 下载或执行不明二进制,风险较低。需要用户在本地安装 agent-browser、Chrome,并有 Python 及相关库(pandas、openpyxl)。
Credentials
不请求任何环境变量或外部凭据(requires.env 为空)。脚本只访问本地文件系统(数据库、输出路径)和本地 Chrome CDP(localhost:9222),没有向外部网络发送抓取结果或向未知远端上报。
Persistence & Privilege
技能未要求始终启用(always:false),也不修改其他技能或系统级配置。它仅包含可执行脚本,写入本地 SQLite/Excel 属于其功能范围。
如何使用
  1. 确保已安装 OpenClaw(本地或 Docker 部署)
  2. 在对话框中输入安装命令:/install iwencai-data-extractor
  3. 安装完成后,直接呼叫该 Skill 的名称或使用 /iwencai-data-extractor 触发
  4. 根据 Skill 的参数说明提供必要输入,即可获得结构化输出
版本历史
v1.0.0
同花顺问财数据提取器 1.0.0 - 支持从同花顺问财 AI 选股页面批量提取涨停股票数据。 - 自动操作 Chrome 浏览器(通过 agent-browser 和 CDP 协议)。 - 抓取数据存入本地 SQLite 数据库,结构详见说明。 - 提供一键导出 Excel 汇总报告,含多 Sheet 数据。 - 详细文档涵盖环境配置、脚本使用、关键技术细节和常见问题排查。
元数据
Slug iwencai-data-extractor
版本 1.0.0
许可证 MIT-0
累计安装 0
当前安装数 0
历史版本数 1
常见问题

同花顺问财数据提取器 是什么?

从同花顺问财(iwencai.com) AI选股页面批量抓取涨停股票数据,使用 agent-browser 通过 Chrome CDP 连接操作浏览器,将数据存入 SQLite 数据库,并可导出为 Excel 汇总报告。适用场景:用户要求爬取/抓取/提取问财涨停数据、查询特定日期涨停股票、批量获取历史涨停记录、生... 它是一个面向 Claude Code / OpenClaw 的 AI Agent Skill 插件,目前累计下载 159 次。

如何安装 同花顺问财数据提取器?

在 OpenClaw 或 Claude Code 对话框中运行命令「/install iwencai-data-extractor」即可一键安装,无需额外配置。

同花顺问财数据提取器 是免费的吗?

是的,同花顺问财数据提取器 完全免费,采用 MIT-0 许可证,可自由下载、安装和使用。

同花顺问财数据提取器 支持哪些平台?

同花顺问财数据提取器 跨平台运行,可在任意部署了 OpenClaw / Claude Code 的环境中使用(cross-platform)。

谁开发了 同花顺问财数据提取器?

由 HJ2916(@hj2916)开发并维护,当前版本 v1.0.0。

💬 留言讨论