← Back to Skills Marketplace
tujinsama

全网数据探测虾

by Ricky · GitHub ↗ · v1.0.0 · MIT-0
cross-platform ⚠ suspicious
108
Downloads
0
Stars
0
Active Installs
1
Versions
Install in OpenClaw
/install web-data-monitor-claw
Description
全网数据探测虾 — 监控竞品官网或特定站点的页面变动,自动巡查并在关键内容变化时发送通知。 适用场景:竞品价格监控、法规更新监控、招聘信息监控、新闻舆情监控、技术文档更新监控。 触发关键词:监控 爬虫 网页变动 竞品监控 价格监控 法规更新 舆情监控 数据采集 网站监控 页面变化 自动抓取 web-data-mo...
Usage Guidance
要点和建议: - 这个技能确实实现了网页快照、差异检测和本地归档,适合合法的公开网页监控。它同时包含明确的“反爬虫对抗”指南(代理池、UA 轮换、验证码打码等),这些手段容易违反目标网站服务条款或法律(特别是绕过访问控制或大规模抓取)。 - 警惕合规/法律风险:在部署前确认目标站点允许抓取(查看 robots.txt 与服务条款),并避免抓取需要登录或含有受限数据的页面。使用代理或打码服务会提高滥用风险与合规风险。 - 通知机制并未在脚本中实现(脚本仅保存 notify 字段),请确认告警/推送由哪些下游组件负责并审查那些组件的实现与权限。 - 部署时注意敏感配置:如果你计划使用代理服务或第三方验证码平台,会产生凭据/付费账号,应妥善管理这些凭据(不要把它们放在不安全的目录或公开日志中)。 - 若你想更放心:要求作者或发布者提供(1)通知推送的实现细节或下游组件代码,(2)是否/如何使用第三方验证码服务及其域名与凭据流向,以及(3)是否有速率限制与合规使用说明。有这些信息可降低不确定性并可能把判断改为“benign”。
Capability Analysis
Type: OpenClaw Skill Name: web-data-monitor-claw Version: 1.0.0 The skill bundle provides a functional web monitoring and scraping tool, but it is classified as suspicious due to high-risk shell script patterns and evasion techniques. The core script `scripts/web-monitor.sh` lacks input sanitization for parameters like `--url` and `--selector`, which are passed directly to `curl` and `pup`; this creates a vulnerability for command injection if the AI agent is manipulated into providing malicious inputs. Additionally, `references/anti-detection.md` contains explicit instructions for 'anti-detection' and 'stealth' behaviors, such as User-Agent rotation and proxy usage to bypass website security controls, which, while common in scraping, fall under the category of evasion tactics.
Capability Assessment
Purpose & Capability
技能名称/描述与脚本实现总体一致:抓取网页、建立快照、对比并归档。依赖 curl/jq/pup 与文本 diff 符合目的。唯一注意点:文档多次提及“发送通知(飞书/邮件/webhook)”,但脚本本身不实现通知发送,依赖外部下游“虾”协作;这一点在说明里有上下游协作表,算是部分实现分拆,但对非专家用户可能造成误解。
Instruction Scope
SKILL.md 和 references 明确包含反爬虫规避策略:UA 轮换、代理池、请求频率伪装、验证码识别/第三方打码服务、以及 cookie/Referer 伪装等。虽然这些策略在爬虫工具中常见,但它们用于规避目标站点的防护并可能支持访问受保护或受限内容,增加合规与滥用风险。另外,references 展示了带 Cookie 抓取的模板,而 README 同时声明“仅支持公开可访问的网页”——存在自相矛盾或边界不清的问题。
Install Mechanism
无安装规范(instruction-only + 包含脚本),不会在安装时从不受信任的 URL 下载或解压任意二进制。脚本依赖外部工具(curl/jq/pup/diff),这与用途相称。
Credentials
技能未声明必须的环境变量或凭据,脚本只可选使用 WEB_MONITOR_DATA_DIR 指定数据目录。references 提到代理配置与第三方验证码服务(需要凭据/付费),但这些凭据未在 requires.env 中声明;这本身不是直接泄露风险,但增加了部署时需要外部敏感配置的可能性,且没有说明如何安全管理。
Persistence & Privilege
不要求 always:true,也不修改系统或其它技能配置。脚本在用户主目录下创建 $HOME/.web-monitor 存储数据和日志—这是合理的本地持久化行为,用户应注意该目录包含抓取到的原始页面数据。
How to Use
  1. Make sure OpenClaw is installed (local or Docker)
  2. Run the install command in chat: /install web-data-monitor-claw
  3. After installation, invoke the skill by name or use /web-data-monitor-claw
  4. Provide required inputs per the skill's parameter spec and get structured output
Version History
v1.0.0
初始发布:竞品官网/特定站点页面变动监控,支持价格监控、法规更新、舆情监控等场景,含反爬虫策略和数据提取模板
Metadata
Slug web-data-monitor-claw
Version 1.0.0
License MIT-0
All-time Installs 0
Active Installs 0
Total Versions 1
Frequently Asked Questions

What is 全网数据探测虾?

全网数据探测虾 — 监控竞品官网或特定站点的页面变动,自动巡查并在关键内容变化时发送通知。 适用场景:竞品价格监控、法规更新监控、招聘信息监控、新闻舆情监控、技术文档更新监控。 触发关键词:监控 爬虫 网页变动 竞品监控 价格监控 法规更新 舆情监控 数据采集 网站监控 页面变化 自动抓取 web-data-mo... It is an AI Agent Skill for Claude Code / OpenClaw, with 108 downloads so far.

How do I install 全网数据探测虾?

Run "/install web-data-monitor-claw" in the OpenClaw or Claude Code chat to install it in one step — no extra setup required.

Is 全网数据探测虾 free?

Yes, 全网数据探测虾 is completely free, licensed under MIT-0. You can download, install and use it at no cost.

Which platforms does 全网数据探测虾 support?

全网数据探测虾 is cross-platform and runs anywhere OpenClaw / Claude Code is available (cross-platform).

Who created 全网数据探测虾?

It is built and maintained by Ricky (@tujinsama); the current version is v1.0.0.

💬 Comments