\r \r

Article Fetcher v1.0.1\r

\r 抓取微信公众号、小红书、豆瓣、知乎文章，自动上传 OSS 图床，LLM 智能关键词提取，一键存档到 Notion。\r \r

快速开始\r

\r

1. 安装依赖\r

\r

pip install -r requirements.txt\r
```\r
\r
### 2. 配置环境变量（`~/.openclaw/.env`）\r
\r
```bash\r
# 必需：OSS 图床\r
ALIYUN_OSS_AK=your_ak\r
ALIYUN_OSS_SK=your_sk\r
ALIYUN_OSS_BUCKET_ID=your_bucket\r
ALIYUN_OSS_ENDPOINT=oss-cn-shanghai.aliyuncs.com\r
\r
# 必需：Notion 存档\r
NOTION_API_KEY=secret_xxx\r
NOTION_ARTICLE_DATABASE_ID=database_id\r
\r
# 可选：LLM 关键词提取（DashScope）\r
DASHSCOPE_API_KEY=sk-xxx\r
DASHSCOPE_MODEL=qwen3.5-plus\r
\r
# 可选：Cookies（反爬，Netscape 格式）\r
WECHAT_COOKIES_FILE=~/.cookies/wechat_cookies.txt\r
ZHIHU_COOKIES_FILE=~/.cookies/zhihu_cookies.txt\r
```\r
\r
### 3. 使用\r
\r
```bash\r
cd \x3Cskill-dir>\r
python3 main.py "文章 URL" [标签1] [标签2]\r
```\r
\r
**支持平台**：微信公众号 (`mp.weixin.qq.com`)、小红书 (`xiaohongshu.com` / `xhslink.com`)、豆瓣 (`douban.com`)、知乎 (`zhihu.com`)\r
\r
## 处理流程\r
\r
```\r
URL → 平台识别 → 内容抓取 → 图片上传 OSS → 关键词提取 (LLM → 词频降级) → Notion 存档\r
```\r
\r
## Notion 数据库字段\r
\r
| 字段 | 类型 | 说明 |\r
|------|------|------|\r
| Title | title | 文章标题（≤200 字符） |\r
| Source | rich_text | 来源平台 |\r
| Author | rich_text | 作者 |\r
| Link | url | 原文链接 |\r
| Tags | multi_select | 自动提取关键词 + 手动标签 |\r
| PubDate | date | 发布时间 |\r
| Words | number | 字数统计（剔除 HTML） |\r
| ts | date | 存档时间（东八区） |\r
\r
## 关键说明\r
\r
- **Cookies**：知乎/微信反爬需配置（Netscape 格式），小红书/豆瓣无需登录\r
- **关键词**：LLM 优先（DashScope），未配置或失败自动降级本地词频\r
- **图片**：上传失败不阻断，成功多少记录多少\r
- **时间**：统一 `YYYY-MM-DD HH:MM:SS`，缺失时留空（不伪造）\r
- **模块**：`main.py` 可作 Python 模块调用：`from main import fetch_and_archive_article`\r
\r
## 安全与隐私\r
\r
- **URL 校验**：严格白名单匹配 hostname，拒绝路径拼接攻击\r
- **Cookie 隔离**：Netscape Cookies 按域名过滤，仅附加到匹配的请求\r
- **LLM 数据外发**：配置 `DASHSCOPE_API_KEY` 时，文章内容会发送至 DashScope API（仅用于关键词提取）\r
- **敏感信息**：AK/SK/Key 等仅存储于本地，skill 不会外泄\r
- **权限最小化**：OSS Bucket 建议仅授予 PutObject/GetObject，Notion Integration 仅授予目标数据库读写权限\r
- **依赖锁定**：requirements.txt 使用精确版本号，避免供应链风险\r
\r
## 扩展平台\r
\r
1. `fetchers/` 下创建 `xxx_fetcher.py`，继承 `BaseFetcher` 实现 `fetch_article()`\r
2. `detector/platform_detector.py` 的 `ALLOWED_HOSTS` 添加平台域名\r
3. `main.py` 的 `FETCHER_REGISTRY` 注册\r