让电脑 24 小时不关机

持续运行与多维度验证

爬虫的价值在于持续收集。建立自动化系统，让数据 24 小时不间断收集，多维度验证准确性。

---

<## id="section-0">🤔 为什么需要 24 小时运行？</##>

<### id="section-1">数据收集的时效性</###>

场景对比：

手动运行：
• 每天早上 9 点运行一次

• 错过白天价格变化

• 错过晚上促销活动

• 数据滞后 24 小时
24 小时运行：
• 每小时运行一次

• 实时捕捉价格变化

• 及时发现促销活动

• 数据滞后 1 小时

价值差异：
| 维度 | 手动运行 | 24 小时运行 |
|------|---------|-----------|
| 数据更新 | 每天 1 次 | 每小时 1 次 |
| 价格监控 | 滞后 24 小时 | 滞后 1 小时 |
| 促销发现 | 可能错过 | 及时发现 |
| 决策支持 | 基于旧数据 | 基于新数据 |

---

<### id="section-2">多维度数据验证</###>

单一数据源的问题：

只从一个网站抓取：
• 价格可能不准确

• 数据可能不完整

• 无法交叉验证
多数据源对比：
• 3 个网站对比价格

• 发现异常数据

• 提高数据准确性

示例：

商品价格对比：
• 网站 A：¥100

• 网站 B：¥100

• 网站 C：¥100

• 验证结果：✅ 准确
• 网站 A：¥100

• 网站 B：¥100

• 网站 C：¥500

• 验证结果：❌ 网站 C 异常，可能是错误

---

<## id="section-3">⚙️ 24 小时运行方案</##>

<### id="section-4">方案 1：定时任务（推荐）</###>

Linux/Mac：

# 使用 cron 设置定时任务
每小时运行一次

0     cd ~/crawler_projects/shop && python main.py
每天早上 8 点运行

0 8   * cd ~/crawler_projects/shop && python main.py
每 30 分钟运行一次

/30    * cd ~/crawler_projects/shop && python main.py

Windows：

使用任务计划程序：
1. 打开"任务计划程序"
2. 创建基本任务
3. 设置触发器（每小时/每天）
4. 设置操作（运行 Python 脚本）
5. 完成设置

指令模板：

【定时任务设置】
请帮我设置定时任务：
运行脚本：~/crawler_projects/shop/main.py
运行频率：每小时运行一次
运行时间：全天 24 小时
日志记录：
• 运行日志：~/logs/crawler_run.log

• 错误日志：~/logs/crawler_error.log
通知设置：
• 成功：不通知

• 失败：发送邮件通知
请提供详细的设置步骤。

---

<### id="section-5">方案 2：守护进程</###>

什么是守护进程？

持续运行的后台程序
• 自动重启（崩溃后）

• 资源监控

• 日志记录

简单实现：

# watchdog.py - 守护进程脚本
import time
import subprocess
from datetime import datetime
def run_crawler():
    """运行爬虫"""
    try:
        result = subprocess.run(
            ['python', 'main.py'],
            capture_output=True,
            text=True
        )
        log(f"运行成功：{result.stdout}")
    except Exception as e:
        log(f"运行失败：{e}")
def log(message):
    """记录日志"""
    timestamp = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
    with open('watchdog.log', 'a') as f:
        f.write(f"[{timestamp}] {message}\n")
主循环

while True:
    run_crawler()
    time.sleep(3600)  # 等待 1 小时

指令：

【守护进程设置】
请帮我创建一个守护进程：
功能：
1. 持续运行爬虫脚本
2. 每小时执行一次
3. 崩溃后自动重启
4. 记录运行日志
日志要求：
• 运行时间

• 运行结果

• 错误信息
请提供完整代码和启动方法。

---

<### id="section-6">方案 3：Docker 容器</###>

优势：

- 环境隔离
• 易于部署

• 自动重启

• 资源限制

简单配置：

# Dockerfile
FROM python:3.9
WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY . .
CMD ["python", "main.py"]

# docker-compose.yml
version: '3'
services:
  crawler:
    build: .
    restart: always
    volumes:
      - ./data:/app/data
      - ./logs:/app/logs
    environment:
      - RUN_INTERVAL=3600

指令：

【Docker 部署】
请帮我用 Docker 部署爬虫：
要求：
1. 容器自动重启
2. 数据挂载到本地
3. 日志挂载到本地
4. 每小时运行一次
请提供 Dockerfile 和 docker-compose.yml 配置。

---

<## id="section-7">📊 多维度数据验证</##>

<### id="section-8">维度 1：多网站对比</###>

场景：

监控同一商品在不同网站的价格
网站列表：
• 京东

• 淘宝

• 拼多多

• 苏宁易购

实施：

【多网站爬虫】
任务：抓取同一商品在 4 个网站的价格
商品信息：
• 名称：iPhone 15 Pro 256GB

• 型号：A2848
网站列表：
1. 京东：https://item.jd.com/xxx.html
2. 淘宝：https://item.taobao.com/xxx.html
3. 拼多多：https://mobile.yangkeduo.com/xxx.html
4. 苏宁：https://product.suning.com/xxx.html
需要数据：
• 商品价格

• 库存状态

• 促销活动

• 抓取时间
输出：
• 对比表格

• 价格趋势图

• 最低价提醒
请编写爬虫代码。

---

<### id="section-9">维度 2：历史数据对比</###>

场景：

对比当前数据与历史数据
验证内容：
• 价格波动是否在正常范围

• 销量趋势是否合理

• 数据完整性是否一致

实施：

【历史数据对比】
任务：对比今天和昨天的数据
数据文件：
• 今天：data_2026-03-30.csv

• 昨天：data_2026-03-29.csv
对比指标：
1. 商品总数变化（±10% 正常）
2. 平均价格变化（±20% 正常）
3. 价格异常商品（波动>50%）
4. 新增商品
5. 下架商品
输出：
• 对比报告

• 异常标记

• 趋势分析
请编写对比分析代码。

---

<### id="section-10">维度 3：MCP 数据集成</###>

什么是 MCP？

Model Context Protocol
• 标准化数据接口

• 多源数据整合

• 统一数据格式

集成方案：

【MCP 数据集成】
任务：将爬虫数据接入 MCP
数据源：
1. 爬虫抓取数据
2. API 获取数据
3. 手动录入数据
4. 第三方数据
集成要求：
1. 统一数据格式
2. 数据去重
3. 数据验证
4. 实时更新
输出：
• MCP 兼容格式

• 数据质量报告

• 更新日志
请提供集成方案。

---

<## id="section-11">🔔 监控与告警</##>

<### id="section-12">运行监控</###>

监控指标：

1. 运行状态
   - 是否正常运行
   - 运行时长
   - 完成状态
2. 数据质量
   - 抓取数量
   - 数据完整性
   - 数据准确性
3. 系统资源
   - CPU 使用率
   - 内存使用率
   - 磁盘空间

监控指令：

【监控系统设置】
请帮我设置爬虫监控：
监控内容：
1. 运行状态监控
   - 每小时检查是否运行
   - 失败时发送告警
2. 数据质量监控
   - 抓取数量异常告警
   - 数据格式错误告警
3. 系统资源监控
   - 磁盘空间不足告警
   - 内存使用过高告警
告警方式：
• 邮件通知

• 微信通知

• 短信通知（紧急情况）
请提供监控方案。

---

<### id="section-13">异常告警</###>

告警级别：

级别 1（低）：数据量小幅波动（±20%）
• 处理：记录日志，不通知
级别 2（中）：数据量大幅波动（±50%）
• 处理：发送邮件通知
级别 3（高）：爬虫运行失败
• 处理：发送邮件 + 微信通知
级别 4（紧急）：连续 3 次失败
• 处理：邮件 + 微信 + 短信通知

告警指令：

【告警系统设置】
请帮我设置告警系统：
告警规则：
1. 运行失败告警
   - 立即通知
   - 包含错误信息
2. 数据异常告警
   - 数据量波动>50%
   - 数据格式错误
3. 连续失败告警
   - 连续 3 次失败
   - 升级通知级别
通知渠道：
• 邮件：admin@example.com

• 微信：企业微信群

• 短信：138xxxxxxx（仅紧急）
请提供告警系统代码。

---

<## id="section-14">📁 数据管理与归档</##>

<### id="section-15">数据存储结构</###>

推荐结构：

data/
├── raw/                    # 原始数据
│   ├── 2026/
│   │   ├── 03/
│   │   │   ├── 30/
│   │   │   └── ...
│   │   └── ...
│   └── ...
├── cleaned/                # 清洗后数据
│   └── ...
├── analysis/               # 分析结果
│   └── ...
└── archive/                # 归档数据
    ├── 2026-Q1/
    └── ...

---

<### id="section-16">数据归档策略</###>

归档规则：

日常数据：
• 保留最近 30 天

• 可快速访问
历史数据：
• 按月归档

• 压缩存储

• 需要时解压
重要数据：
• 永久保留

• 多重备份

• 定期验证

归档指令：

【数据归档设置】
请帮我设置数据归档：
归档规则：
1. 日常数据
   - 保留最近 30 天
   - 存放在 data/raw/
2. 月度归档
   - 每月初归档上月数据
   - 压缩为 ZIP
   - 移动到 archive/
3. 备份策略
   - 本地备份：1 份
   - 云端备份：1 份
   - 每周验证备份
请提供归档脚本。

---

<## id="section-17">⚠️ 注意事项</##>

<### id="section-18">注意 1：资源管理</###>

问题：

24 小时运行会消耗资源：
• CPU 持续使用

• 内存占用

• 磁盘空间

• 网络带宽

解决方案：

1. 设置运行时间窗口
   - 避开高峰时段
   - 选择低负载时间
2. 资源限制
   - 限制 CPU 使用率
   - 限制内存使用
   - 限制网络带宽
3. 定期清理
   - 清理日志文件
   - 清理临时文件
   - 归档旧数据

---

<### id="section-19">注意 2：网站负载</###>

问题：

频繁访问可能影响网站：
• 增加服务器负载

• 可能被判定为攻击

• 可能被封 IP

解决方案：

1. 控制访问频率
   - 每次请求间隔 2-5 秒
   - 避免并发请求
   - 遵守 robots.txt
2. 设置运行时间
   - 避开网站高峰
   - 选择低峰时段
   - 分散访问时间
3. 使用代理 IP
   - 多 IP 轮换
   - 降低单 IP 频率
   - 避免被封禁

---

<### id="section-20">注意 3：数据隐私</###>

问题：

数据收集涉及隐私：
• 个人信息保护

• 商业数据保密

• 合规性要求

解决方案：

1. 只收集公开数据
   - 不抓取登录后可见数据
   - 不抓取个人敏感信息
   - 遵守网站使用条款
2. 数据脱敏
   - 去除个人标识
   - 加密敏感数据
   - 限制访问权限
3. 合规使用
   - 仅用于合法目的
   - 不用于商业用途（如未授权）
   - 遵守相关法律法规

---

<## id="section-21">🎯 总结</##>

24 小时运行方案：
1. 定时任务 - 简单易用
2. 守护进程 - 自动重启
3. Docker 容器 - 环境隔离

多维度验证：
1. 多网站对比 - 发现异常
2. 历史数据对比 - 趋势分析
3. MCP 集成 - 统一格式

监控告警：
1. 运行状态监控
2. 数据质量监控
3. 分级告警通知

注意事项：
1. 资源管理
2. 网站负载
3. 数据隐私

记住：
爬虫的价值在于持续收集。
建立自动化系统，24 小时运行。
多维度验证，确保数据准确。

---

入门篇完结 🎉

进阶篇预告：

---

上一篇： 如何验证与迭代爬虫 →