diff --git a/docs/服务器运维手册.md b/docs/服务器运维手册.md new file mode 100644 index 0000000..8b4f66d --- /dev/null +++ b/docs/服务器运维手册.md @@ -0,0 +1,250 @@ +# 一尘数据系统 - 服务器运维手册 + +> 适用服务器:2号 (101.37.160.219)、3号 (42.121.116.25) +> 统一密码:`Coolbot123`(2号也用此密码登录) + +--- + +## 一、服务器概览 + +| 服务器 | IP | 用途 | 爬虫 cron | +|--------|-----|------|-----------| +| 2号 | 101.37.160.219 | 爬虫 + API | 每 15 分钟 | +| 3号 | 42.121.116.25 | 爬虫 + API | 每 25 分钟 | + +--- + +## 二、下载更新版本 + +### 方式 A:通过 Git 拉取(推荐) + +```bash +cd /root/coolbot-data +git pull origin main +``` + +> 注意:可能需要先设置 Git 凭据 +> ```bash +> git config --global credential.helper store +> # 首次需要输入一次用户名密码 +> # 用户名: caibotmi +> # 密码: Caibotmi123 +> ``` + +### 方式 B:手动上传 + +如果 Git 有问题,可以让机器人(我)从 1 号服务器打包文件,通过中间服务器转发。 + +--- + +## 三、部署启动服务 + +### 3.1 安装 Python 依赖 + +```bash +cd /root/coolbot-data +source venv/bin/activate +pip install -r requirements.txt -q +``` + +### 3.2 重启爬虫服务 + +```bash +# 重启 cron(让新代码生效) +crontab /root/coolbot-data/scripts/root.cron + +# 或手动重启 crond +systemctl restart crond +``` + +### 3.3 重启 API 服务 + +```bash +# 查看 API 是否在运行 +ps aux | grep uvicorn | grep -v grep + +# 如果在运行,kill 掉 +pkill -f uvicorn + +# 重新启动(后台运行) +cd /root/coolbot-data +source venv/bin/activate +nohup python3 -m uvicorn api.main:app --host 0.0.0.0 --port 8080 > /root/coolbot-data/logs/api.log 2>&1 & +echo "API 已重启,PID: $!" +``` + +--- + +## 四、验证服务 + +### 4.1 验证爬虫日志 + +```bash +# 查看最近爬虫执行记录 +tail -20 /root/coolbot-data/logs/cron_s2.log # 2号 +tail -20 /root/coolbot-data/logs/cron_s3.log # 3号 +``` + +**正常的日志格式:** +``` +开始全量采集第1-2页 (今天: 2026/4/7) +扫描第 1 页... + 该页共 391 条帖子 + [保存] 36193766 - ,,,13100元求购... (今日2026/4/7中已存2条) +===== 采集完成 ===== +总计检查: 781 条 +成功保存: 23 条 +``` + +**出现以下情况请处理:** +- `保存失败: not all arguments converted` → 代码未更新,需重新拉取 +- `保存失败: connection` → 数据库连接问题 +- 一直是 0 条 → 检查网络或目标网站 + +### 4.2 验证 API 服务 + +```bash +# 测试 API 是否响应 +curl -s http://localhost:8080/health | python3 -m json.tool +``` + +**正常响应:** +```json +{"status": "ok", "message": "CoolBotDataSys API is running", "version": "1.0.0"} +``` + +### 4.3 验证数据库新帖 + +```bash +python3 -c " +import psycopg2 +conn = psycopg2.connect(host='pgm-bp1t1008h019ez6c.pg.rds.aliyuncs.com', port=5432, database='coolbot_data', user='coolbot', password='Coolbot123') +cur = conn.cursor() +cur.execute('SELECT COUNT(*), MAX(crawled_at) FROM yichens_posts WHERE DATE(crawled_at) = CURRENT_DATE') +r = cur.fetchone() +print(f'今日帖子: {r[0]}条 | 最后采集: {r[1]}') +conn.close() +" +``` + +--- + +## 五、定期检查 + +### 5.1 每日检查(建议) + +```bash +# 1. 检查爬虫是否在运行 +ps aux | grep crawl_today | grep -v grep + +# 2. 检查 cron 是否生效 +crontab -l | grep crawl + +# 3. 检查今日数据量(应该 > 0) +python3 -c "import psycopg2; conn = psycopg2.connect(host='pgm-bp1t1008h019ez6c.pg.rds.aliyuncs.com', port=5432, database='coolbot_data', user='coolbot', password='Coolbot123'); cur = conn.cursor(); cur.execute('SELECT COUNT(*) FROM yichens_posts WHERE DATE(crawled_at) = CURRENT_DATE'); print(cur.fetchone()[0], '条'); conn.close()" +``` + +### 5.2 每周检查 + +- 检查磁盘空间:`df -h` +- 检查日志文件大小:`ls -lh /root/coolbot-data/logs/` +- 清理旧日志:`find /root/coolbot-data/logs -name "*.log" -mtime +7 -delete` + +--- + +## 六、问题处理 + +### 问题 1:爬虫一直报 "保存失败: not all arguments converted" + +**原因:** 代码未更新到最新版本 + +**解决:** +```bash +cd /root/coolbot-data +git pull origin main +``` + +### 问题 2:爬虫返回 0 条新帖 + +**排查步骤:** +1. 检查网络:`curl -s -o /dev/null -w "%{http_code}" http://www4.pm001.net` +2. 查看详细日志:`tail -50 /root/coolbot-data/logs/cron_s*.log` +3. 手动跑一次爬虫看输出 + +### 问题 3:API 服务无响应 + +**解决:** +```bash +# 检查端口是否监听 +netstat -tlnp | grep 8080 + +# 重启 API +cd /root/coolbot-data +pkill -f uvicorn +source venv/bin/activate +nohup python3 -m uvicorn api.main:app --host 0.0.0.0 --port 8080 > logs/api.log 2>&1 & +``` + +### 问题 4:数据库连接失败 + +**原因:** 阿里云 RDS 网络不通 或 密码错误 + +**排查:** +```bash +# 测试数据库连接 +psql "postgresql://coolbot:Coolbot123@pgm-bp1t1008h019ez6c.pg.rds.aliyuncs.com:5432/coolbot_data" -c "SELECT 1" +``` + +### 问题 5:SSH 连接被拒 + +**原因:** 服务器 SSH 策略或网络问题 + +**解决:** 等待几分钟后重试,或联系网络管理员 + +--- + +## 七、快速命令汇总 + +```bash +# === 查看状态 === +git -C /root/coolbot-data log --oneline -1 # 最新版本 +ps aux | grep crawl_today | grep -v grep # 爬虫进程 +ps aux | grep uvicorn | grep -v grep # API 进程 +tail -5 /root/coolbot-data/logs/cron_s*.log # 最新日志 + +# === 更新代码 === +cd /root/coolbot-data && git pull origin main + +# === 重启爬虫 === +pkill -f crawl_today +# 等待 cron 自动触发,或手动运行: +# cd /root/coolbot-data && source venv/bin/activate && python3 scripts/crawl_cron_s2.sh + +# === 重启 API === +cd /root/coolbot-data && pkill -f uvicorn && source venv/bin/activate && nohup python3 -m uvicorn api.main:app --host 0.0.0.0 --port 8080 > logs/api.log 2>&1 & + +# === 验证服务 === +curl -s http://localhost:8080/health # API 健康检查 +python3 -c "import psycopg2; c=psycopg2.connect(host='pgm-bp1t1008h019ez6c.pg.rds.aliyuncs.com',port=5432,database='coolbot_data',user='coolbot',password='Coolbot123'); print(c.cursor().execute('SELECT 1'),'OK')" # DB 连接 +``` + +--- + +## 八、重要文件路径 + +| 路径 | 说明 | +|------|------| +| `/root/coolbot-data/crawlers/crawl_today.py` | 爬虫主程序 | +| `/root/coolbot-data/scripts/crawl_cron_s2.sh` | 2号 cron 脚本 | +| `/root/coolbot-data/scripts/crawl_cron_s3.sh` | 3号 cron 脚本 | +| `/root/coolbot-data/logs/cron_s2.log` | 2号爬虫日志 | +| `/root/coolbot-data/logs/cron_s3.log` | 3号爬虫日志 | +| `/root/coolbot-data/api/main.py` | API 主程序 | +| `/root/coolbot-data/logs/api.log` | API 日志 | +| `/root/coolbot-data/.env` | 环境变量(包含数据库密码) | + +--- + +## 九、联系方式 + +如遇到无法解决的问题,请联系:**菜鸟Mi(caibotmini)**