caibotmini
|
b9554562de
|
feat: 新增冠字号增量提取脚本 - 每天3点/11点/16点增量同步藏品数据
- 只提取新帖子的冠字号，INSERT ... ON CONFLICT DO NOTHING
- 删掉原来的 DELETE + 全量 INSERT 逻辑
- 加唯一索引 idx_collections_post_crown (post_id, crown_code)
|
2026-04-07 15:30:07 +08:00 |
caibotmini
|
e112b4c1e6
|
feat: v0.0.4 - 冠字号提取功能
新增脚本：scripts/crown_extract.py
- 从一尘帖子标题/内容中提取J0开头的冠字号（J0+8位/J0+9位）
- 提取号码特征（标十、无47、PMG等）
- 提取价格信息
- 按龙钞/马钞/蛇钞/其他自动分类
- 存入 collections 表
- 每天凌晨3点定时全量扫描提取
|
2026-04-07 00:05:53 +08:00 |
|
caibotmini
|
1c0f74ccb6
|
feat: v0.0.2 - 帖子正文爬取优化
- extract_post_content 新增免责声明截断逻辑：只保留到"免责声明及风险提示： 所有交易人员，凡未采用本站中介交易的，被骗后果自负。"为止
- 爬虫脚本 crawl_cron_s1/s2/s3 支持 instance_id 日志记录
- crawler_monitor.py 监控脚本：检查三台服务器爬虫运行状态
- 修复 crawl_today 日志写入 crawl_logs 表的问题
|
2026-04-06 16:42:43 +08:00 |
|
caibotmini
|
07b2e5c7b5
|
feat: v0.0.1 - CoolBotDataSys 完整版本
- FastAPI REST API (藏品/价格/一尘数据/统计报表)
- 爬虫: crawl_today.py (增量) + yichens_spider.py (全量)
- PostgreSQL 数据库 + Redis 缓存
- LLM 价格提取模块
- APScheduler 定时调度
- 飞书日报推送
- 修复 CURDATE() -> CURRENT_DATE (PostgreSQL兼容)
- 修复 API statistics 端点
- 新增分页数据封装 (PaginatedData)
- 新增龙钞分类统计报表 (report/stats)
- requirements.txt: mysql->psycopg2-binary
|
2026-04-06 14:41:01 +08:00 |
 caibotmi
|
c4e029a20a
|
feat: 完成一尘数据采集完整功能
- 一尘爬虫: 列表页解析 + 详情页解析
- 帖子详情: 提取标题/价格/联系方式/时间/内容
- 定时任务: 每天8点/18点自动爬取
- 日报推送: 每天9点推送飞书日报
- 一尘数据: 1800+ 帖子已入库
|
2026-04-04 20:02:13 +08:00 |