CoolBotDataSys

Commit Graph

Author	SHA1	Message	Date
caibotmi	c4e029a20a	feat: 完成一尘数据采集完整功能 - 一尘爬虫: 列表页解析 + 详情页解析 - 帖子详情: 提取标题/价格/联系方式/时间/内容 - 定时任务: 每天8点/18点自动爬取 - 日报推送: 每天9点推送飞书日报 - 一尘数据: 1800+ 帖子已入库	2026-04-04 20:02:13 +08:00
caibotmi	63a5b46791	feat: 完成一尘数据采集模块 - crawlers/base.py: 爬虫基类（请求封装/延时/重试/COOKIE管理） - crawlers/yichens_spider.py: 一尘帖子爬虫（分类解析/时间解析/数据入库） - YichensPostSpider: 帖子采集（支持多板块/分页/去重） - YichensUserSpider: 用户采集（支持详情爬取） - API触发: POST /api/v1/crawl-jobs/trigger?source=yichens	2026-04-04 18:54:15 +08:00
caibotmi	1a1f7a92fe	refactor: 重构 API 架构，规范化命名和响应格式 - 统一响应格式: {code, message, data, timestamp} - RESTful 路由: /api/v1/collections, /api/v1/prices - 分页封装: PaginatedData - 路由模块化: routes/collections.py, routes/prices.py, routes/health.py - 数据模型: Pydantic models for request/response - 数据库连接池 - 配置文件: config/config.yaml - 爬虫模块: crawlers/yichens_spider.py	2026-04-04 18:23:00 +08:00

Author

SHA1

Message

Date

caibotmi

c4e029a20a

feat: 完成一尘数据采集完整功能

- 一尘爬虫: 列表页解析 + 详情页解析
- 帖子详情: 提取标题/价格/联系方式/时间/内容
- 定时任务: 每天8点/18点自动爬取
- 日报推送: 每天9点推送飞书日报
- 一尘数据: 1800+ 帖子已入库

2026-04-04 20:02:13 +08:00

caibotmi

63a5b46791

feat: 完成一尘数据采集模块

- crawlers/base.py: 爬虫基类（请求封装/延时/重试/COOKIE管理）
- crawlers/yichens_spider.py: 一尘帖子爬虫（分类解析/时间解析/数据入库）
- YichensPostSpider: 帖子采集（支持多板块/分页/去重）
- YichensUserSpider: 用户采集（支持详情爬取）
- API触发: POST /api/v1/crawl-jobs/trigger?source=yichens

2026-04-04 18:54:15 +08:00

caibotmi

1a1f7a92fe

refactor: 重构 API 架构，规范化命名和响应格式

- 统一响应格式: {code, message, data, timestamp}
- RESTful 路由: /api/v1/collections, /api/v1/prices
- 分页封装: PaginatedData
- 路由模块化: routes/collections.py, routes/prices.py, routes/health.py
- 数据模型: Pydantic models for request/response
- 数据库连接池
- 配置文件: config/config.yaml
- 爬虫模块: crawlers/yichens_spider.py

2026-04-04 18:23:00 +08:00

3 Commits