 caibotmi
|
63a5b46791
|
feat: 完成一尘数据采集模块
- crawlers/base.py: 爬虫基类（请求封装/延时/重试/COOKIE管理）
- crawlers/yichens_spider.py: 一尘帖子爬虫（分类解析/时间解析/数据入库）
- YichensPostSpider: 帖子采集（支持多板块/分页/去重）
- YichensUserSpider: 用户采集（支持详情爬取）
- API触发: POST /api/v1/crawl-jobs/trigger?source=yichens
|
2026-04-04 18:54:15 +08:00 |