- crawlers/base.py: 爬虫基类(请求封装/延时/重试/COOKIE管理) - crawlers/yichens_spider.py: 一尘帖子爬虫(分类解析/时间解析/数据入库) - YichensPostSpider: 帖子采集(支持多板块/分页/去重) - YichensUserSpider: 用户采集(支持详情爬取) - API触发: POST /api/v1/crawl-jobs/trigger?source=yichens |
||
|---|---|---|
| .. | ||
| __init__.py | ||
| base.py | ||
| yichens_spider.py | ||