caibotmi
/
CoolBotDataSys
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
酷博特数据分析系统 - 多源数据采集、存储、清洗、分析全链路自动化平台
5 Commits 1 Branch 4 Tags 200 KiB
Python 78.9%
HTML 18.5%
Shell 2.2%
Mako 0.4%
Go to file
caibotmi 63a5b46791 feat: 完成一尘数据采集模块 
- crawlers/base.py: 爬虫基类（请求封装/延时/重试/COOKIE管理）
- crawlers/yichens_spider.py: 一尘帖子爬虫（分类解析/时间解析/数据入库）
- YichensPostSpider: 帖子采集（支持多板块/分页/去重）
- YichensUserSpider: 用户采集（支持详情爬取）
- API触发: POST /api/v1/crawl-jobs/trigger?source=yichens
 		2026-04-04 18:54:15 +08:00
api feat: 完成一尘数据采集模块 2026-04-04 18:54:15 +08:00
config refactor: 重构 API 架构，规范化命名和响应格式 2026-04-04 18:23:00 +08:00
crawlers feat: 完成一尘数据采集模块 2026-04-04 18:54:15 +08:00
.gitignore Add .gitignore 2026-04-04 18:15:03 +08:00
README.md Initial commit 2026-04-04 18:14:14 +08:00
config.py refactor: 重构 API 架构，规范化命名和响应格式 2026-04-04 18:23:00 +08:00
database.py refactor: 重构 API 架构，规范化命名和响应格式 2026-04-04 18:23:00 +08:00
requirements.txt refactor: 重构 API 架构，规范化命名和响应格式 2026-04-04 18:23:00 +08:00

README.md

CoolBotDataSys

酷博特数据分析系统 - 多源数据采集、存储、清洗、分析全链路自动化平台