 caibotmi
|
4282eac809
|
fix: extract author_username from <b> tags in postuserinfo div
|
2026-04-05 16:33:29 +08:00 |
|
caibotmi
|
9d418f3d8c
|
fix: crawl_today.py - BeautifulSoup解析 + 去掉日期过滤 + 修复post_id正则
|
2026-04-05 15:48:33 +08:00 |
caibotmini
|
79409317f9
|
fix: 更新config.yaml - 数据库改为PostgreSQL端口5432，爬虫间隔改为15分钟
|
2026-04-05 09:39:12 +08:00 |
|
caibotmi
|
c4e029a20a
|
feat: 完成一尘数据采集完整功能
- 一尘爬虫: 列表页解析 + 详情页解析
- 帖子详情: 提取标题/价格/联系方式/时间/内容
- 定时任务: 每天8点/18点自动爬取
- 日报推送: 每天9点推送飞书日报
- 一尘数据: 1800+ 帖子已入库
|
2026-04-04 20:02:13 +08:00 |
|
caibotmi
|
63a5b46791
|
feat: 完成一尘数据采集模块
- crawlers/base.py: 爬虫基类（请求封装/延时/重试/COOKIE管理）
- crawlers/yichens_spider.py: 一尘帖子爬虫（分类解析/时间解析/数据入库）
- YichensPostSpider: 帖子采集（支持多板块/分页/去重）
- YichensUserSpider: 用户采集（支持详情爬取）
- API触发: POST /api/v1/crawl-jobs/trigger?source=yichens
|
2026-04-04 18:54:15 +08:00 |
|
caibotmi
|
e86a71db23
|
feat: 新增一尘数据管理模块
- yichens_users: 用户表(积分/等级/商家认证)
- yichens_posts: 帖子表(分类/价格/置顶精华)
- yichens_replies: 回复表(楼层/点赞)
- yichens_follows: 关注关系表
- API路由: /api/v1/yichens/*
|
2026-04-04 18:26:29 +08:00 |
|
caibotmi
|
1a1f7a92fe
|
refactor: 重构 API 架构，规范化命名和响应格式
- 统一响应格式: {code, message, data, timestamp}
- RESTful 路由: /api/v1/collections, /api/v1/prices
- 分页封装: PaginatedData
- 路由模块化: routes/collections.py, routes/prices.py, routes/health.py
- 数据模型: Pydantic models for request/response
- 数据库连接池
- 配置文件: config/config.yaml
- 爬虫模块: crawlers/yichens_spider.py
|
2026-04-04 18:23:00 +08:00 |
|
caibotmi
|
39d6e6a828
|
Add .gitignore
|
2026-04-04 18:15:03 +08:00 |
|
caibotmi
|
53776d9a14
|
Initial commit
|
2026-04-04 18:14:14 +08:00 |