caibotmini
|
c330d3f0c2
|
fix: 修复yichens_spider_v4.py两处bug
1. post_time加入ON CONFLICT UPDATE SET - 未来重爬时可更新post_time
2. author_username提取从user_link改为<b>标签 - 修复用户名抓不到的问题
|
2026-04-05 10:13:13 +08:00 |
|
caibotmini
|
9a6f0de418
|
feat: 添加一尘网爬虫v4 - BeautifulSoup解析 + 日期格式修复
- 使用BeautifulSoup替代失效正则，修复列表页解析
- 修复日期格式 %Y/%m/%d -> %Y/%-m/%-d（匹配网站非补零格式）
- 支持增量去重，正确识别当日新帖子
|
2026-04-05 09:45:30 +08:00 |
|
caibotmini
|
79409317f9
|
fix: 更新config.yaml - 数据库改为PostgreSQL端口5432，爬虫间隔改为15分钟
|
2026-04-05 09:39:12 +08:00 |
 caibotmi
|
c4e029a20a
|
feat: 完成一尘数据采集完整功能
- 一尘爬虫: 列表页解析 + 详情页解析
- 帖子详情: 提取标题/价格/联系方式/时间/内容
- 定时任务: 每天8点/18点自动爬取
- 日报推送: 每天9点推送飞书日报
- 一尘数据: 1800+ 帖子已入库
|
2026-04-04 20:02:13 +08:00 |
|
caibotmi
|
63a5b46791
|
feat: 完成一尘数据采集模块
- crawlers/base.py: 爬虫基类（请求封装/延时/重试/COOKIE管理）
- crawlers/yichens_spider.py: 一尘帖子爬虫（分类解析/时间解析/数据入库）
- YichensPostSpider: 帖子采集（支持多板块/分页/去重）
- YichensUserSpider: 用户采集（支持详情爬取）
- API触发: POST /api/v1/crawl-jobs/trigger?source=yichens
|
2026-04-04 18:54:15 +08:00 |
|
caibotmi
|
e86a71db23
|
feat: 新增一尘数据管理模块
- yichens_users: 用户表(积分/等级/商家认证)
- yichens_posts: 帖子表(分类/价格/置顶精华)
- yichens_replies: 回复表(楼层/点赞)
- yichens_follows: 关注关系表
- API路由: /api/v1/yichens/*
|
2026-04-04 18:26:29 +08:00 |
|
caibotmi
|
1a1f7a92fe
|
refactor: 重构 API 架构，规范化命名和响应格式
- 统一响应格式: {code, message, data, timestamp}
- RESTful 路由: /api/v1/collections, /api/v1/prices
- 分页封装: PaginatedData
- 路由模块化: routes/collections.py, routes/prices.py, routes/health.py
- 数据模型: Pydantic models for request/response
- 数据库连接池
- 配置文件: config/config.yaml
- 爬虫模块: crawlers/yichens_spider.py
|
2026-04-04 18:23:00 +08:00 |
|
caibotmi
|
39d6e6a828
|
Add .gitignore
|
2026-04-04 18:15:03 +08:00 |
|
caibotmi
|
53776d9a14
|
Initial commit
|
2026-04-04 18:14:14 +08:00 |