夏犀麟
|
ad4567fc01
|
feat: 招聘爬虫健壮性 + 通知记录增强（归档工作区留存改动）
这两批改动此前一直压在工作区未提交，本次一并归档。go build ./... 通过。
一、招聘爬虫健壮性
- 新增 internal/service/recruitment/source_config.go：
crawl_source.config（VARCHAR(1000) JSON）的源级抓取参数解析 —— 增量窗口天数、
单次详情页上限、最大翻页数、详情间隔限速、自定义标准词/排除词。
全部字段可选，JSON 解析失败即回退默认值，保证历史数据零迁移可用，
且一个源的脏配置不会拖垮整个调度。
- 新增 internal/service/recruitment/keywords.go（含 keywords_test.go 与 testdata/）：
链接筛选由「URL 形态命中 AND 文本语义命中」改为评分制 —— URL 形态加分、
标准词加分、排除词大幅减分，达阈值即入选。原与逻辑会系统性漏抓
「补充工作人员的通知」「公开选调公务员简章」等标题变体，且静默无报错。
- 新增 manifest/sql/recruitment/004_crawl_source_status.sql：
crawl_source 增加「最近一次运行状态」冗余列，抓取结束时写入，
使 Sources() 查询零 JOIN 零扫描 —— 规避原实现全表扫描只增不减的 crawl_log、
随运行时间线性劣化的问题。幂等，可重复执行。
- internal/service/recruitment/crawler.go：在既有「静态两级 / SPA / curl 回退」
流程上做锚点抽取与过滤、编码回退的健壮性增强。
- internal/service/recruitment/bark.go、recruitment.go：配合上述调整。
二、通知记录增强
- api/notice、internal/controller/notice、internal/service/notice、
internal/model/{dto,entity,do}/notice.go：通知日志查询与操作扩展 ——
批次号、状态、重试次数、来源、耗时、详情、删除、清空。
- 新增 internal/model/dto/notice_meta.go（字典选项元数据，供前端筛选器取选项）。
- 新增 manifest/sql/017_notice_log_enhance.sql：notice_log 扩展列 +
删除/清空/详情/字典选项接口权限，幂等（ALTER 走 information_schema 判断，
菜单 ON DUPLICATE KEY UPDATE，角色绑定 INSERT IGNORE）。
三、仓库卫生
- .gitignore 补 rc_*.log 与 rc_verify*，挡掉本地离线验证产物
（含 30MB 的 rc_verify.exe），避免误入库。
设计依据见 docs/recruitment-crawler-design.md。
注：017 与 recruitment/004 两个 SQL 为增量迁移，DB 结构变更不自动 DDL，
生产库需手动导入。
|
2026-09-14 01:22:39 +08:00 |
|
夏犀麟
|
4b3c00270f
|
feat(i18n): 中文化校验提示与服务层错误信息
Build and Deploy (service.xpcool.com) / build-and-deploy (push) Failing after 31s
将 api 层校验规则提示语、service 层 gerror.Wrap 与 response.Error
错误信息、panic 未注册提示统一改为中文，并同步中文化 cmd 路由注释
与变更记录。仅涉及注释、文档与字符串改动，无业务逻辑变更。
|
2026-09-13 23:22:46 +08:00 |
|
夏犀麟
|
0569c70690
|
feat(notice+job): 通知模块(渠道/规则/日志/测试) + 自动任务管理(DB驱动gcron) + 用户表加Bark/pushplus字段
|
2026-08-27 22:58:33 +08:00 |
|
夏犀麟
|
f81ce64fdd
|
fix(recruitment): gcron 表达式改 6 段式，修复每日抓取/推送任务从未注册
gcron 不支持 5 段标准 cron，'0 3 * * *'/'0 8 * * *' 注册时报 invalid pattern
被 ERRO 日志吞掉，导致线上每日 03:00 增量抓取与 08:00 招聘早报推送从未执行。
改为 '0 0 3 * * *' / '0 0 8 * * *'。
|
2026-08-27 10:50:23 +08:00 |
|
夏犀麟
|
8721d01028
|
fix(recruitment): fetchHTML curl 优先 + https 归一化 + 调试日志改 warning 级（logger.level=warning 过滤了 Infof）
Build and Deploy (service.xpcool.com) / build-and-deploy (push) Failing after 32s
|
2026-08-27 02:26:53 +08:00 |
|
夏犀麟
|
8b11893d35
|
feat(recruitment): 爬虫修复与部署打通 - Scan no-rows 入库修复 / title 属性兜底 / 双条件过滤 / 空日期插 NULL / crawl_log 截断 / fetchHTML curl 兜底 / 人社局改 https / 新增 config.yaml
|
2026-08-27 02:12:03 +08:00 |
|
夏犀麟
|
ea50261cb8
|
feat(house): 扩充看房数据并增强服务器日志功能
Build and Deploy (service.xpcool.com) / build-and-deploy (push) Failing after 35s
- 新增新房预售证表 house_presale 存储预售许可信息
- 为 house_community 表添加 avg_price 字段存储小区参考均价
- 增强服务器操作审计日志功能，新增管理员账号、IP归属地、错误信息、UA等字段
- 实现纯Go版IP归属地离线解析器，无外部依赖，支持二分查找
- 优化看房列表查询逻辑，修复Fields设置位置导致的SQL语法错误
- 集成招聘模块，添加独立数据库配置和Bark推送服务支持
- 重构日志查询接口，支持多维度筛选和综合分页列表展示
- 更新DAO实体结构同步数据库表结构调整
|
2026-08-27 01:47:32 +08:00 |
|
夏犀麟
|
4445b8e8bf
|
CHG: house transaction service 层 + recruitment 招聘模块 + 012 菜单 SQL（补提交未推送代码）
Build and Deploy (service.xpcool.com) / build-and-deploy (push) Failing after 14s
|
2026-08-27 00:41:59 +08:00 |
|