Commit Graph

3 Commits

Author SHA1 Message Date
ryan
e54d3c96b7 fix: 修复测试文件格式问题
- 修正测试文件中的换行符和格式
- 确保所有测试文件的一致性
2025-12-24 17:22:50 +08:00
ryan
bdca8b59e0 feat: 添加 Operation 查询功能及完整测试
主要功能:
- 新增 OperationQueryRequest/OperationQueryResult 结构体
- 实现 Repository.Query() - 支持多条件筛选、分页、排序
- 实现 Repository.Count() - 统计记录数
- 新增 PersistenceClient.QueryOperations/CountOperations/GetOperationByID

查询功能:
- 支持按 OpID、OpSource、OpType、Doid 等字段筛选
- 支持模糊查询(Doid、DoPrefix)
- 支持时间范围查询(TimeFrom/TimeTo)
- 支持 IP 地址筛选(ClientIP、ServerIP)
- 支持按 TrustlogStatus 筛选
- 支持组合查询
- 支持分页(PageSize、PageNumber)
- 支持排序(OrderBy、OrderDesc)

测试覆盖:
-  query_test.go - 查询功能单元测试
-  pg_query_integration_test.go - PostgreSQL 集成测试(16个测试用例)
  * Query all records
  * Filter by OpSource/OpType/Status/Actor/Producer/IP
  * DOID 模糊查询
  * 时间范围查询
  * 分页测试
  * 排序测试(升序/降序)
  * 组合查询
  * Count 统计
  * PersistenceClient 接口测试

修复:
- 修复 TestClusterSafety_MultipleCursorWorkers - 添加缺失字段
- 修复 TestCursorInitialization - 确保 schema 最新
- 添加自动 schema 更新(ALTER TABLE IF NOT EXISTS)

测试结果:
-  所有单元测试通过(100%)
-  所有集成测试通过(PostgreSQL、Pulsar、E2E)
-  Query 功能测试通过(16个测试用例)
2025-12-24 17:20:09 +08:00
ryan
4b72a37120 feat: 完善数据库持久化与存证功能
主要更新:

1. 数据库持久化功能
   - 支持三种策略:仅落库、既落库又存证、仅存证
   - 实现 Cursor Worker 异步扫描和存证机制
   - 实现 Retry Worker 失败重试机制
   - 支持 PostgreSQL、MySQL、SQLite 等多种数据库
   - 添加 ClientIP 和 ServerIP 字段(可空,仅落库)

2. 集群并发安全
   - 使用 SELECT FOR UPDATE SKIP LOCKED 防止重复处理
   - 实现 CAS (Compare-And-Set) 原子状态更新
   - 添加 updated_at 字段支持并发控制

3. Cursor 初始化优化
   - 自动基于历史数据初始化 cursor
   - 确保不遗漏任何历史记录
   - 修复 UPSERT 逻辑

4. 测试完善
   - 添加 E2E 集成测试(含 Pulsar 消费者验证)
   - 添加 PostgreSQL 集成测试
   - 添加 Pulsar 集成测试
   - 添加集群并发安全测试
   - 添加 Cursor 初始化验证测试
   - 补充大量单元测试,提升覆盖率

5. 工具脚本
   - 添加数据库迁移脚本
   - 添加 Cursor 状态检查工具
   - 添加 Cursor 初始化工具
   - 添加 Pulsar 消息验证工具

6. 文档清理
   - 删除冗余文档,只保留根目录 README

测试结果:
- 所有 E2E 测试通过(100%)
- 数据库持久化与异步存证流程验证通过
- 集群环境下的并发安全性验证通过
- Cursor 自动初始化和历史数据处理验证通过
2025-12-24 15:31:11 +08:00