wangsiyuan/go-trustlog
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases 3 Wiki Activity
Files
88f80ffa5e7766ea5a379e40cbb7c1597440a6e7
go-trustlog/go.mod
ryan 88f80ffa5e feat: 新增数据库持久化模块（Persistence），实现 Cursor + Retry 双层架构 
## 核心功能

### 1. 数据库持久化支持
- 新增完整的 Persistence 模块 (api/persistence/)
- 支持三种持久化策略：
  * StrategyDBOnly - 仅落库，不存证
  * StrategyDBAndTrustlog - 既落库又存证（推荐）
  * StrategyTrustlogOnly - 仅存证，不落库
- 支持多数据库：PostgreSQL, MySQL, SQLite

### 2. Cursor + Retry 双层架构
- CursorWorker：第一道防线，快速发现新记录并尝试存证
  * 增量扫描 operation 表（基于时间戳游标）
  * 默认 10 秒扫描间隔，批量处理 100 条
  * 成功更新状态，失败转入重试队列
- RetryWorker：第二道防线，处理失败记录
  * 指数退避重试（1m → 2m → 4m → 8m → 16m）
  * 默认最多重试 5 次
  * 超限自动标记为死信

### 3. 数据库表设计
- operation 表：存储操作记录，支持可空 IP 字段
- trustlog_cursor 表：Key-Value 模式，支持多游标
- trustlog_retry 表：重试队列，支持指数退避

### 4. 异步最终一致性
- 应用调用立即返回（仅落库）
- CursorWorker 异步扫描并存证
- RetryWorker 保障失败重试
- 完整的监控和死信处理机制

## 修改文件

### 核心代码（11个文件）
- api/persistence/cursor_worker.go - Cursor 工作器（新增）
- api/persistence/repository.go - 数据仓储层（新增）
- api/persistence/schema.go - 数据库 Schema（新增）
- api/persistence/strategy.go - 策略管理器（新增）
- api/persistence/client.go - 客户端封装（新增）
- api/persistence/retry_worker.go - Retry 工作器（新增）
- api/persistence/config.go - 配置管理（新增）

### 修复内部包引用（5个文件）
- api/adapter/publisher.go - 修复 internal 包引用
- api/adapter/subscriber.go - 修复 internal 包引用
- api/model/envelope.go - 修复 internal 包引用
- api/model/operation.go - 修复 internal 包引用
- api/model/record.go - 修复 internal 包引用

### 单元测试（8个文件）
- api/persistence/*_test.go - 完整的单元测试
- 测试覆盖率：28.5%
- 测试通过率：49/49 (100%)

### SQL 脚本（4个文件）
- api/persistence/sql/postgresql.sql - PostgreSQL 建表脚本
- api/persistence/sql/mysql.sql - MySQL 建表脚本
- api/persistence/sql/sqlite.sql - SQLite 建表脚本
- api/persistence/sql/test_data.sql - 测试数据

### 文档（2个文件）
- README.md - 更新主文档，新增 Persistence 使用指南
- api/persistence/README.md - 完整的 Persistence 文档
- api/persistence/sql/README.md - SQL 脚本说明

## 技术亮点

1. **充分利用 Cursor 游标表**
   - 作为任务发现队列，非简单的位置记录
   - Key-Value 模式，支持多游标并发扫描
   - 时间戳天然有序，增量扫描高效

2. **双层保障机制**
   - Cursor：正常流程，快速处理
   - Retry：异常流程，可靠重试
   - 职责分离，监控清晰

3. **可空 IP 字段支持**
   - ClientIP 和 ServerIP 使用 *string 类型
   - 支持 NULL 值，符合数据库最佳实践
   - 使用 sql.NullString 正确处理

4. **完整的监控支持**
   - 未存证记录数监控
   - Cursor 延迟监控
   - 重试队列长度监控
   - 死信队列监控

## 测试结果

- ✅ 单元测试：49/49 通过 (100%)
- ✅ 代码覆盖率：28.5%
- ✅ 编译状态：无错误
- ✅ 支持数据库：PostgreSQL, MySQL, SQLite

## Breaking Changes

无破坏性变更。Persistence 模块作为可选功能，不影响现有代码。

## 版本信息

- 版本：v2.1.0
- Go 版本要求：1.21+
- 更新日期：2025-12-23
2025-12-23 18:59:43 +08:00

100 lines
4.6 KiB
Modula-2
Raw Blame History

module go.yandata.net/iod/iod/go-trustlog
go 1.25
require (
github.com/ThreeDotsLabs/watermill v1.5.1
github.com/apache/pulsar-client-go v0.17.0
github.com/crpt/go-crpt v1.0.0
github.com/fxamacker/cbor/v2 v2.7.0
github.com/go-logr/logr v1.4.3
github.com/go-playground/validator/v10 v10.28.0
github.com/mattn/go-sqlite3 v1.9.0
github.com/minio/sha256-simd v1.0.1
github.com/stretchr/testify v1.11.1
github.com/zeebo/blake3 v0.2.4
go.yandata.net/iod/iod/trustlog-sdk v0.3.2
golang.org/x/crypto v0.43.0
google.golang.org/grpc v1.75.0
google.golang.org/protobuf v1.36.8
)
require (
github.com/99designs/go-keychain v0.0.0-20191008050251-8e49817e8af4 // indirect
github.com/99designs/keyring v1.2.1 // indirect
github.com/AthenZ/athenz v1.12.13 // indirect
github.com/DataDog/zstd v1.5.0 // indirect
github.com/ardielle/ardielle-go v1.5.2 // indirect
github.com/beorn7/perks v1.0.1 // indirect
github.com/bits-and-blooms/bitset v1.4.0 // indirect
github.com/btcsuite/btcd v0.22.0-beta // indirect
github.com/cespare/xxhash/v2 v2.3.0 // indirect
github.com/crpt/go-merkle v0.0.0-20211202024952-07ef5d0dcfc0 // indirect
github.com/danieljoos/wincred v1.1.2 // indirect
github.com/daotl/go-acei v0.0.0-20211201154418-8daef5059165 // indirect
github.com/daotl/guts v0.0.0-20211209102048-f83c8ade78e8 // indirect
github.com/davecgh/go-spew v1.1.2-0.20180830191138-d8f796af33cc // indirect
github.com/dvsekhvalnov/jose2go v1.6.0 // indirect
github.com/emmansun/gmsm v0.40.0 // indirect
github.com/gabriel-vasile/mimetype v1.4.10 // indirect
github.com/go-jose/go-jose/v4 v4.1.1 // indirect
github.com/go-playground/locales v0.14.1 // indirect
github.com/go-playground/universal-translator v0.18.1 // indirect
github.com/go-viper/mapstructure/v2 v2.4.0 // indirect
github.com/godbus/dbus v0.0.0-20190726142602-4481cbc300e2 // indirect
github.com/gogo/protobuf v1.3.2 // indirect
github.com/golang-jwt/jwt/v5 v5.2.2 // indirect
github.com/google/gofuzz v1.2.0 // indirect
github.com/google/shlex v0.0.0-20191202100458-e7afc7fbc510 // indirect
github.com/google/uuid v1.6.0 // indirect
github.com/gsterjov/go-libsecret v0.0.0-20161001094733-a6f4afe4910c // indirect
github.com/hamba/avro/v2 v2.29.0 // indirect
github.com/json-iterator/go v1.1.12 // indirect
github.com/klauspost/compress v1.18.0 // indirect
github.com/klauspost/cpuid/v2 v2.3.0 // indirect
github.com/leodido/go-urn v1.4.0 // indirect
github.com/libp2p/go-msgio v0.1.0 // indirect
github.com/lithammer/shortuuid/v3 v3.0.7 // indirect
github.com/modern-go/concurrent v0.0.0-20180306012644-bacd9c7ef1dd // indirect
github.com/modern-go/reflect2 v1.0.2 // indirect
github.com/mr-tron/base58 v1.2.0 // indirect
github.com/mtibben/percent v0.2.1 // indirect
github.com/multiformats/go-multihash v0.2.3 // indirect
github.com/multiformats/go-varint v0.0.6 // indirect
github.com/munnerz/goautoneg v0.0.0-20191010083416-a7dc8b61c822 // indirect
github.com/oasisprotocol/curve25519-voi v0.0.0-20211129104401-1d84291be125 // indirect
github.com/oklog/ulid v1.3.1 // indirect
github.com/petermattis/goid v0.0.0-20180202154549-b0b1615b78e5 // indirect
github.com/pierrec/lz4/v4 v4.1.22 // indirect
github.com/pkg/errors v0.9.1 // indirect
github.com/pmezard/go-difflib v1.0.1-0.20181226105442-5d4384ee4fb2 // indirect
github.com/prometheus/client_golang v1.23.0 // indirect
github.com/prometheus/client_model v0.6.2 // indirect
github.com/prometheus/common v0.65.0 // indirect
github.com/prometheus/procfs v0.17.0 // indirect
github.com/sasha-s/go-deadlock v0.2.1-0.20190427202633-1595213edefa // indirect
github.com/sirupsen/logrus v1.9.3 // indirect
github.com/spaolacci/murmur3 v1.1.0 // indirect
github.com/stretchr/objx v0.5.2 // indirect
github.com/tendermint/tendermint v0.35.0 // indirect
github.com/x448/float16 v0.8.4 // indirect
go.uber.org/atomic v1.11.0 // indirect
golang.org/x/mod v0.29.0 // indirect
golang.org/x/net v0.46.0 // indirect
golang.org/x/oauth2 v0.30.0 // indirect
golang.org/x/sys v0.37.0 // indirect
golang.org/x/term v0.36.0 // indirect
golang.org/x/text v0.30.0 // indirect
google.golang.org/genproto/googleapis/rpc v0.0.0-20250818200422-3122310a409c // indirect
gopkg.in/inf.v0 v0.9.1 // indirect
gopkg.in/yaml.v3 v3.0.1 // indirect
k8s.io/apimachinery v0.32.3 // indirect
k8s.io/client-go v0.32.3 // indirect
k8s.io/klog/v2 v2.130.1 // indirect
k8s.io/utils v0.0.0-20250321185631-1f6e0b77f77e // indirect
lukechampine.com/blake3 v1.1.6 // indirect
sigs.k8s.io/json v0.0.0-20241010143419-9aa6b5e7a4b3 // indirect
sigs.k8s.io/structured-merge-diff/v4 v4.4.2 // indirect
sigs.k8s.io/yaml v1.4.0 // indirect
)
Reference in New Issue View Git Blame Copy Permalink