4b72a37120
主要更新： 1. 数据库持久化功能 - 支持三种策略：仅落库、既落库又存证、仅存证 - 实现 Cursor Worker 异步扫描和存证机制 - 实现 Retry Worker 失败重试机制 - 支持 PostgreSQL、MySQL、SQLite 等多种数据库 - 添加 ClientIP 和 ServerIP 字段（可空，仅落库） 2. 集群并发安全 - 使用 SELECT FOR UPDATE SKIP LOCKED 防止重复处理 - 实现 CAS (Compare-And-Set) 原子状态更新 - 添加 updated_at 字段支持并发控制 3. Cursor 初始化优化 - 自动基于历史数据初始化 cursor - 确保不遗漏任何历史记录 - 修复 UPSERT 逻辑 4. 测试完善 - 添加 E2E 集成测试（含 Pulsar 消费者验证） - 添加 PostgreSQL 集成测试 - 添加 Pulsar 集成测试 - 添加集群并发安全测试 - 添加 Cursor 初始化验证测试 - 补充大量单元测试，提升覆盖率 5. 工具脚本 - 添加数据库迁移脚本 - 添加 Cursor 状态检查工具 - 添加 Cursor 初始化工具 - 添加 Pulsar 消息验证工具 6. 文档清理 - 删除冗余文档，只保留根目录 README 测试结果： - 所有 E2E 测试通过（100%） - 数据库持久化与异步存证流程验证通过 - 集群环境下的并发安全性验证通过 - Cursor 自动初始化和历史数据处理验证通过
77 lines
2.0 KiB
Go
77 lines
2.0 KiB
Go
package helpers_test
|
|
|
|
import (
|
|
"testing"
|
|
"time"
|
|
|
|
"github.com/stretchr/testify/assert"
|
|
"github.com/stretchr/testify/require"
|
|
|
|
"go.yandata.net/iod/iod/go-trustlog/internal/helpers"
|
|
)
|
|
|
|
func TestCBORTimePrecision(t *testing.T) {
|
|
t.Parallel()
|
|
|
|
// 创建一个包含纳秒精度的时间戳
|
|
originalTime := time.Date(2024, 1, 1, 12, 30, 45, 123456789, time.UTC)
|
|
|
|
t.Logf("Original time: %v", originalTime)
|
|
t.Logf("Original nanoseconds: %d", originalTime.Nanosecond())
|
|
|
|
// 序列化
|
|
data, err := helpers.MarshalCanonical(originalTime)
|
|
require.NoError(t, err)
|
|
require.NotNil(t, data)
|
|
|
|
// 反序列化
|
|
var decodedTime time.Time
|
|
err = helpers.Unmarshal(data, &decodedTime)
|
|
require.NoError(t, err)
|
|
|
|
t.Logf("Decoded time: %v", decodedTime)
|
|
t.Logf("Decoded nanoseconds: %d", decodedTime.Nanosecond())
|
|
|
|
// 验证纳秒精度是否保留
|
|
assert.Equal(t, originalTime.UnixNano(), decodedTime.UnixNano(),
|
|
"纳秒精度应该被保留")
|
|
assert.Equal(t, originalTime.Nanosecond(), decodedTime.Nanosecond(),
|
|
"纳秒部分应该相等")
|
|
}
|
|
|
|
func TestCBORTimePrecision_Struct(t *testing.T) {
|
|
t.Parallel()
|
|
|
|
type TestStruct struct {
|
|
Timestamp time.Time `cbor:"timestamp"`
|
|
}
|
|
|
|
// 创建一个包含纳秒精度的时间戳
|
|
originalTime := time.Date(2024, 1, 1, 12, 30, 45, 123456789, time.UTC)
|
|
original := TestStruct{
|
|
Timestamp: originalTime,
|
|
}
|
|
|
|
t.Logf("Original timestamp: %v", original.Timestamp)
|
|
t.Logf("Original nanoseconds: %d", original.Timestamp.Nanosecond())
|
|
|
|
// 序列化
|
|
data, err := helpers.MarshalCanonical(original)
|
|
require.NoError(t, err)
|
|
require.NotNil(t, data)
|
|
|
|
// 反序列化
|
|
var decoded TestStruct
|
|
err = helpers.Unmarshal(data, &decoded)
|
|
require.NoError(t, err)
|
|
|
|
t.Logf("Decoded timestamp: %v", decoded.Timestamp)
|
|
t.Logf("Decoded nanoseconds: %d", decoded.Timestamp.Nanosecond())
|
|
|
|
// 验证纳秒精度是否保留
|
|
assert.Equal(t, original.Timestamp.UnixNano(), decoded.Timestamp.UnixNano(),
|
|
"纳秒精度应该被保留")
|
|
assert.Equal(t, original.Timestamp.Nanosecond(), decoded.Timestamp.Nanosecond(),
|
|
"纳秒部分应该相等")
|
|
}
|