IP Search Performance Tests dat/db/xdb/mmdb 结构性能差异对比

IP Search Performance Tests

qqzeng-ip by 2025-06-01

测试环境：
BenchmarkDotNet v0.15.0
macOS Sequoia 15.5 (24F74) [Darwin 24.5.0]
Apple M4 Max, 1 CPU, 14 logical and 14 physical cores
.NET SDK 10.0.100-preview.4.25258.110
[Host]: .NET 10.0.0 (10.0.25.25910), Arm64 RyuJIT AdvSIMD

第一部分：
qqzeng-ip dat/db 性能测试

源数据 qqzeng-ip.txt（150M）→ 转换生成 qqzeng-ip.dat/db（约15M~20M）

项目地址：https://github.com/zengzhan/qqzeng-ip

随机单个测试

| Method | Mean | Error | StdDev |
|-------------- |---------:|---------:|---------:|
| IPSearch2Test | 29.93 ns | 0.222 ns | 0.197 ns |
| IPSearch3Test | 17.50 ns | 0.251 ns | 0.222 ns |
| IPSearch6Test | 10.65 ns | 0.030 ns | 0.027 ns |

| Method | Mean | Error | StdDev |
|-------------- |---------:|---------:|---------:|
| IPSearch2Test | 29.85 ns | 0.298 ns | 0.279 ns |
| IPSearch3Test | 17.60 ns | 0.283 ns | 0.251 ns |
| IPSearch6Test | 10.55 ns | 0.062 ns | 0.055 ns |

随机一百万个测试

| Method | Mean | Error | StdDev |
|-------------- |---------:|---------:|---------:|
| IPSearch2Test | 97.85 ms | 0.976 ms | 0.762 ms |
| IPSearch3Test | 64.17 ms | 0.411 ms | 0.321 ms |
| IPSearch6Test | 31.37 ms | 0.615 ms | 0.921 ms |

| Method | Mean | Error | StdDev |
|-------------- |---------:|---------:|---------:|
| IPSearch2Test | 99.57 ms | 1.157 ms | 1.026 ms |
| IPSearch3Test | 64.42 ms | 0.133 ms | 0.118 ms |
| IPSearch6Test | 31.25 ms | 0.088 ms | 0.078 ms |

随机亿级测试

| 方法 | 总次 | 时间 | 每秒 |
|--------------------- |-------------|---------|----------|
| qqzeng-ip-search-2.0 | 3900.00万 | 4.18秒 | 933.91万 |
| qqzeng-ip-search-2.0 | 16400.00万 | 17.29秒 | 948.63万 |
| qqzeng-ip-search-2.0 | 14300.00万 | 15.11秒 | 946.14万 |
| qqzeng-ip-search-2.0 | 17400.00万 | 17.54秒 | 992.19万 |
| qqzeng-ip-search-2.0 | 4200.00万 | 4.25秒 | 987.07万 |
| qqzeng-ip-search-2.0 | 19300.00万 | 20.11秒 | 959.96万 |
| qqzeng-ip-search-2.0 | 12600.00万 | 13.31秒 | 946.44万 |
| qqzeng-ip-search-2.0 | 600.00万 | 0.64秒 | 944.88万 |

| 方法 | 总次 | 时间 | 每秒 |
|--------------------- |-------------|---------|----------|
| qqzeng-ip-search-3.0 | 8800.00万 | 5.93秒 | 1483.98万 |
| qqzeng-ip-search-3.0 | 17000.00万 | 10.95秒 | 1553.22万 |
| qqzeng-ip-search-3.0 | 13500.00万 | 8.67秒 | 1556.73万 |
| qqzeng-ip-search-3.0 | 6900.00万 | 4.45秒 | 1550.56万 |
| qqzeng-ip-search-3.0 | 14700.00万 | 9.44秒 | 1557.70万 |
| qqzeng-ip-search-3.0 | 1400.00万 | 0.91秒 | 1536.77万 |
| qqzeng-ip-search-3.0 | 19400.00万 | 12.47秒 | 1555.61万 |
| qqzeng-ip-search-3.0 | 19900.00万 | 12.83秒 | 1551.41万 |

| 方法 | 总次 | 时间 | 每秒 |
|--------------------- |-------------|---------|----------|
| qqzeng-ip-search-6.0 | 10800.00万 | 3.68秒 | 2935.58万 |
| qqzeng-ip-search-6.0 | 11600.00万 | 3.92秒 | 2960.69万 |
| qqzeng-ip-search-6.0 | 8100.00万 | 2.67秒 | 3028.04万 |
| qqzeng-ip-search-6.0 | 11900.00万 | 3.94秒 | 3019.54万 |
| qqzeng-ip-search-6.0 | 17500.00万 | 5.68秒 | 3080.99万 |
| qqzeng-ip-search-6.0 | 10300.00万 | 3.33秒 | 3094.95万 |
| qqzeng-ip-search-6.0 | 8100.00万 | 2.63秒 | 3078.68万 |
| qqzeng-ip-search-6.0 | 15600.00万 | 5.02秒 | 3106.33万 |

IPSearch6 性能最优，单次查询最快，每秒处理能力最高

第二部分：
qqzeng-ip xdb 性能测试

源数据 qqzeng-ip.txt（126M）→ 转换生成 qqzeng-ip.xdb（23.4M）

项目地址：https://github.com/lionsoul2014/ip2region

原始官方 xdb 数据查询性能（纳秒）：

| Method | Mean | Error | StdDev |
|------------------------ |------------:|---------:|---------:|
| CachePolicy_Content | 45.37 ns | 0.250 ns | 0.234 ns |
| CachePolicy_File | 1,125.03 ns | 5.956 ns | 5.280 ns |
| CachePolicy_VectorIndex | 811.58 ns | 6.295 ns | 5.888 ns |

| Method | Mean | Error | StdDev |
|------------------------ |------------:|---------:|---------:|
| CachePolicy_Content | 45.97 ns | 0.153 ns | 0.143 ns |
| CachePolicy_File | 1,132.85 ns | 5.087 ns | 4.758 ns |
| CachePolicy_VectorIndex | 778.37 ns | 4.698 ns | 3.923 ns |

qqzeng-ip.xdb 查询性能（纳秒）：

| Method | Mean | Error | StdDev |
|------------------------ |------------:|---------:|---------:|
| CachePolicy_Content | 70.23 ns | 1.104 ns | 1.033 ns |
| CachePolicy_File | 1,521.94 ns | 7.233 ns | 6.412 ns |
| CachePolicy_VectorIndex | 1,139.11 ns | 2.684 ns | 2.380 ns |

| 方法 | 总次 | 时间 | 每秒 |
| CachePolicy_Content | 9100.00万 | 14.49秒 | 628.06万 |
| CachePolicy_Content | 16400.00万 | 25.27秒 | 649.07万 |
| CachePolicy_Content | 10200.00万 | 14.60秒 | 698.44万 |
| CachePolicy_Content | 2600.00万 | 3.79秒 | 686.92万 |
| CachePolicy_Content | 4400.00万 | 6.37秒 | 690.95万 |
| CachePolicy_Content | 11100.00万 | 15.87秒 | 699.52万 |
| CachePolicy_Content | 10400.00万 | 15.05秒 | 691.17万 |
| CachePolicy_Content | 5400.00万 | 7.80秒 | 692.40万 |

| 方法 | 总次 | 时间 | 每秒 |
| CachePolicy_VectorIndex | 860.00万 | 9.80秒 | 87.74万 |
| CachePolicy_VectorIndex | 1400.00万 | 15.30秒 | 91.50万 |
| CachePolicy_VectorIndex | 1120.00万 | 12.27秒 | 91.28万 |
| CachePolicy_VectorIndex | 1910.00万 | 20.83秒 | 91.69万 |
| CachePolicy_VectorIndex | 1210.00万 | 13.23秒 | 91.44万 |
| CachePolicy_VectorIndex | 1270.00万 | 13.85秒 | 91.72万 |
| CachePolicy_VectorIndex | 1290.00万 | 14.25秒 | 90.55万 |
| CachePolicy_VectorIndex | 950.00万 | 10.48秒 | 90.65万 |

| 方法 | 总次 | 时间 | 每秒 |
| CachePolicy_File | 370.00万 | 5.70秒 | 64.94万 |
| CachePolicy_File | 200.00万 | 2.94秒 | 67.96万 |
| CachePolicy_File | 1850.00万 | 27.13秒 | 68.20万 |
| CachePolicy_File | 1520.00万 | 22.31秒 | 68.13万 |
| CachePolicy_File | 760.00万 | 11.16秒 | 68.11万 |
| CachePolicy_File | 1430.00万 | 21.02秒 | 68.03万 |
| CachePolicy_File | 1720.00万 | 25.55秒 | 67.31万 |
| CachePolicy_File | 230.00万 | 3.45秒 | 66.71万 |

Content 缓存策略性能最佳；qqzeng-ip.xdb 在保持兼容的基础上提升了查询速度

第三部分：
qqzeng-ip mmdb 性能测试

源数据 qqzeng-ip.csv（168M）→ 转换生成 qqzeng-ip.mmdb（14.9M）

项目地址：
https://github.com/maxmind/mmdbwriter
https://github.com/maxmind/MaxMind-DB-Reader-dotnet

随机单个性能

| Method | Mean | Error | StdDev |
|------- |---------:|----------:|----------:|
| Search | 1.766 us | 0.0054 us | 0.0050 us |

| Method | Mean | Error | StdDev |
|------- |---------:|--------:|--------:|
| Search | 829.1 ns | 2.45 ns | 2.29 ns |

| Method | Mean | Error | StdDev |
|------- |---------:|----------:|----------:|
| Search | 1.410 us | 0.0048 us | 0.0042 us |

| Method | Mean | Error | StdDev |
|------- |---------:|--------:|--------:|
| Search | 668.1 ns | 2.74 ns | 2.29 ns |

随机千万级

FileAccessMode.MemoryMapped 文件映射到虚拟内存

| 方法 | 总次 | 时间 | 每秒 |
| qqzeng-ip.mmdb | 8000.00万 | 112.23秒 | 71.28万 |
| qqzeng-ip.mmdb | 5200.00万 | 72.74秒 | 71.49万 |
| qqzeng-ip.mmdb | 2900.00万 | 40.49秒 | 71.61万 |
| qqzeng-ip.mmdb | 6200.00万 | 86.56秒 | 71.62万 |
| qqzeng-ip.mmdb | 1500.00万 | 21.00秒 | 71.42万 |
| qqzeng-ip.mmdb | 6850.00万 | 95.76秒 | 71.53万 |
| qqzeng-ip.mmdb | 1300.00万 | 18.21秒 | 71.37万 |
| qqzeng-ip.mmdb | 6900.00万 | 96.99秒 | 71.14万 |

FileAccessMode.Memory 文件加载到实际内存

| 方法 | 总次 | 时间 | 每秒 |
| qqzeng-ip.mmdb | 1040.00万 | 8.15秒 | 127.56万 |
| qqzeng-ip.mmdb | 540.00万 | 4.00秒 | 135.07万 |
| qqzeng-ip.mmdb | 1730.00万 | 12.51秒 | 138.29万 |
| qqzeng-ip.mmdb | 1440.00万 | 10.44秒 | 137.98万 |
| qqzeng-ip.mmdb | 940.00万 | 6.85秒 | 137.31万 |
| qqzeng-ip.mmdb | 720.00万 | 5.21秒 | 138.20万 |
| qqzeng-ip.mmdb | 420.00万 | 3.02秒 | 139.26万 |
| qqzeng-ip.mmdb | 1520.00万 | 11.01秒 | 138.06万 |

mmdb 使用 Memory 模式性能显著提升，MemoryMapped 模式相对较慢但内存占用较少

第四部分：

格式对比差异

| 数据格式 | 文件大小 | 单次查询（最快） | 每秒查询能力（最高） |
|----------|----------|------------------|------------------------|
| dat/db | ~15M | 10 ns | 3100 万次/秒 |
| xdb | ~23M | 70 ns | 690 万次/秒 |
| mmdb | ~15M | 668 ns | 139 万次/秒 |

| 对比 | dat/db | xdb | mmdb |
|--------------------|--------------------|---------------------|------------------------|
| 索引结构效率 | 高（位移+偏移表） | 中（字节+数组） | 较低（二进制树） |
| 数据访问复杂度 | 极低 | 低 | 高（树遍历 + 解码） |
| 是否结构化（需解码）| 否（纯字符串） | 否（定长字段） | 是（复杂字段结构） |
| 是否序列化反序列化 | 否 | 否 | 是 |
| 是否涉及文件IO | 否 | 可配置 | 视模式而定 |
| 是否为纯内存操作 | 是 | 可选 | 可选 |

结构 | 数据结构 | 查询机制 | 查询速度 | 加载方式 | 每秒查询量
--------- | ---------------- | ------------------- | -------------- | ---------------- | ---------------
dat/db | 索引 + 偏移表 | 指针偏移 + 内存查找 | 纳微秒 | 内存或 mmap | 3000 万+
xdb | 向量索引 + 数据区 | 向量定位 + 字节读取 | 几十~几百纳秒 | 可配置缓存策略 | 600~900 万
mmdb | 前缀树 + JSON | 树遍历 + 解码 | 几百纳秒~微秒级| 内存或映射模式 | 70~130 万

-----------------------------------
- dat/db：结构紧凑，纯偏移访问，极致性能优化，无结构化处理。
- xdb：向量定位简单，查询速度快，支持缓存优化，通用性好。
- mmdb：前缀树结构复杂，需反序列化，适用于多字段、国际化场景。

qqzeng-ip 提供多种格式支持，满足不同平台和应用场景的性能需求。