StarRocks 全面向量化执行引擎深度解析

StarRocks 的向量化执行引擎是其高性能的核心设计，相比传统行式处理引擎（如MySQL），性能可提升 5-10倍。以下是分层拆解：

---

1. 向量化 vs 传统行式处理

维度	行式处理	向量化处理
数据处理单元	单行数据（Tuple）	数据块（Batch，通常1024行/块）
CPU利用率	低（频繁分支预测失败）	高（顺序处理+SIMD指令优化）
内存访问模式	随机访问（高Cache Miss）	顺序访问（高Cache命中率）
函数调用开销	每行触发函数调用	整批数据单次函数调用

示例代码对比：

// 行式处理（伪代码）
for (row in rows) {
  sum += row.price * row.quantity;
}

// 向量化处理（伪代码）
void vectorized_add(Batch& batch) {
  SIMD_float sum = SIMD_load(0);
  for (i=0; i<batch.size; i+=SIMD_WIDTH) {
    SIMD_float p = SIMD_load(batch.price + i);
    SIMD_float q = SIMD_load(batch.quantity + i);
    sum = SIMD_fma(p, q, sum); // 融合乘加指令
  }
  return SIMD_reduce(sum);
}

---

2. StarRocks 向量化核心设计

(1) 列式内存布局

• 数据按列存储在连续内存中
• 配合列存文件格式（如Parquet）实现零解析开销

struct Batch {
  int32_t* c1;  // 列1数据指针
  float* c2;    // 列2数据指针
  uint16_t size;// 行数
};

(2) 向量化算子

• 所有算子（Scan/Filter/Agg/Join）均按批处理设计
• 关键优化技术：
  • SIMD指令：用AVX2/AVX-512加速计算
  • 循环展开：减少分支判断
  • 延迟物化：延迟处理非必要列

(3) 免解析优化

• 网络层与存储层使用相同内存格式
• 消除序列化/反序列化开销

---

3. 性能提升关键点

场景	优化手段	收益举例
过滤(WHERE)	SIMD比较指令+位图过滤	10亿行过滤仅需0.5秒
聚合(GROUP BY)	向量化Hash表+批量聚合	1TB数据聚合快3倍
JOIN	向量化Hash Join+布隆过滤器	大表Join性能提升8倍

实际执行流程示例：

1. Scan Batch(1024 rows) 
   → 用AVX2指令解析列数据
2. Filter Batch 
   → 生成位图（0/1表示行是否通过）
3. Aggregation 
   → 向量化Hash表批量更新聚合结果

---

4. 开发者注意事项

(1) 参数调优

-- 控制Batch大小（默认1024）
SET vectorized_chunk_size = 4096; 

-- 启用高级向量化优化
SET enable_vectorized_engine = true;
SET enable_simd_optimization = true;

(2) 监控指标

-- 查看向量化执行比例
SHOW PROFILE WHERE QueryID = 'xxx';
-- 输出示例：
| Operator | VectorizedRatio | SIMDUsage |
|----------|-----------------|-----------|
| Scan     | 100%            | AVX2      |
| Agg      | 100%            | AVX512    |

(3) 设计约束

• 避免宽表（超过100列），会降低Cache命中率
• 优先使用数值类型（比字符串更易向量化）

---

5. 与同类技术对比

技术	StarRocks	ClickHouse	Snowflake
向量化粒度	全算子覆盖	部分算子	全算子
SIMD支持	AVX2/AVX-512	SSE4.2	自动选择
内存管理	自定义Arena	系统malloc	托管内存池

StarRocks 的向量化引擎特别适合：

• 高并发点查：小批量快速响应
• 大规模分析：TB级数据亚秒级响应
• 实时计算：流式数据微批处理

理解这一设计后，可以通过合理的表结构设计和参数调优最大化性能优势。