Transwarp Inceptor介绍

Transwarp Inceptor是星环科技推出的用于数据仓库和交互式分析的大数据平台软件，它基于Hadoop和Spark技术平台打造，加上自主开发的创新功能组件，有效的解决了企业级大数据数据处理和分析的各种技术难题，帮助企业快速的构建和推广数据业务。

Transwarp Inceptor可提供完整的SQL支持，支持主流的SQL模块化扩展，兼容通用开发框架和工具，支持事务特性保证数据的准确性，允许多租户的隔离与管理，且能够利用内存或者SSD来加速数据的读取，支持与关系型数据库实时对接并做统计分析，辅以高性能的SQL执行引擎，为企业提供高性价比和高度可扩展的解决方案。

Inceptor中星环科技自主开发的创新组件包括：

SQL编译器 SQL 2003 Compiler

企业级数据仓库、数据集市等应用大多基于SQL开发，而Hadoop业界的产品大部分对SQL的兼容程序比较差，或者不支持SQL的模块化扩展，因而应用迁移的成本非常高，甚至是不具备可行性。

为了降低应用迁移成本，Transwarp Inceptor开发了完整的SQL编译器，支持ANSI SQL 92和SQL 99标准, 支持ANSI SQL 2003 OLAP核心扩展，可以满足绝大部分现有的数据仓库业务对SQL的要求，方便应用平滑迁移。

除了更好的SQL语义分析层，Inceptor还包含强大的优化器保证SQL在引擎上有最佳的性能。Inceptor包含3级优化器：首先是基于规则的优化器，应用静态优化规则生成一个优化的逻辑执行计划；其次是基于成本的优化器，通过衡量多个不同执行计划的CPU、IO和网络成本，选择一个相对更合理的计划并生成物理执行计划；最后是代码生成器，对一些比较核心的执行逻辑生成更高效的执行代码或者Java Byte Code，从而保证SQL业务在分布式平台上有最佳性能。

存储过程编译器 PL/SQL Compiler

国内现有的数据仓库应用大都基于SQL 2003，且大量使用存储过程来构建复杂应用。因此为满足需求，除了SQL编译器以外，Transwarp Inceptor还包含存储过程编译器用于对存储过程的编译和执行。

Inceptor支持SQL2003标准，存储过程，兼容Oracle、DB2、Teradata方言，包括完整的数据类型、流程控制、Package、游标、异常处理以及动态SQL执行，并且支持在存储过程中做高速统计，增删改查与分布式事务操作。因此，有了存储过程编译器的补充，Inceptor可以满足绝大部分数据应用的从关系型数据库到Inceptor平台的迁移。

除了SQL语法层面的支持，存储过程编译器包含一个完整的优化器，其中包括CFG Optimizer，Parallel Optimizer，和DAG Optimizer。CFG Optimizer主要用于对存储过程中的代码进行优化，完成循环展开，冗余代码消除，函数内联等主要优化。Parallel　Optimizer用于将一些原本串行的逻辑做并行化处理，利用集群的计算能力来提高整体执行速度，对一些关键的功能如游标的性能提升非常明显。DAG Optimizer会根据生成的DAG进行二次优化，生成更合理的物理执行计划，重点降低Shuffle等任务开销。

为了有效兼容其他数据库，Inceptor支持通过不同的方言设置来隔离不同的SQL标准之间的差异，从而避免数据计算和处理标准的二义性，保证数据处理的正确性。

事务管理单元 Transaction Manager

为了更好的满足数据仓库业务场景的需求，Inceptor提供完整的增删改SQL支持，允许从多数据源中加工数据。同时为了有效的保证数据处理的准确性，Inceptor提供分布式事务的支持，保证了处理过程中数据的ACID（原子性、一致性、隔离性和持久性）。

Inceptor支持以Begin Transaction启动事务，以commit或者rollback来结束事务。事务管理单元通过两阶段封锁协议和MVCC来实现一致性和隔离性的控制，支持Serializable Snapshot Isolation隔离级别，因而可以保证并发情况下的事务一致性。

Inceptor支持SQL 2003中关于增删改查部分的语义规范，支持Insert，Update，Delete，Truncate以及Merge Into原语，支持单条或者从其他数据表以及嵌套查询中更新数据表，并且内置一致性检查功能以防止非法改动。

通过SQL编译器的优化，增删改SQL执行计划通过分布式引擎在集群中并发执行，系统整体的吞吐率可达关系数据库的数倍，能够满足批处理业务的高吞吐率要求。另外，通过合理的资源规划，Inceptor在做数据的增删改的同时，允许租户对数据做高速的统计分析。

分布式内存列式存储 Holodesk

为了加速交互式分析的速度，Inceptor推出了基于内存或者SSD的列式存储引擎Holodesk。Holodesk把数据在内存或者SSD中做列式存储，辅以基于内存的执行引擎，可以完全避免IO带来的延时，极大的提高数据扫描速度。

除了列式存储加快统计分析速度，Holodesk支持为数据字段构建分布式索引。通过智能索引技术为查询构建最佳查询方案，Inceptor可以将SQL查询延时降低到毫秒级。

Holodesk允许用户对多字段组合构建OLAP-Cube，并将cube直接存储于内存或者SSD，无需额外的BI工具构建Cube，因此对于一些复杂的统计分析和报表交互查询，Holodesk可实现秒级的反应。

除了性能优势，Holodesk在可用性方面也表现出色。Holodesk的元数据和存储都原生支持高可用性，通过一致性协议和多版本来支持异常处理和灾难恢复。在异常情况下，Holodesk能够自动恢复重建所有的表信息和数据，无需手工恢复，从而减少开发与运维的成本，保证系统的稳定性。

Inceptor重点优化了基于SSD的Holodesk性能，使得基于PCIE SSD的性能达到全内存方案的80%以上。因此结合使用低成本的内存、闪存混合存储方案，可接近全内存存储的分析性能，保证解决方案的高性价比。

分布式执行引擎 Distributed Execution Engine

Inceptor基于Apache Spark深度开发了专用分布式计算引擎，不仅大幅提高了计算性能，而且有效的解决了Spark在稳定性方面的很多问题，确保计算引擎能够7x24小时无间断运行。此外，Inceptor引擎独立构建了分布式数据层，将计算数据从计算引擎JVM内存空间中独立出来，可以有效减少JVM GC对系统性能和稳定性的影响。

在SQL执行计划优化方面，Inceptor实现了基于代价的优化器和基于规则的优化器，辅以100多种优化规则，以保证SQL应用在无需手工改动的情况下能够发挥最大的性能。对于数据倾斜等常见的数据处理难题，执行引擎也能够自动识别并加以优化，可解决绝大部分存在数据倾斜的计算场景，杜绝数据倾斜对系统稳定性的影响。 +　　为了更好的适应各种数据场景，Inceptor的执行引擎包含两种执行模式：低延时模式和高吞吐模式。低延时模式主要应用在数据量比较小的场景，执行引擎会生成执行延时低的物理执行计划，通过减少或避免一些高延时的任务（如IO，网络等）来保证SQL较短的执行时间，达到或者逼近关系型数据库在这些场景下的性能。高吞吐模式主要应用在大数据的场景，通过合理的分布式执行来提高超大数据量上的复杂统计分析的性能。因此，Inceptor的执行引擎可以满足从GB到PB的各种数据量上的数据业务需求。

数据源连接器 Stargate

企业数据可能会分散在多个系统中，彼此无法共享数据或者进行相关的分析，从而造成数据孤岛的现象。构建统一的大数据平台可以有效的解决大部分场景下的数据孤岛问题。采用统一的大数据平台之后，会存在一些数据因为各种关系无法迁移统一平台上的现象。为了解决此类问题，Inceptor推出了数据源连接器Stargate。

Stargate是连接执行引擎和各种数据源的连接器，可将多种不同数据源的数据接入引擎做实时的统计分析，无需事先将数据导入HDFS，从而方便用户的业务构建多样化需求。

在语法层面，Inceptor兼容Oracle DB-Link规范，通过创建database link来预先建立和其他数据源的连接池，接着就可以在SQL中通过 table_name@database link的方式在Inceptor中实时访问该数据源的数据，无需其他操作。在执行计划开始后，Stargate通过预先建立的连接从其他数据源中抽取需要的数据，输入进入执行引擎层参与SQL计算。在计算完成后，释放相关的数据库连接以及对应的资源。

目前Stargate支持关系数据库包括Oracle，DB2，Mysql，Teradata以及PostgreSQL。此外，Stargate目前可以接入Holodesk，HDFS，Hyperbase等平台内数据源，未来将支持Redis等为数据源。