产品 | TDH核心技术优势简介

Apache Hadoop是针对大规模分布式数据而开发的软件框架，已经成为企业管理大数据的基础支撑技术。然而开源Hadoop仍然面临一些挑战；首先性能和稳定性相比其他商业软件还有提升空间；其次，缺少完备的决策分析工具和编程模型运行在Hadoop架构之上，无法将大数据中存在的巨大潜在价值转换为实际的商业价值；最后，亟需完备的企业级解决方案来加速大数据应用的广泛部署。

有鉴于此，星环科技从企业应用角度出发，针对性地对Apache Hadoop进行了系列技术开发，并且开发了多个全新的功能组件，形成了适应企业级应用的TDH平台，从而使这一理论框架更能满足各类企业用户的要求。

完整的数据仓库功能支持

TDH目前支持完整的SQL 99标准和SQL 2003核心扩展，可以运行TPC-DS标准测试集的全部99个测试项；支持绝大部分Oracle PL/SQL和DB2 SQL/PL语法,包括完整的数据类型、流程控制、Package、游标、异常处理以及动态SQL执行，可以满足绝大部分数据应用的从关系型数据库到Inceptor平台的迁移。 TDH支持对数据的增删改操作，允许从多数据源中加工数据，同时为了有效的保证数据处理的准确性，TDH提供了分布式事务的支持，保证了处理过程中数据的ACID，即原子性、一致性、隔离性和持久性。

超强的数据分析性能

在计算引擎方面，Transwarp采用为内存优化的Apache Spark引擎，并加上专有的高效列式内存存储Holodesk，能够提供全内存的计算解决方案，是业界最领先的计算架构。在优化器方面，TDH包含多级优化器和代码生成器,对SQL生成执行计划进行了大量优化，确保生成最佳的执行计划。综合在执行引擎，优化器及数据存储层上的优化，TDH性能全面领先开源 Apache Hadoop 2.X，SQL支持完整程度和性能大幅领先Cloudera Impala，比主流MPP数据库快1.5到5倍。

高并发低延时，支持半结构化和非结构化数据

TDH Hyperbase支持全局和局部索引，能够提供毫秒级的查询性能，单节点每秒处理的并发请求数可以达到几万，满足企业在高并发场景下的业务需求。同时Hyperbase支持JSON数据格式等非结构化数据，用户可以直接将JSON格式的数据存储在Hyperbase之中，并可以对任意字段进行查询,创建索引以及删改。TDH包含Elastic Search组件，支持分布式全文检索，并可使用SQL语法进行搜索。星环创新的Object Store技术可以高效的满足单条数据大小在几百K到10M的二进制存储需求，对一些图片和视频类的在线业务非常有效。

交互式数据分析和挖掘能力

TDH Discover支持R交互式数据分析，同时内置了大量常用机器学习算法的分布式实现，可以与R语言中的数千个算法混合使用，可高速分析现有平台中的海量数据。Discover还提供了包括文本分析、交易反欺诈、风险分析、推荐系统在内的多个行业解决方案，使得用户快速地基于自身业务系统构建解决方案。结合Discover高效快速的数据挖掘能力与TDH对主流可视化和BI工具的支持，星环科技可以帮助客户将新的大数据应用轻松融合进原有业务中，通过对真实场景全量数据的学习和挖掘，为客户产生更多价值。

支持SQL和R的实时数据处理技术

TDH Stream是星环专为企业级用户打造的流计算引擎,主要应用于实时性较强的应用场景。星环自主研发的StreamSQL支持用户通过SQL来实现流处理业务逻辑，极大地降低用户的入门门槛。Stream支持企业数据总线，也就是从一个流读入数据,再将其输入另一个流，以Kafka为存储中间件。此外，Stream支持流上的数据挖掘，包括统计和机器学习等多种算法，允许用户在实时计算过程中进行数据挖掘，从中挖掘出有价值的信息及时报警或者进一步分析。

与数据分析生态系统的强力整合

TDH支持JDBC 4.0和ODBC 3.5标准，因此能够支持Hibernate/Spring等中间件，完全兼容Tableau/QlikView/Cognos/SAP Business Objects/OracleOBIEE等报表工具，使得基于大数据分析的商业决策更易被理解和接受。此外，TDH也支持与其他数据同步工具的对接，能够支持OracleGolden Date，SAP Data Service等数据同步工具，企业用户可以实时的将交易数据同步到Inceptor内做交互式统计分析业务。

高可靠的企业级运维管理体系

TDH通过提供数据存储、分布式计算、数据分析挖掘以及数据可视化的整套支持，解决了企业在GB到PB级数据分析领域碰到的各种问题。作为企业级解决方案，可管理性是TDH的显著优势，用户友好的管理界面提供了系统安装、系统及集群配置、监控及预警等多方面的一站式支持。TDH架构具有高可用性和快速故障恢复能力，HDFS作为其底层存储系统的支撑技术(Hyperbase亦基于此)保证了数据的持久化和冗余复制，并具有数据自动检测和修复的容错功能；基于HDFS的所有服务为HDFS的HA功能而优化；确保整个大数据处理系统的高可用性。在安全领域,与Kerberos/LDAP进行整合；支持细粒度访问控制、应用程序安全及数据加密及解密等等。

往期回顾

《产品 | Transwarp Data Hub（TDH）企业级一站式大数据综合平台》

《产品 | TDH体系框架及产品功能特性》

END.