Transwarp Stream解决方案

解决方案

公司联系信息:
上海:徐汇区桂平路481号18幢3层301室
北京:海淀区中关村E世界财富中心C座7层757室
广州:天河区临江大道西33号碧海湾B栋2502室

公司联系人:
章念慈

联系电话:
4008 079 976

传真:
 

电子邮箱:
技术支持: support@transwarp.io
商务咨询: sales@transwarp.io

公司网址:
http://www.transwarp.cn/

返回上一页

返回首页

星环信息科技(上海)有限公司解决方案的平台、功能等简单介绍

Transwarp Stream是专为企业级用户打造的流计算引擎,主要应用于实时性较强的应用场景。比如,金融行业对市场波动的实时预警;交通行业需要将卡口数据实时入库,并在线使用图像识别鉴别套牌车进行预警等功能;银行业务需要在线分析业务,及时鉴别欺诈等违规行为等功能。

Transwarp Stream实时流处理引擎提供强大的流计算表达能力,支持复杂的应用逻辑。生产系统的消息通过实时消息队列进入计算集群,以流水线方式被依次处理,完成数据转换、特征提取、策略检查、分析告警等复杂服务计算,最终输出到Hyperbase等存储集群,实时生成告警页面、展示页面等。系统具备强扩展性、强容错、低延迟、等特点,成熟应用于实时数据的实时告警、风险控制、在线统计和挖掘等业务。

功能特性:

  • Kafka:低延时高吞吐的分布式消息队列,支持发布/订阅模式
  • 流处理引擎:提供强大的流计算表达能力,处理复杂计算逻辑
  • 交互式探索分析:实时数据存储,与其他工具交互进行数据挖掘和处理
  • 流式机器学习:支持用户在实时计算过程进行统计学习和机器学习

描述:

Transwarp Stream 实时流处理引擎以Spark Streaming为基础提供强大的流处理能力,支持复杂的应用逻辑。具体体现在:

  • 更强的表达能力:支持DAG计算模型
  • 丰富的输出方式:HBase,告警页面,实时展示页面
  • 广泛的应用场景:传感器网络处理,服务监控,反作弊

Transwarp Stream架构主要包括三层,自下而上分别是存储层、计算层以及接口层,具体结构如下图所示。

Transwarp Stream结构图:

Transwarp Stream

返回顶部

特性

  • 实时性:优化任务调度策略,总结适配各种复杂环境的优化参数和最佳配置
  • 高吞吐量:单位时间无积压性处理消息,消除框架中单点瓶颈,提高并发度
  • 高可用性:超强的异常状态恢复和持续工作能力,并提供At least Once和Exactly Once的语义支持
  • 易用性:SteamSQL使用户实现流处理业务逻辑,降低入门难度
  • 安全性:通过Kerberos打通组件的用户验证,同时对数据加密,提供细粒度的权限控制
  • 稳定性:应用有24*7的运行要求保证稳定性,back-pressure功能调整数据流入速率

返回顶部

系统需求

  • 服务器部分:
    平台部署在标准Intel Xeon® 系列服务器、Linux 64位操作系统, 配合CISCO C240 M3/M4服务器和多硬盘本地存储系统可以发挥最大系统性能,由于数据流量大,延迟要求低,所以建议推荐用户增配1块PCIe SSD卡实现Holodesk技术并升级现有网络到万兆网络。
  • 网络部分:
    总体网络架构采用双机双链路高度冗余架构设计。采用思科高性能且支持VXLAN和NVGRE技术技术的Nexus 3000/5000 Series Switches交换机构建核心网部分,实现高可靠性和高可用性,推荐用户使用10GbE以上网络和相关cisco核心交换机。
  • 和思科的整合方案:
    支持Cisco Nexus网络产品和UCS C220 M3/M4,C24 M3, C240 M3/M4硬件服务器 。在思科nexus和UCS平台上,可以实现更快的性能。

返回顶部

成功案例

Hadoop大数据技术助力某地交警实现智慧交通成功案例

返回顶部