背景

  目前普遍采用的TCP/IP网络传输协议已经有30多年历史,它主要是针对低效、复杂的网络而设计的,用在高带宽的数据链路上已经不能适应用户需求。我国地面光纤网络的传输效率普遍在带宽的20%以下,其结果是:一方面很难实时获取数据,另一方面也大大增加了带宽建设或租用成本。

  南京云创大数据科技股份有限公司经过多年积累,专门针对地面数据传输研究出高性能可靠文件传输协议cTrans,采用并行流水线方式、将传输与存储作联合优化,并支持多点中继传输。经过多项实地远程传输试验,结果表明该技术的传输效率在1Gb/s光纤线路上达到了带宽的80%左右。cTrans建立在UDP协议之上,可以通用于互联网中。

  图1和图2分别为TCP/IP性能柱状图和cTrans性能柱状图。

图1 TCP/IP性能柱状图
图2 cTrans性能柱状图


产品简介

   cTrans 云传输技术基于 UDP 协议,在应用层做了可靠性保障,同时加入 P2PXX技术,进一步提高了信道利用率。cTrans 云传输通过三次握手明确信道状况和基本传输速率,随后会以此速率发包,接收端在应用层检测收到包的序号,产生错误后记录下序号,累积一段时间后反馈序号列表,发送端重新将这些序号的包发送一遍即可。使用cTrans协议传输效率如图3所示:

图3 cTrans协议性能柱状图

   可以看出,cTrans 十分适合大数据的远距离传输模式,能够很大地提升传输带宽利用率,解决远距离传输的难题。

   基于 cTrans 高速云传输机制构建的 cTrans 云分发系统,主要包括中央节点资源及任务管控软件、边缘节点传输客户端软件两个部分。主要功能包括节点管理、用户管理、资源管理、任务管理、日志管理、参数设置等功能模块。cTrans云分发系统广泛适用于广电、媒体、互联网、军队、科研机构等特定行业和专业领域,并可在资源及数据的存储层面,与相关领域的业务系统(例如:媒资管理系统、地理信息系统等)进行整合。云分发系统具有传输速度快、传输成功率高、运行安全稳定、扩展性强、易于部署维护等优点。

图4 cTrans云分发系统传输界面

   cTrans 协议是我们公司专门针对地面数据传输开发的高性能可靠文件传输协议。采用并行流水线方式、将传输与存储作联合优化,并支持多点中继传输。cTrans建立在 UDP 协议之上,可以通用于互联网中,能够将互联网远程数据传输效率提高 4 倍以上,特别适合海量数据的远程传输。



系统架构

   基于cStor云存储系统的cTrans云分发系统架构图,如下:

图5 cTrans系统架构图




   cTrans系统结构如图6所示:

图6   cTrans结构图

   cTrans双方都有发送和接收两个实体。发送实体根据流量控制和速率控制来发送(和重传)报文。接收实体负责数据报文和控制报文的接收,同时负责触发和处理所有的控制事件:包括拥塞控制、可靠性控制、RTT估计、带宽估计、应答和重传等。

   cTrans双方需要通信时,客户端首先发送连接请求报文,并在收到服务器端响应后,建立连接。传输过程中双方还将定时发送握手报文来维持连接。传输结束后,可以由客户端发起请求,主动关闭连接;也可以通过客户端停止发送握手包,使接收方握手超时,从而被动关闭连接。

   进行数据发送时,cTrans将应用层数据切割成固定长度的报文进行发送。如果报文长度超过MTU,那么网络层将对该报文进行分片,下层的协议对于分片到达的可靠性是没有任何保证措施的,因此任何一个分片的丢失,都将导致整个报文的重传,从而使报文一次正确到达的几率降低。基于上述考虑,应当避免报文分片。因此报文的很大长度为MTU,同时考虑到下层的协议开销,报文的实际长度略小于网络的MTU。


使用环境与界面


   使用环境:目前提供Linux下的cTrans版本,可根据客户需要定制Windows下版本。

   使用界面:支持Shell下命令行操作界面,同时提供类似FTP软件的操作界面,如图8所示:

图7   cTrans软件界面


测试数据


   测试系统有A、B、C三台机器,以千兆以太网连接。数据从服务器A依次发送到B,C。进行存储测试时,A向B发送数据,B接收后,在本地进行存储,同时将数据转发给C,C接收到后进行存储。测试环境的硬件配置如下表所示。

   硬件配置

服务器名称 CPU 内存 网卡 RAID 操作系统
A 双核3.2GHZ 4G 1000Mbit/s 4块硬盘加raid卡构建raid0 Linux 2.6.20内核
B 双核3.2GHZ 4G 1000Mbit/s 4块硬盘加raid卡构建raid0 Linux 2.6.20内核
C 双核3.2GHZ 4G 1000Mbit/s 4块硬盘加raid卡构建raid0 Linux 2.6.20内核

   采用Ipfer和Iometer分别对机器的实际很大网络速度(采用UDP协议)和I/O速度进行测试,结果如下表所示。

   采用Ipfer,速度测试结果

网络速度 磁盘读取速度 磁盘写入速度
112MB/s (A-B UDP ) 150MB/s(顺序读) 121MB/s(顺序写)

112MB/s (A-B UDP )

119MB/s (B-C UDP )

146MB/s(顺序读) 119MB/s(顺序写)
121MB/s (C-B UDP ) 147MB/s(顺序读) 124MB/s(顺序写)

   采用cTrans后,A-B不转发,测试结果如下表所示。

   采用cTrans后,A-B不转发,速度测试结果

文件大小(GB) 用时(s) 平均速率(MB/s) 是否正确
8 97 82.47
8 101 79.21
6 78 76.92
6 77.5 77.42
6 78 76.92
3.9 49 79.59
3.9 47 82.98
3.9 47 82.98

   采用cTrans后,A-B-C转发,测试结果如下表所示。

   采用cTrans后,A-B-C转发,速度测试结果

文件大小(GB) A到B用时(s) 中转用时(s) 平均速率(MB/s) 是否正确
8G 96.686 103.877 81.06/77.01
8G 98.645 102.830 81.09/77.79
8G 97.655 106.859 81.92/74.86
6G 81.54 80.62 73.58/74.42
6G 79.56 78.68 75.41/76.25
6G 79.52 79.73 75.45/75.25
3.9G 49.32 49.52 79.05/78.75
3.9G 54.37 51.42 71.73/75.84
3.9G 52.416 51.388 74.40/75.25


产品特性

   cTrans传输协议的实现主要由转发模块、存储模块、可靠传输模块构成,底层基于UDP协议, P2P方式传输。

流水线并行传输技术
应用流水线的思想,将网络数据的接收、存储、转发分解成流水线上的独立单元,网络数据顺序进入以上单元进行处理。这样既提高了并行程度,同时也减少了数据的内存拷贝次数,从而提高了系统整体性能。
传输与存储并行优化
将文件发送端的流程划分为文件读取和数据发送两个独立的部分,同时增加读取队列和发送队列来取消步骤之间的资源相关性,运用多线程技术,实现发送和传输重叠执行,达到性能优化的目的。同理在接收端将文件存储和数据接收分解成独立的部分。

基于UDP建立高度可靠的准确性保障传输机制
建立了特殊的可靠传输机制,确保数据有序正确到达(数据的正确性已经过长时间的使用得到验证)。
有效的拥塞控制机制
可以根据线路特性,实现相应的拥塞控制机制,进行专门优化。

无限的转发框架
转发的节点个数不受限制,并且可以实现转发的多级级联。


市场应用

应用范围 应用描述 典型用户
视频传输、节目分发 海量数据传输与处理、视频格式转换、高清节目转码、节目多点分发 电视台、媒体制作相关行业
数据灾备 海量数据远程灾备 图书馆、档案馆
大规模数据传输 高并发、大文件高性能传输 视频点播系统、图书馆、学校、政府机关
... ... ...

更多下载

联系方式    总机:400-8855-360



市场部

区域
销售人员
分 机
手机号
邮 箱
腾讯QQ
项目总监
袁高峰
8008
15051887778
市场部总经理
张军方
8059
18662385792
新疆分公司
任家瑞
8019
13851763165
北京 安徽 天津 辽宁 黑龙江 吉林
骆梦阳
8052
13952028557
山东 浙江 四川 广西
杨  剑
8030
18751869256
内蒙古
何家乐
8031
18616794962
云南、福建、河北、江西、上海
刘立宏
8034
13815414773
山西
刘连鹏
8018
18021395113
海南
左  赛
8033
18017566211
河南 重庆 湖北 贵州 陕西
王  军
8035
13851877991
广东
单明月
8056
13770311887
湖南
张绪文心
8027
18602548008
青岛 甘肃 西藏 宁夏
马阳阳
8006
18651810931
新疆
陈鑫磊
15899133730
徐翠兰
13815871642
王 玮
8054
15077865340
谢久军
8042
13805153062 
河南办事处
刘宏
(河南办事处 主任)
 
13333831976
湖北办事处
周俊
(湖北办事处)
 
13995587166
贵州办事处
汤添智
(贵州办事处)
13602805009
重庆办事处
曾娟
(重庆办事处)
13628383332


教育行业代理

区域/行业 代理商 联系人 手机号 邮 箱
山西省教育行业总代理 太原太工天宇教育科技有限公司 朱晓军 13903518848 [email protected]
天津市教育行业总代理 天津沃翔科技有限公司 胥海涛 18622559355 [email protected]
四川省教育行业 阿一丁科技 周洋 18623655301 [email protected]
成都优越科技(总代理) 陈小林 13568881906 [email protected]
内蒙古教育行业 清华海旗 李杨 13901247452 [email protected]
内蒙古智盟文化旅游发展有限公司 陈振 15502999934 [email protected]
北京教育行业 华夏聚商(北京)科技有限公司 马志坚 13241834645 [email protected]
清华海旗 李杨 13901247452 [email protected]
湖南省教育行业 湖南星云智能科技有限公司 陈桂生 18611990635 [email protected]
湖南正硕科技有限公司 黄正祥 18611540068 [email protected]
湖南优利帝科技有限公司 沈凯丰 18674895858 [email protected]
湖南神州宜达信息技术有限公司 袁舜 17308480199 [email protected]
辽宁省教育行业总代理 沈阳天拓系统集成科技有限公司 苏勇 13940401319 [email protected]
吉林省教育行业总代理 长春智爱科技有限公司 左延凌 18626623543 [email protected]
广东省教育行业总代理 广州天子骄子电子科技有限公司 李元 13022085595 [email protected]
山东省教育行业 济南华朗电子设备有限公司 梁传凯 18605310122 [email protected]
山东泰和佳宜信息科技有限公司 杨德福 13305336850 [email protected]
青岛华星科电子设备有限公司 赵林 15665728160 [email protected]
济南掌中万象信息技术服务有限公司 胡克明 13306405566 [email protected]
山东泰山教育创新研究院 常继涛 13697663323 [email protected]
陕西省教育行业总代理 陕西精测电子仪器有限公司 康耀 13991342692 [email protected]
浙江省教育行业 浙江掌尊信息技术有限公司(总代理) 张成成 18267120032 [email protected]
浙江广电集团 张帆 18968053960 [email protected]
安徽省教育行业总代理 安徽康源物联信息科技有限公司 曹先操 18905605095 [email protected]
重庆市教育行业总代理 重庆杉臣教育科技有限公司 李方清 13320264154 [email protected]
广西省教育行业 广西国邦志成科技有限公司(总代理) 黄真强 18607714559 [email protected]
广西南宁上广视音频网络技术有限公司 王静静 13977136549 [email protected]
广西省南宁西乡塘培训学校 张华 18077241960 [email protected]
上海市教育行业 上海速文网络科技有限公司(总代理) 张结平 13120822448 [email protected]
赛服(上海)网络科技有限公司 杨穆超 18616681775 [email protected]
江西省教育行业总代理 江西臻宸科技有限公司 张伟 18172891221 [email protected]
福建省教育行业 福建网誉信息科技有限公司(总代理) 祝传兵 18905901215 [email protected]
福建超联信息科技有限公司 陈增超 18695729557 [email protected]
河北省教育行业 河北惠美电子科技有限公司 张慧 15383231728 [email protected]
石家庄展思科技有限公司 徐楠 18603297744 [email protected]
江苏省教育行业 江苏首创高科信息工程技术有限公司 吴云亮 13815027641 [email protected]
南京可瑞尔教育科技有限公司 史超 15722927758 [email protected]
新疆教育行业总代理 新疆亿航云翔信息科技有限公司 刘志勇 18690880877 [email protected]


公安行业代理

区域/行业 代理商 联系人 手机号 邮 箱
山东省公安行业代理 山东闻远通信技术有限公司 戴宇 18761674128 [email protected]
山东尊启信息技术有限公司 张为晓 13954141334 [email protected]
山东融御中安信息安全有限公司 赵慧奇 18660862096 [email protected]
海南省公安行业 海南怡盟电子科技有限公司(总代理) 熊桂霞 15298946071 [email protected]
海南阿福企业策划有限公司 黄振福 18789630559 [email protected]
浙江省公安行业代理 杭州联洲科技有限公司 史慧平 18968188988 [email protected]
杭州宁杭信息技术有限公司 许其元 13738038938 [email protected]
福建省公安行业代理 杭州宁杭信息技术有限公司 许其元 13738038938 [email protected]
贵州省公安行业总代理 北京云教互动科技有限公司贵州分公司 穆俊玲 17311090120
江苏省公安行业代理 徐州麒麟物联网科技有限公司 迟明秋 15862186070 [email protected]
陕西省公安行业总代理 陕西乐享电子科技股份有限公司 张化斌 13909215859 [email protected]
安徽省公安行业总代理 南京点道数据科技有限公司 李天宇 15951823701 [email protected]
河北省公安行业代理 河北惠美电子科技有限公司 马瑞泽 19933158868 [email protected]
重庆市公安行业代理 重庆贵飞科技有限公司 秦龙 18623001736 [email protected]
河南省公安行业代理 河南翰林网络技术开发有限公司 张磊 15617216616 [email protected]
四川省公安行业总代理 成都国策正义文化传媒中心 李斌 18620323772 [email protected]
山西省公安行业代理 中泰鼎晟(北京)科技有限公司 田泽雨 13835177588 [email protected]
内蒙古公安行业代理 中泰鼎晟(北京)科技有限公司 田泽雨 13835177588 [email protected]


诚征全国代理    总机:400-8855-360

负责人
分 机
手机号
邮 箱
腾讯QQ
杨  剑
8030
18751869256
点击这里给我发消息
阅读:10983次


版权所有 © 2011-2017 南京云创大数据科技股份有限公司(股票代码:835305), 保留一切权利。(苏ICP备11060547号-1)  
云创大数据-专业的云存储、大数据、云计算产品供应商