TongGTP5.0技术白皮书

技术白皮书

TongTech ?

东方通科技公司

TongGTP5.0 技术白皮书

14）

1

东方通科技公司技术白皮书（ 技术白皮书

目 录

1. 前言........................................................................................................................................... 3 2. 基本术语 ................................................................................................................................... 3 3. 体系结构 ................................................................................................................................... 4 3.1. 3.2. 3.3.

产品组成 ........................................................................................................................... 4 GTP节点 .......................................................................................................................... 5 监控管理中心 ................................................................................................................... 6

4. 主要功能 ................................................................................................................................... 7 4.1. 4.2. 4.3. 4.4. 4.5.

文件收发 ........................................................................................................................... 7 权限管理 ........................................................................................................................... 9 日志管理 ........................................................................................................................... 9 配置监控 ........................................................................................................................... 9 传输链路管理 ................................................................................................................. 10

5. 系统特点 ................................................................................................................................. 10 6. 应用案例 ................................................................................................................................. 11

图表目录

图 1 GTP产品组成 ............................................................................................................................... 5 图 2 GTP节点体系结构 ....................................................................................................................... 6 图 3 GTP监控管理中心体系结构 ....................................................................................................... 7 图 4 企业财务数据传输系统GTP部署示意图 ................................................................................ 12

东方通科技公司 2

技术白皮书

1. 前言

随着大型企业或机构实现业务集中处理后，各个数据中心产生的大量数据信息，以及各种图像文件等需要及时快速地从省、市一级的服务器或终端传输到全国中心，或者从全国中心往省、市、县级中心下发。也许很多人会认为这个问题非常简单，只不过是将数据从一个点传送到另一个。随着IT技术的不断发展，需要传送的数据量也迅速增加，技术部门解决这类问题只有有限的几种方法：

方法一：使用FTP（File Transfer Protocol）

在许多情况下，我们选用传统的文件传输协议即FTP.，FTP有许多亮点，例如：它是一个免费的非侵入式的软件，一个技术人员稍加培训即可在基于IP的网络上进行各种类型文件的传输操作。但是，FTP解决不了以下问题：

FTP不适应现代化企业进行信息传输的需求，无法满足大量的非常准确的信息传送需求和业务需求：

? 安全性差 ? 没有传输的保障

? 有限的错误捕获和预防措施

? 没有传输监控、广播、自动化、重传、重试、存储转发等必要的功能。 方法二：基于MOM（Message-Oriented Middleware）：

消息中间件提供了一种在应用之间进行信息传送的稳定、安全、自动的方案。在信息传输的过程中取消的人工干预，满足了一定的信息传输的需求。

但是，MOM只是提供了消息传输的通道，用户还必须调用MOM提供的接口编写传输应用，才能实现文件的传输。

显然，这两种方案都无法解决用户的所有的需求。

TongGTP(以下简称GTP)是面向分布式应用的文件传输平台，针对上述需求，提供满足企业级应用需要的通用传输功能。GTP系统以成熟的消息中间件TongLINK/Q为基础进行架构，从而保证了其核心系统稳定可靠、具有良好的可扩展性和相当好的处理性能、并且易于管理和维护。同时，GTP平台提供企业大数据量传输所需要的各种管理、部署和安全功能，使其方便易用。借助此平台用户无需任何编码，只需进行简单的配置就可以轻松实现不同节点间的文件可靠、安全、高效的传输。

2. 基本术语

由于后续对于此平台的功能描述中涉及诸多基本概念，本节将介绍GTP涉及的基本术语。 消息中间件

东方通科技公司 3

技术白皮书

消息中间件是实现应用之间进行广泛用途的消息传递的一类中间件，在分布式计算环境中通过消息队列以消息投递方式实现应用间松耦合关系的信息交互。 GTP节点

一套GTP的运行环境，实现文件传输的功能，一般运行在一台物理机器上。 GTP监控管理中心

集中进行GTP节点管理、用户管理、任务管理的统一平台，用户通过浏览器进行访问。 任务

任务是指用户为GTP定义的工作计划，GTP将根据用户的定义，在某个最方便的时间自动运行任务，实现文件传输。 断点续传

当文件在传输过程中由于意外原因引起传输失败时，GTP将负责从传输失败点接续发送该文件，而不是将整个文件重新发送。

通过断点续传机制，既可以有效减少高故障率网络上的冗余通讯量，又可以避免极端情况下，如频率极高的网络抖动，文件传输的反复失败重传。 数据加密

通过某种算法，对数据进行编码，防止非法用户的阅读。比较常用的都是基于复杂的算

法，通过密钥来进行数据加密，主要的算法有DES、Triple DES、RC2/RC4、RSA等。 数据压缩

对于特大数据进行压缩，对于传输系统来说也非常重要。通过标准高效的压缩算法，对

要传输的大文件先进行压缩处理再进行传输，可以非常有效的利用网络带宽，提高传输效率。

3. 体系结构

3.1. 产品组成

TongGTP由GTP节点、监控管理中心两部分组成。组成结构如下图所示：

东方通科技公司 4

技术白皮书

图 1 GTP产品组成

GTP节点分布在网络上需要进行文件传输的机器上，用户可以通过浏览器登录集中管理中心，访问需要管理的节点，并定义相关的任务，交由GTP节点以手工或自动方式执行发送任务，文件的接收方（可以为一个或多个节点）的GTP节点负责将收到的消息按照约定的目录存放。

为保证系统的的安全性，GTP提供用户权限管理服务，用户分为管理员、操作员及访问者三种级别，具有不同的访问权限，而且对某个用户可管理的节点也可进行指派，避免错误操作职权范围外的节点。

3.2. GTP节点

GTP节点是GTP在网络中的一套运行环境和基本单位，它由一组进程、配置文件和相关系统资源所组成，为用户提供文件传输任务的监控和调度管理，在合适的时间为用户自动进行文件的扫描与发送。

GTP节点的组成结构如下：

东方通科技公司 5

技术白皮书

GTP节点代理服务任务管理目录命令访问工具文件收发命令工具日志管理核心进程底层传输模块(TongLINK/Q)配置文件网络 图 2 GTP节点体系结构

GTP节点包括代理服务、核心进程、命令工具及核心传输模块、日志管理等五大部分。代理服务负责与监控管理中心进行通讯，提供GTP节点管理的代理服务。底层传输模块是提供消息存储、队列管理等职能的通用消息通讯产品，目前系统中使用的是知名的消息中间件TongLINK/Q产品，由其为GTP节点间提供可靠高效的传输平台。核心进程提供任务管理、目录访问及文件传输等服务，按照用户的定义执行相关的文件发送任务。命令行工具及日志管理是为用户提供的其他辅助工具，以便用户在GTP节点上通过手工执行命令实现文件发送或日志的查看和管理。

3.3. 监控管理中心

TongGTP监控管理中心是一套基于Web浏览器、B/S架构的集中监控管理平台。通过监控管理中心，可以实现对网络中所有GTP节点的集中配置、监控、管理和维护等工作，能够大大提高系统的维护管理效率，降低系统维护成本。 TongGTP监控管理中心的体系结构如下图：

东方通科技公司 6

技术白皮书

GTP监控管理中心节点管理(监控控制)任务管理(定义控制)传输实时监控查询统计用户管理备份与恢复 图 3 GTP监控管理中心体系结构

通过监控管理中心，用户实时查看各GTP节点的运行状态、任务所定义的文件传输情况，而且可以非常方便的查询及统计GTP节点上的文件传输结果，对于掌握系统的传输流量可以及时掌握。通过监控管理中心也可以非常方便的对GTP节点进行远程的启动与停止，更加方便对系统的管理。

监控管理中心是一套独立于GTP节点运行环境的辅助工具系统，它不依赖于GTP环境，可以灵活的安装部署在专门的监控管理设备上，方便用户集中查看、监控GTP系统运行状态，对监控对象进行分析、诊断，并根据系统运行需要，调整相关配置。

4. 主要功能

GTP的主要功能是为用户提供点与点之间自动、可靠高效的通用文件传输服务。用户无需要进行任何编码，只需要进行简单的设置就可以完成传输任务的定义，GTP节点将按照用户的要求定期扫描新的文件并负责发送到目的地。除文件传输功能之外，GTP还提供了跨越系统多个层次的安全性机制和良好的可管理性，以满足企业级应用的要求。GTP系统提供的主要功能包括：

4.1. 文件收发

GTP系统提供目录及文件的收发服务，用户指定要发送的目录及文件、接收节点及接收目录，向GTP发出发送指令，由GTP将该目录中的文件和子目录以相同的目录结构发送到指定节点的指定目录下。

用户可以采用手工方式逐次定义发送任务并发送；也可以采用自动方式——通过定义自动发送任务，指定要传输的目录、接收节点和目录后，启动自动任务，则GTP会自动检测

东方通科技公司 7

技术白皮书

该目录，随时将放入该目录的文件发送到接收节点的指定目录中。

为了保证文件传输的可靠和高效，GTP也提供了各种保证措施： 多种文件类型

GTP支持各种类型文件的传输，例如： ? 文本文件 ? 二进制文件 ? 图像文件 ? 图片文件 ? 语音文件等

对于文件的大小，GTP不做任何限制，只要操作系统可支持的文件大小，GTP都可以进行传输，无需用户手工对文件进行预先分割，再传输。 任务的灵活调度

GTP任务分为自动任务和手工任务两种类型，自动任务表示需要按一定的规则定期循环执行，一直不停止，除非用户主动停止它。自动任务创建后可以立即开始执行、可以由用户按自己的需要启动并执行、也可以定时执行。而手工任务则指将一批符合条件的文件发送完成就停止的任务。

对于运行中的任务用户可以根据自己的需要即时终止任务，也可以重新启动任务。 压缩加密

GTP产品提供数据压缩和加密功能，产品本身带有一套数据压缩、加密算法，同时也为第三方的压缩和加密算法提供了接口，用户可以方便的将自己指定的压缩和加密算法嵌入到GTP系统中。 断点续传

通过GTP的底层通讯模块TongLINK/Q提供的断点续传功能，可以有效的保证文件传输的可靠性。文件在传输过程中，不论是系统非正常关机或网络意外中断，文件消息都将仍保留在消息队列中，等待系统恢复后，文件将从传输失败点继续发送，而不是整个文件重新发送。断点续传机制可以有效减少高故障率网络上的冗余通讯量。在高故障网络上进行重传，会导致反复的失败重传，保证消息的可靠性。 流量控制

GTP也提供流量控制功能，在传输的过程中，GTP可以根据设置将消息拆分为不同的小块，在网络上进行传输，传输到目的端后再重新组织为完整的消息。每个小块的大小可以根据网络带宽和网络质量的不同灵活设置，网络质量较高的系统，可以调大每个数据块的大小，以充分的利用网络带宽，网络质量较差的系统，可以相应调小每个数据块的大小，以减少对网络的压力。 文件组播

东方通科技公司

8

技术白皮书

GTP既支持点对点方式的文件发送，也支持组播方式的文件发送，即可以将文件发送到一组GTP节点上，对于用户而言，只需要在定义任务时，指定多个目的节点就可以，任务所涉及到GTP节点之间则会自动生成所需要的相关配置，并实现文件从一个GTP节点发送到多个目的节点的要求。

4.2. 权限管理

GTP在监控管理中心上进行用户的权限定义和管理。

GTP系统定制了各种角色，并为这些角色授予各种资源的访问权限，包括节点及用户的定义（指增加、删除、修改等）权限、任务定义及管理权限等。

对于GTP系统的所有用户，均需要由系统管理员为其建立唯一的用户名和口令，并为该用户指定所属角色及可操作的节点。用户在使用GTP系统时，必须通过口令字认证才可以登录成功，而该用户也只有拥有相应的权限，才能使用系统提供的任务定义、文件传输、系统管理等功能，同时也只能管理分配给自己的节点，以保证节点的安全性

4.3. 日志管理

用户使用GTP系统完成的所有传输任务，均有详细的日志信息；此外，系统运行中出现的故障，也会在日志系统中进行记录。通过日志信息，用户可以快速地进行运行故障定位和方便地进行运行审计。

GTP的日志记录级别及日志文件的大小都可以根据用户需求灵活配置，用户进行系统调试时，日志级别可以设置的较高，以详细记录系统传输的信息，当系统稳定运行后，日志级别可以相应调低，以减少日志记录对资源的占用。

为避免传输日志长期积累过于庞大，影响GTP节点的良好运行，用户可定义相关日志处理条件，GTP节点则按照条件进行日志自动清理或备份。

4.4. 配置监控

管理工具

TongLINK/Q提供命令行和B/S监控管理中心两种类型的系统管理工具，通过系统管理工具：

? 可以实现任务的定义、任务的调度；

? 可以监控各个节点的运行状态，也可以实时监控任务的运行情况及文件的传输情

况；

? 可以实时监控各GTP节点的报警信息及运行日志，以便及时处理系统异常； ? 可以查询GTP节点的文件传输日志，并统计GTP节点的文件收发情况，惊醒系统

审计；

? 可以启动和停止GTP节点。

东方通科技公司 9

技术白皮书

动态配置

GTP提供动态配置功能，用户可以使用管理工具对系统的配置参数进行动态调整，调整后的配置信息能够在运行系统中立即生效，而无需重新启动系统。

TongLINK/Q也提供核心动态控制功能，用户可以根据需要灵活启动、停止、删除某些系统对象，及时调节系统的核心，以节省系统资源、提高效率和可靠性。

集中管理

通过GTP提供的可视化的远程监控管理中心，用户可以对多个GTP节点的运行进行集中实时地监控和管理，如对节点的远程启动和停止，对节点的状态、文件的传输进度与状态的监控，对传输日志的审计等，极大方便了系统的集中维护和管理。

查询统计

GTP提供查询及统计功能，用户可以通过各种组合条件查询节点间的文件传输状况，也可以非常方便的统计全网内各节点之间文件发送及接收累计信息，如发送成功的文件总数数、发送失败的文件总数、接收成功的文件总数、接收失败的文件总数，发送成功的文件自字节数、接收成功的文件字节数等，用来对系统的传输情况进行审计及流量监管。

4.5. 传输链路管理

GTP系统节点之间的拓扑结构完全由用户根据传输需要灵活组织，GTP节点之间可以是树型逻辑结构、网状结构和星型结构等。

用户在使用时，只需根据自己的传输需要，在GTP节点上定义到其他GTP节点上的任务，两者之间的传输链路则由GTP自动产生并维护，用户无需要提前构建GTP节点之间的拓扑关系。

GTP的数据传输通道建立在TCP连接之上，利用TCP可靠、有序的传输服务，为用户进行消息传送。GTP对数据传输通道进行管理，为文件及控制信息的传送提供通路。GTP采用断点续传技术，以避免在网络质量下降时，数据重复发送产生雪崩效应导致的网络极度拥塞。

GTP在高速网上传输数据时，支持对网络带宽的占用进行限制，以适应用户对带宽资源进行规划使用的要求。

5. 系统特点

GTP在传输的效率、安全性、可靠性等方面都提供了相当多的技术保障机制，以适应企业级应用的需要。

作为一个运行系统，它为上层应用系统提供可靠、实时高效的文件传输服务。依靠此平台，用户不要进行任何编码，就可以轻松实现文件的各种方式传输。

东方通科技公司 10

技术白皮书

GTP的管理工具集，提供了对系统运行情况进行监控、维护的功能，同时能够根据网络资源实际情况进行合理的配置，极大的提高系统的运行效率。系统完善的日志机制对于进行故障排除和信息汇总分析也提供强大的支持。

作为一个面向企业级应用的产品， GTP具备了以下品质特性：

? 高可靠性：鉴于各种网络传输的差异性及网络环境的不确定性，在传输大容量数据

时，网络连接如果突然中断，GTP系统能够保证数据的完整性，支持断点续传和数据安全保存。

? 高效性：GTP通过各种传输优化策略保证了传输高效性，传输效率已接近FTP。

另外，为提高网络传输效率，GTP还支持压缩传输，用户可以选择将传输内容压缩发送，接收方接收到传输内容后可以根据是否为压缩方式进行自动解压。 ? 全程可见性：GTP提供可视化的监控管理工具，能够实现端到端的监控，即时掌

握文件的传输状态。

? 传输自动化：GTP可支持定时传送、按预先的设置进行重试、断点续传等等，用

户完全不需要频繁的检查传输情况，手工去重传消息。

? 安全性：通过集中的用户身份认证和权限管理，对所有节点的管理用户统一进行管

理和授权，保证系统的访问安全。GTP还提供网络节点认证、文件加密传输、日志审计等多种机制，在多个层次上保证系统的安全性。

? 可管理性：系统提供统一的图形用户界面，传输、管理、控制等都可以通过图形界

面操作完成。

? 系统易用性：用户对于系统的使用，不需要进行大量的开发工作，而只需要将通用

数据传输平台安装在需要传输的各节点上，进行少量的简单配置工作，就可以实现文件的自动发送和接收功能，非常容易使用。

6. 应用案例

本部分给出了一个应用GTP实现企业财务数据传输系统的案例。

本案例涉及的是一个在全国范围分布着三级分公司的大型企业，各下级分公司将其财务数据报送给上级公司，上级公司也会将反馈数据、分析数据等下传给各下级分公司。 应用环境特点

? 系统规模庞大，覆盖了全国300多个有财务数据传输需求的分支机构。 ? 系统内的数据非常敏感，需要有完备的安全保障机制。

? 系统内供数据传输用的计算机种类繁杂，涉及到多种Unix和Windows操作系统，

必须提供跨平台的传输服务。

? 系统的网络环境复杂，既有高速的DDN线路，也有低速的拨号网络，还有延迟较

大的卫星线路。

东方通科技公司 11

技术白皮书

系统部署

为实现上述环境下的数据传输需求，用户选择了GTP来构建全国范围的财务数据传输系统，系统部署如下图：

? 在总公司、一级分公司、二级分公司部署GTP的文件传输服务系统，向用户提供

业务机构间的双向数据传输服务

? 在总公司部署监控管理中心，对整个系统中的用户、节点及任务进行管理和监控。

图 4 企业财务数据传输系统GTP部署示意图

系统的主要优点

? 基于GTP的企业财务数据传输系统实现了复杂网络环境和多操作系统环境下的数

据传输网络构建，提供了系统所需的数据传输服务。

? 基于GTP的安全体系，在传输通道的建立、数据在网络上的传输、用户对资源的

访问等层面均提供了相应的安全管理机制，保护了用户机密数据的安全。 ? 易学易用，企业中的财务人员经过简单的培训即可以承担日常的数据传输工作。 ? 通过远程管理系统，有效解决了这样一个全国范围的大型网络的管理维护问题，降

低了系统的使用成本。

东方通科技公司 12

本文来源：https://www.bwwdw.com/article/e82v.html