模板
教程
环境
性能
功能
管理
中科大洋构建中央台节目交换缓存系统案例
前言
在节目缓存交换系统项目提出的初期，有这样一个背景。中央电视台24 套付费频道clearcase/" target="_blank" >cc">硬盘播出系统、20 套常规频道硬盘播出系统刚刚建成。如果继续以磁带为节目载体，资
|
|
这几年全国电视台都纷纷进行着有规模的网络化数字化系统的建设。中央电视台先后完成了一些在行业内具有标志地位的项目，如新闻共享系统、音像资料馆系统等等，这些系统运转正常并对电视节目的生产日益发挥出越来越重要的作用。中央电视台2005年投入建设或运行的系统又增加了经济频道综合节目制作系统、体育中心节目制作系统、硬盘播出系统，上述系统都是数字化、网络化的计算机系统。可以预见随着这些系统进入成熟运行期以及今后新技术的推广和使用，数字化的节目载体和网络化的制作环境将极大改变中央电视台现有的业务流程和节目生产的方式。计算机网络化的节目制作手段、数据化的节目载体形式以及信息化的流程管理将取代原来业务形态成为主流。
中央电视台的全台节目缓存交换系统项目正是在这样的大环境下提出的。在这样的大环境下，SATA系统的提出超越了一个自动化备播范畴，它将成为全台媒体数据的交换中心。将不同种类，不同系统结构，不同时期，不同技术水平的异构系统实现互联互通，这样的应用模式和案例无疑具有非常的现实意义和价值。
项目的工作历程回顾
2005年7月-9月 方案初步设计阶段。05年7月中央台向业内厂商发出《全台节目缓存交换系统需求书》征集方案。
大洋公司积极组织研发、产品、集成等部门技术力量从业务模型、系统架构、关键技术、集成实施等方面对系统进行了细致设计规划。在方案中针对用户的需求结合当前技术发展，我们提出了多种技术思路并对不同方案进行了详细分析比较，以便用户进行选择，在方案中首次将MD5技术引入到专业视频领域，以保证系统互联后播出的安全。
在对各家厂商提供的方案进行了详细评估后，中央台最终选择两家公司入围与中央台一起进行系统详细设计，大洋公司是入围公司之一。
2005年10月-2006年1月 系统详细设计阶段。 大洋公司与中央台一起就SATA系统涉及的节目入库业务、节目备播业务、节目出库业务、存储管理业务进行了详细设计，针对系统涉及的关键技术进行了可行性测试验证，就系统网络互连模型进行了规划。在这一阶段，大洋公司凭借认真的工作态度，严谨的工作作风，全面的技术实力获得了中央台的认可和信任，最终成为全台节目缓存交换系统的总集成开发商。
2006年2月-2006年4月 工艺实施设计阶段。 大洋公司与中央台一起对台内现有网络系统进行梳理，并根据实际情况制定了网络互连实施方案、软件实现方案，与中央台和其他配合厂商就方案进行了讨论和确认。
2006年5月-2006年7月 设备采购阶段。中央台对系统所需的硬件设备和非定制开发的软件进行招标采购，大洋公司开始开发相应的应用软件。
2006年8月－ 系统实施阶段。 该阶段完成网络系统集成，与其他系统互连集成，软件部署调优测试。
项目简要介绍
全台节目缓存交换系统的定位
SATA系统，即全台节目缓存交换系统在建设初期主要作用有两个，一个是节目备播，一是重大活动节目素材暂存。节目备播时它与网络制作系统、音像资料馆系统、节目生产管理系统、播出系统紧密联系，重大活动节目素材暂存时它与网络制作系统、体育中心制作系统、新闻共享系统发生联系。如果以全台节目缓存交换系统为中心，其他系统与之关系如下图。
由上图看出SATA系统目前是CCTV各个节目生产系统进行数字化网络化节目报播以及入库的中心，是成品节目入库的暂存库，是总编室进行节目备播的重要工具并将逐渐取代传统的磁带备播方式，同时SATA系统规划出一部分资源作为其他系统的临时存储空间的扩展。从发展的眼光看，SATA系统将成为各节目生产系统交换数据的一个枢纽。
系统的业务框架
SATA系统的业务框架设计出发点是构建一个全台互联交换平台，系统的初期建设目标也明确了首先作为播出节目缓存库使用。在业务上成为一个成品节目备播缓存库系统，主要系统实现的业务目标是承担CCTV各个网络业务制作系统生产的成品节目入库缓存，并实现全自动的播出准备工作，最终实现播出系统全程无带化。整个节目缓存库系统的业务模型主要包括：
成品节目入库业务；
播出串联单播出节目整备业务；
播出系统加载待播节目入播出系统业务；
沉淀及播后节目归档资料馆业务；
缓存库内部存储管理维护业务；
缓存库系统监控管理业务。
如下图：
上述业务模型在设计上均充分考虑了目前CCTV节目整备，播出系统以及节目生产管理系统等各方面的现状以及需求，根据业务模型设计的几个标准原则进行业务模型的规划，从设计上考虑主要有以下几个优势:
播出安全至上，在业务模型中充分考虑了播出数据的安全，在入库阶段，在调入播出系统阶段均进行摘要验证，并通过数字签名的方法实现了入库节目的高级别安全，签名无法复制，由此非常安全的确保节目数据不被破坏和替换；
考虑到系统的松散耦合和降低系统之间的交互，对于资料馆，播出和节目生产管理系统中对节目状态的维护不要求动态更新或同步，而是在需要时进行查询，虽然会造成一些查询负担，但各个系统之间没有节目状态同步的负担会使得系统的逻辑简单很多；
多次叠代，逐步更新的整备处理模式，可以分散系统的数据传输负载，并提前处理，及早发现问题；
通过整备动态监控软件的实现，虽然整个整备过程是全自动过程，但通过直观的动态界面也可以使管理维护人员一目了然；
通过建立存储区及存储策略的管理，使得系统的存储数据按照各种灵活的存储方式和存储策略进行有效管理，而且策略的设计也可以确保足够的管理灵活性；
系统机构
SATA系统的网络结构
SATA系统对外的连接相当复杂，但内部结构是相对简单的。主要是由MDS服务器,FTP服务器，存储管理服务器以及FC交换机和磁盘阵列构成，其数据库和应用服务器平台完全与节目生产管理系统共享。
SATA系统与其他系统连接
SATA系统必须适应与各种系统的连接，而且每一个系统的情况有所不同必须分别予以考虑。设计一般考虑的原则是：
安全性必须优先，包括网络安全，数据安全性，应用安全性，访问安全性等；
权衡各方面问题，考虑系统部署维护的经济性；
业务系统网络构架服从CCTV整体布局。
整体软件部署
SATA系统不是一个独立的系统，它存在的更大价值在于与其它系统互联互通，其软件系统完全遵从“高内聚，松耦合”的原则，系统内部通过应用接口以及数据库系统进行通讯，对外部系统如资料馆，新闻共享，CCTV2，CCTV5，苹果高清系统通过WEBservice方式进行通讯，而媒体数据的传输采用FTP方式。
与SATA系统互联的系统多达8个，分别是不同时代建成，服务于不同业务类型，有着不同的网络架构，不同的软件体系。在考虑系统软件的整体部署时，要优先考虑系统在功能性与非功能性方面必须满足的要求，例如，对数据库的连接是否必须是本地操作，安全性的要求级别不同，系统内某些构件必须/或不能放置在同一节点等等。为了使他们能够安全高效的连接，软件部属要求各网络系统进行逻辑分层。在SATA中主要有四层，制作外网，制作内网，资源核心层，播出系统层。不同层面具有不同的安全级别，部署不同的应用软件。与SATA系统互联的各个系统，他们在制作网层面上不进行通讯，通讯和数据传输都集中在在网络资源核心层上。
如下图：
重点与难点
全台网络系统的异构互联
SATA系统需要连接的中央台所有制作网络系统、播出系统、资料馆系统和节目生产管理系统等都已经在台里正常运行，同时这些系统采用系统架构和网路技术不尽相同且分布在全台各处，我们既要保证网络互连后数据交换的效率和安全，又要保证各系统与SATA系统连接时内部业务不能中断。这就给网络互连的设计和实施带来了困难，我们在设计中就必须要根据接入系统的实际网络情况，提供针对性方案。
根据中央台的业务网络系统现状，我们将台里网络根据不同安全级别逻辑分为了四层：
-制作外网：桌面编辑、精编、办公
-制作内网: 重要客户端、制作专用服务器、业务系统存储
-资源核心层：数据中心后台服务器、互连用的FTP服务器
-播出系统层：播出系统
其中前三层网络可能体现于广经、体育、新闻共享、资料馆等系统的网络部署中，考虑电视台播出业务的特殊性，我们将播出系统安全级别定为最高，原则上它不应与其它业务系统直接连接。
网络连接按层次化设计，SATA缓存系统安全级别应属于资源核心层，在设计网络连接时为保证安全，应与其它系统相应的资源核心层连接，实现视音频节目的传输。SATA缓存系统与播出系统网络连接时要尽量保证隔离广经、体育、资料馆等系统的访问；
SATA系统需要与其他系统互连的主要有两类设备：1 FTP服务器及客户端用于视音频节目文件交换；2 各系统的WEB服务器用于元数据和通讯信息的交换。每个业务系统连接情况如下：
网络互连方式1－交换机连接
中央台经济频道网络系统由大洋公司建设采用单千兆以太网结构，系统分为制作外网和制作内网。经济频道网络主要分为制作外网核心（4506）和制作内网核心（6509）两层，制作外网核心主要连接经济频道各编辑站点，制作内网核心主要连接数据库服务器、应用服务器、转码打包服务器等后台资源，考虑两层网络的不同安全级别，两层网络之间的通讯配置防火墙进行安全隔离。
由于SATA缓存系统与经济频道的节目交换主要是后台是设备之间的数据交换，不涉及前台编辑站点。因此我们设计SATA系统网络的交换机只与经济频道的制作内网交换机连接，这样既能保证网络传输性能，又能隔离广经桌面站点对SATA缓存系统的访问以确保安全（见下图）。
为了向SATA系统配置输出待播节目，经济频道配置FTP客户端来访问SATA缓存系统的FTP服务器，经济频道的FTP客户端也连接在制作内网核心交换机上，同时也要访问经济频道的GPFS存储服务节点。广经部署Webservice服务以实现和SATA缓存系统的元数据、管理数据通讯，Webservice服务部署在经济频道现有应用服务器上。
网络互连方式2－网关方式（涉及）
中央台的资料馆、新闻共享、高清制作等系统是典型的FC+以太网架构，这些系统建设时间较早，没有象经济频道制作系统那样将网络分为内网和外网并进行安全隔离，因此为保证SATA缓存系统只与后台设备连接，隔离桌面站点的访问，我们。采用网关方式见下图：
每个系统有两个对外网络出口，分别为FTP客户端和WEB应用服务器。FTP客户端配置双千兆以太网卡，一边连接SATA系统交换机，一边连接业务网络内部交换机访问X-SAN存储，FTP客户端将通过此连接完成播出节目（MXF）文件的上传。用于元数据通讯的Webservice服务，可以部署在高清制作网现有的WEB服务器上，也是双网卡配置跨接SATA系统交换机和高清内部网络，实现各种webservice应用。
另外为保证播出安全，播出系统只与SATA系统连接并采用网关方式，见下图：
SATA系统为播出的节目读取配置专用FTP服务器，播出系统配置FTP客户端配置双千兆网卡一边连接SATA系统的以太交换机，一边连接播出系统的内部交换机，使播出读取SATA缓存系统中的节目文件写入播出系统。播出系统的Webservice服务可以部署在中间服务器上，中间服务器也配置双千兆网卡一边连接SATA系统的FTP服务器，一边连接播出系统的内部交换机，实现与SATA系统的元数据通讯。
有效的文件安全效验机制
SATA系统建设完成后，中央电视台将打破各个业务系统信息孤岛式的工作模式，实现基于数字化文件的信息和节目交换。在带来自动化、高效率的同时，也给业务管理提出了一系列难题，其中视音频数据的安全是比较重要的一个。目前电视台各个业务系统是采用磁带方式交换节目，虽然效率低，但在播出上载时也能对节目内容进行最后的把关，防止问题节目播出。另外，磁带交换是人与人直接交易，容易做到责任“追溯”。
采用文件传递后，没有的播出磁带上载环节，如果节目文件在传输过程中被非法改动，播出很难发现。
在实现基于网络及共享存储的互连后， SATA系统做为播出级的节目存储库，必然需要采用一些措施，提高节目文件传输安全级别。通过对目前安全技术的考察和分析，我们在SATA交换系统中使用MD5来改善视音频业务系统间文件传输的安全状况。
节目文件传输时在源系统利用MD5算法对节目文件生成验证码A，文件传输到目标系统后，再将验证码传给目标系统。目标系统利用接收的节目文件和MD5算法重新生成验证码B,比较验证码A与验证码B如果完全相同说明接收节目文件就是源系统的文件；如果不同说明接收的文件不是源系统实际传输的文件，需要进行处理审核。
在SATA缓存系统里使用MD5验证后，为保证视音频数据的安全提供了有效手段，基本上实现了以下重要功能：
视音频内容不被篡改；
防止节目不被他人替换；
签名本身不被替换；
节目提交人责任可追溯；
另外，生成MD5验证码增加了节目交换的处理环节，为提高效率，我们设计在文件传输过程中实现MD5计算，基本消除了MD5验证码生成的等待时间。
媒体数据传输
媒体数据非常庞大，需要安全，可靠，稳定以及高性能的传输方式。在业内一般有两类方式，一类是FTP方式（SATA最终采用方式），另一类是文件共享方式，其中文件共享还可以分为基于LAN的共享和基于SAN的共享。
LAN方式
采用LAN共享方案时，两个系统间只需要建立以太网的连接，配置复杂性比起SAN共享方式大幅度降低，而且由于NFS是Unix/Linux操作系统默认安装的网络文件系统，CIFS是Windows操作系统默认安装的网络文件系统，在客户端无需额外的软件安装配置工作，不会存在兼容性问题。
使用LAN共享方式的主要问题在于效率较低，无论是NFS协议还是CIFS协议，设计时都没有充分考虑性能问题，在文件传输过程中夹杂了大量的冗余控制和校验信息，这即降低了数据传输速度又加大了文件服务器CPU的负荷。通常受到文件服务器处理能力的限制，这种基于LAN上文件共享的单任务数据迁移带宽只能达到30—40MB/s。而且由于在这种方式下，其他系统的应用程序可以像在本地磁盘一样直接打开共享卷中的文件进行各种操作，存在一定的数据安全性隐患，共享卷中的文件有可能被非法修改或删除。
因此，LAN共享方式虽然具有通用性好和配置简单的优点，但其在安全性上和性能上也存在比较明显的缺陷。全台系统中每天有几十小时的媒体文件交换量对性能有很高的要求，同时也必须充分保证存储文件的数据安全。因此，LAN共享方式应用在SATA系统中,存在性能和安全性不足的问题。
SAN方式
SAN共享方式实际上是通过FC路由器将各子网的SAN存储架构打通，实现多个局部SAN的互联和访问。
通过FC路由器的相关配置来实现各个SAN的完全独立，并且相互之前的零干扰，同时，针对数据处理中心则要求能够畅通无阻的对各个SAN进行读写访问，但依然不能由于数据处理中心的故障而干扰各个独立的SAN系统。理论上，上述的配置是可以做到的。
SAN共享模式在效率上以及软件的开发方便性上都是最佳方案，但这种系统有几个致命弱点：
总体成本较高，而且对连入系统的各个业务系统也要求较高
SAN共享软件兼容性差，采用不同的SAN共享文件是否能够通过FC路由进行SAN互联不能确认，如果新闻采用ImageSAN、媒资采用SANergy，两系统通过FC实现互联无法保证。
网络配置复杂。为实现SAN共享方式的文件传输，必须将多个SAN中的FC交换机级联到一起。同时由于绝大多数SAN共享软件都是通过以太网传输控制信令，多个系统的以太网也必须保持连通。这样势必导致FC Fabric和以太网规模的大幅度增长，系统配置的复杂度增加。并且当系统发生故障时，由于规模庞大，结构复杂，将很难迅速定位并解决问题。
系统的安全性较差，由于完全是共享访问方式，因此数据的安全访问控制很难做到，从目前的实际案例已经证明，互连得过于通畅后，数据存在很大的操作风险。
对于系统的角度来说，各个SAN打通后，想完全的隔离几乎是不可能的。根据以往的经验，有些在FC系统中的IP包简单的通过ZONE的划分是无法隔离的，因此当如此大规模的将各个SAN连通起来，一旦出现某些非法或异常，是否会大面积扩散都无法确认，因此系统的崩塌风险也是比较大的，这点对于真正的企业级应用绝对无法容忍。因此采用SAN共享方式具有高风险以及高成本的问题。
全台节目缓存交换系统采用FTP作为与各个系统进行媒体数据传输的方式。其理由是：
FTP是使用最为广泛的一种通讯协议，在WINDOWS、LINUX、UNIX等各种操作系统中都有许多FTP的应用程序可以使用，多种操作系统并存是CCTV目前和今后不可回避的现实，因此FTP非常适应全台节目缓存交换系统与其他系统进行数据传输。
FTP可以很安全。FTP是采用客户机/服务器方式。使用方法很简单，启动FTP客户端程序先与远程主机建立连接，然后向远程主机发出传输命令，远程主机在收到命令后就给予响应，并执行正确的命令。FTP有一个根本的限制，那就是如果用户未被某一FTP主机授权，就不能访问该主机，实际上是用户不能远程登录（Remote Login）进入该主机。也就是说，如果用户在某个主机上没有注册获得授权，没有用户名和口令，就不能与该主机进行文件的传输，这同文件共享传输方式相比具有更高的访问安全。FTP另外提供的Anonymous FTP(匿名FTP)访问机制则取消了这种限制。由于支持授权访问机制，FTP传输具有较好的访问安全性。
FTP建立在传输层TCP协议之上，TCP是面向连接的协议，负责保证数据从源计算机到目的计算机的传输。TCP采用校验、确认接收和超时重传等一系列措施提供可靠的传输，所以在传输过程中FTP程序如果没有提示错误，就无需担心传输可靠性问题。
FTP的效率很高，消耗CPU资源少。FTP传输我们经过实际测试，基于GE的FTP传输采用二（FTP客户端）对一（FTP服务器）连接可以达到60-70MB/s，每个Ftp传输链路达到30-35MB/S，50m码率的节目可以实现5-6倍速传输，应该说带宽还是比较高的。
SAN文件系统
众所周知，在广电行业使用最广泛和成熟的SAN文件系统是IBM Tivoli的SANergyFS。他可以提供SAN环境下的文件共享，使我们在构架视频编辑网络时，既可以得到FC的高速度，又可以如局域网一样简单方便。这几年随着视音频网络规模的增大，用户使用要求的提高，以及高清等新技术的采用，SANergyFS的弊病也凸现出来。而一些新的SAN文件系统涌现有效的弥补了这些弊病带来的问题，其中ADIC公司的产品StorNext FS就是其中之一。
中央电视台的全台节目缓存交换系统最终采用了StorNext FS。采用StorNext FS作为SAN文件系统的解决方案，绝不是单纯为了追求新技术，是由全台节目缓存交换系统的使用要求和环境决定的。
首先，从SATA系统的存储容量上看有足足80TB之多，除去效验和备份盘的容量也有70多TB。SANergyFS不是一个独立的文件系统，它基于现有文件系统处理硬件，比如Windows的NTFS,对于NTFS而言SANergyFS也有限制，必须使用NTFS的基本卷，而NTFS基本卷最大只能是2TB，SATA系统70多TB存储空间，就需要建立35个以上的NTFS基本卷，不仅管理麻烦，连26个英文字母也不够使用（为了使基本卷可见，格式化之后需要分配一个驱动器号），而采用其他文件系统（如IBM的JFS2等），必然连带操作系统和硬件平台问题使系统成本和集成难度提高。StorNext FS是ADIC自己开发真正的64位日志型文件系统，早已突破2TB的局限，可以保证管理巨大的磁盘空间和文件数量。
其次，SATA系统的存储设备是两台IBM DS4800,采用SATA磁盘，为了发挥出最大磁盘性能，在配置时需要捆绑多个DS4800提供的LUN(磁盘阵列系统对外提供逻辑分区)是他们能够并发的提供带宽性能。SANergy由于依赖NTFS，不能在多个磁盘LUN建立文件系统，使SANergy建立的文件系统不能整合多个LUN带宽，从而表现的带宽比较低。StorNext FS具有自己的磁盘逻辑卷管理功能，可以优化组合SAN中的磁盘资源，并且可以对SAN网络链路进行多通道并发处理、保证带宽质量和实现负载均衡，从而充分发挥SAN体系结构的优势。
再次， 从输出能力和接入能力看。StorNext FS是独立的文件系统，不依赖操作系统，可以支持各种操作系统的接入。SATA系统今后有着接入多种操作系统的需求（如苹果的 OS等），StorNext FS提供了这种可能。由于StorNext FS是独立的文件系统，所有主机以本地文件系统的方式安装（Windows环境中就是一个本地盘符），所有应用软件都可以以本地磁盘和文件系统方式处理StorNext FS中的数据。具体的应用是所有主机都可以采用任何协议在为LAN中主机共享StorNext FS文件系统中的数据，而SANergy只有MDC可以做到， StorNext FS使系统的文件共享输出能力大大提高。SATA系统最终采用FTP的方式提供对外文件输出。由于使用StorNext FS采用NFS共享文件的方式提供对外文件输出也完全可行，不过前文提到过这种方式性能要低一些。
最后，SATA系统处于CCTV今后节目备播以及节目交换的枢纽位置，其安全性，强壮性以及抗病毒能力非常重要。采用StorNext FS ，MDC主机可以在任意平台中实现Failover（UNIX、Windows、Linux），SANergy MDC只有在Windows环境下才可以实现双机切换。StorNext FS采用不是通用的文件系统（如NTFS、UFS、EXT2），以及StorNext FS的MDC支持多种非Windows的操作系统，这些都使系统不容易受到病毒攻击。
总结
目前与全台节目缓存交换系统互联的系统有大洋公司完成的央视的音像资料馆系统和经济频道制作系统，索贝公司承建的新闻共享系统，体育频道的制作系统以及播出系统，捷成公司的苹果高清制作系统，AVID的后期包装系统以及长天公司承接的节目生产管理系统。涉及到央视的媒资，后期制作，新闻，播出以及节目管理业务。这些系统分别采用了IBM的SANergy，ADIC的SNFS，苹果的XSAN，AVID的UNITY，IBM的GPFS作为网络文件共享的解决方案。可以说SATA系统是目前行业内最为复杂，技术含量最高，规模最大，涉及接入系统最多的互联互通项目，他提出的Webservice + FTP的连接方案为异构系统互联提供了标准的，开放性的，多方共赢的模式，完全符合目前许多电视台的现实和实际需要。
全台节目缓存交换系统的提出同时还解决了电视台数字化，自动化节目备播和入库的问题，并开创了新的思路。不远的将来，CCTV的全台节目缓存交换系统以及节目生产管理系统，将逐渐实现对节目的“生命周期管理”，帮助各种应用系统良好的协同工作，掌握和控制节目数据的状态，提高央视节目生产管理的能力和水平。
