1、朝阳区教育“校校通”工程深化设计方案（网络中心）v3.10(三层)目 录一.网络中心深化设计31.业务网深化设计方案31.1业务网应用需求分析31.2业务流量需求分析31.3分层的网络设计方案51.4网络拓扑结构图91.5原有设备的利旧101.6原有网络的割接121.7IP地址路由规划深化设计121.8交换设备以及计算机系统时间同步142.安全系统深化设计方案152.1安全系统需求分析152.2防火墙系统深化设计162.3网络入侵检测系统深化设计172.4网络漏洞扫描系统深化设计182.5网络防病毒系统深化设计182.6朝阳区教育信息网网络安全拓扑图193.服务器存储系统的深化设计203.1需2、求分析203.2服务器的安装与功能分配213.3服务器集群的配置253.4存储系统的深化设计523.5数据备份系统的安装与配置543.6服务器存储系统结构拓扑图55一. 网络中心深化设计1. 业务网深化设计方案1.1 业务网应用需求分析根据朝阳区教育“校校通”工程建设的总体规划，建成后的朝阳区教育信息网是一个覆盖全区所有教育单位的，能够实现全区资源共享、互连互通的网络，该网络的基础是一个利用光纤搭建的基于SDH技术的多业务传送平台（MSTP），我们将其称之为底层传送网或者简称为传送网。而业务网（IP网）是承载于传送网基础之上的数据网络，因此业务网的建设与传送网的业务走向和网络结构有密切的关系。3、在传送网的建设规划中，以教委信息中心为全部网络的业务发起和终结主节点，传送网的骨干层有五个核心节点，利用10G带宽的链路构建核心主干网络，全部的业务在教委信息中心落地。所以在业务网的建设中网络中心就设置在教委的信息中心，这样教委的信息中心便要承担整个朝阳教育信息网的数据分析、业务处理和安全防护的重担。兼具传送网的骨干层核心节点和业务网网络中心为一身的教委信息中心注定成为本次业务网建设中的重中之重。1.2 业务流量需求分析我们根据以往校园网建设经验，并结合本工程的具体需求首先对朝阳教育信息网业务网的流量需求作如下分析。朝阳教育信息网业务流量主要分为两个方面：一方面为网络内部的FTP服务、VOD视4、频点播、视频会议、资源库调用、远程教学、内部监控、内部公文传递等业务应用，这是相对主要的业务流量。另一方面，Internet互联网出口的浏览查询应用，与市教育信息网内网和区信息平台的公文传递、资源调用等应用，这是相对次要的业务流量。1.2.1 外网流量需求分析针对上述需求，我们首先分析处于次要地位的互联网浏览、上传下载数据以及电子邮件等业务的流量。建设Internet出口目的是为网络用户提供必要的互联网浏览和查询功能，出现大容量的数据上传、下载的机会相对较少，因此根据以往的经验，通过200M带宽的链路连接Internet就可以满足需要。朝阳教委与区政府的公共信息平台之间的流量主要是些日常的公文5、传递，不会占用大量的带宽，所以在区公共信息平台出口上的流量也不会太大，而与市教育信息网内网的数据流量主要是些资源的调用，这部分流量的带宽由市教育信息网统一安排。1.2.2 内网流量需求分析目前朝阳区教育信息网上的应用大致分为：网站发布、社会教育、学校及学生家长沟通、FTP服务、系统内部的电子邮件、教育管理信息库CMIS、网络视频会议、网络视频教学系统、IP电话应用（VOIP）、视频点播、资源库调用等，我们对以上流量进行分析，将这些流量按照学校通过教委网络中心的流量、学校之间直接流量来分类。现有的应用中，以一个标准学校为例，将每个应用的流量走向情况分析如下：现有应用通过教委的流量学校之间流量网站6、发布/社会教育及学校及学生家长沟通流量大流量较小教委FTP服务流量大无系统内部的电子邮件流量大流量较小学校的FTP服务无流量大教育管理信息库CMIS流量大流量较小网络视频会议系统流量大流量大分校与主校之间交流无流量较大视频点播系统流量大流量较小IP电话系统流量大流量大学校的资源库应用系统无流量大教委的资源库应用系统流量大无从上表分析，我们可以看出在朝阳区教育信息网中，对于目前网络而言，大部分的数据流量都是由学校到教委之间的流量，学校与学校之间的流量相对较少，然而随着网络规模的扩大，各种应用的深入。学校与学校之间的业务流量将近一步增大，所以在业务网络的设计中在考虑网络中心设备的高硬件性能、高可靠7、性的同时必须兼顾今后网络的可扩展性需求。1.3 分层的网络设计方案根据以上对业务网的需求的分析，并依据高可靠性、高实用性、高可扩展性、高安全性等网络设计原则。我们将朝阳区的业务网设计为典型的三层网络拓扑结构，既将业务网分为核心层、汇聚层、和接入层。其中核心层的主要功能是实现数据的高速交换和转发,其选型和设计任务的重点是设备的冗余能力、链路可靠性和高速的交换能力。汇聚层的主要任务是提供对核心层设备的访问，汇总接入层的数据，并负责选择到不同目的地的最佳路径，利用汇聚层设备的路由功能可以将那些学校之间的数据流量直接转发，不必再经由核心层设备处理从而大大减轻了核心层设备的压力。其设计的重点是设备的高密8、度接入能力和强大的二、三层交换、路由处理能力。由于本次工程中所有数据业务都要经由教委信息中心落地，所以我们将把汇聚层设备和核心层设备都部署在教委的信息中心，信息中心就成为业务网的网络中心。接入层就是具体接入学校，设备的选择主要考虑交换机支持的 802.1Q VLAN数量，以及端口的转发能力。业务网的建设，分为出口网络、核心网络、汇聚网络、接入网络。其中核心网络又包括主核心交换区块、关键应用服务器网络区块、大流量数据应用服务器区块、网管网络区块等。1.3.1 出口网络设计根据用户需求，朝阳区教育信息网的出口设计为两部分，一部分指的是上连到北京市教育信息网（内网）和通过北京教育信息网上连到国际互联9、网（Internet），另一部分是指连接到朝阳区政府公用信息平台。即朝阳区教育信息网有三个出口，分别为：1、 北京市教育信息网（内网）2、 通过北京教育信息网上连到国际互联网（Internet）3、 朝阳区政府公用信息平台主要出口为北京市教育信息网（内网）和Internet，辅助和备份出口为朝阳区政府公用信息平台出口（即连接到朝阳区信息办的链路）。三个出口均连接到出口网络中的利旧设备Cisco4003交换机上（网络割接之前可用性能相近交换机替代）。具体出口连接建议说明如下：一、 北京市教育信息网出口（内网，Internet）1、朝阳区教育信息网到北京市教育信息网的出口为两条千兆物理链路，市教委10、会放置两台设备在朝阳信息中心：Cisco 7609Sup720Cisco Catalyst 4506 Sup V 。朝阳上连的设备为Cisco7609 Sup720，具体端口1000Base-SX和1000Base-T都可以，有2个。2、建议到北京市教育信息网内网的流量和Internet出口流量的线路分开连接，即：一个端口为北京市教育信息网（内网）端口，另一个端口为Internet出口端口，Internet流量的质量根据朝阳教育信息网的需求，由市教委统一的带宽管理设备进行管理，从而保证朝阳区的Internet带宽需求。这样一来对于朝阳教育信息网来说可以很好的区分到北京市教育信息网内网的流量和I11、nternet（其他外网）的流量，从而更加便于对业务流量的分类和监管。3、由于朝阳教育信息网所用的IP地址为市教育信息网分配的合法IP，所以朝阳教育信息网到北京市教育信息网（内网，Internet）的两条千兆链路不需要进行NAT。但为保证朝阳教育信息网内部安全，建议在到北京市教育信息网（内网，Internet）的两条千兆出口链路上分别放置两台Quidway Secpath1000F千兆防火墙，对朝阳教育信息网内网进行保护。二、 朝阳区政府公用信息平台从朝阳信息中心的传输网设备OpCity8930上下业务，即传输网设备与出口交换机Cisco4003相连，为了安全保证，在传输设备与Cisco40012、3之间放置专用NAT（MA5200）设备及千兆防火墙。1.3.2 核心网络设计主核心交换区块：由两台核心交换机S8512组成，两台核心路由交换机之间通过link-aggregation（端口聚合）技术绑定两条10G链路，从而构建了双万兆带宽网络核心交换平台。两台核心交换机分别以两条双千兆绑定链路与汇聚层设备Cisco6506相连。两台主核心交换机负责整个业务网的数据交换工作，为了保障网络中心核心设备的正常运行，我们将通过主核心设备双机冗余，主要路由交换板卡、电源均采用冗余备份的方式配置，以提高设备的可靠性。在两台核心路由交换机上运行VRRP虚拟路由协议，当任何一台核心路由交换机发生故障时，另一13、台核心路由交换机立即接管所有的工作。VRRP协议是一种热备份路由协议，应用于双机热备，其工作原理为：VRRP协议将系统中两台路由交换机组成VRRP组，该组拥有一个虚拟缺省网关地址。在任何时刻，一个组内只有控制虚拟网关地址的路由交换机是活动的（master），并由它来转发数据包，如果活动路由交换机发生了故障，将选择另一个优先权较低的冗余备份路由交换机（backup）来替代活动路由交换机。由于网络内的终端配置的是VRRP虚拟网关地址，因此在它们看来，虚拟路由交换机没有改变。所以主机仍然保持连接，没有受到网络中单点故障的影响，这样就较好地解决了路由交换机切换的问题。提高了核心交换区块的可靠性。关键应14、用服务器区块：主要由SAN网络存储系统备份系统和服务器集群系统组成，在原投标方案中我们建议利用教委已有的CISCO6509充当该区块的主交换机，由于该CISCO6509现正在负责原有网络的连接任务，所以在工程实施过程中可以租用或借用其他同级别的交换机代替。关键应用服务器区块通过本区块的主交换机利用两条千兆链路上连主核心交换区块，以起到链路冗余备份和负载分担的功能，提高网络的可靠性。该区块的功能和配置将在服务器存储设备的实施章节有详细描述。网管网络区块：主要负责整个网络的管理和监护，它采用带外管理与带内管理混合的模式，通常带内管理组网比较简单、灵活，但却要占用承载业务流量的带宽。带外管理不占用承15、载业务的带宽，网管网络和其他网络设备之间独立成网，该区块的主交换机由利旧的CISCO4006担当，（因为同样的原因该交换机正在使用中，所以也必须考虑替代问题。）而主要网管软件采用华为3COM的iManager Quidview网管系统进行网络管理，对于网络中心的其他网管子系统如：传输设备管理、网络设备管理、数字同步网管理、入侵检测子系统、网络防病毒子系统、漏洞扫描子系统、时间同步子系统等，分别采用其各自的管理软件进行全网相应的管理。非华为公司的设备如CISCO6509等设备可由CISCO自带的Works2000网管软件管理，对于整个业务网的状态监控、流量分析可采用一些不区分设备类型的基础网管软16、件，如Sniffer等来监控。网管系统中的网络设备管理子系统将实时监控整个网络中心的设备以及网络状况，可在第一时间检测到故障。并发出报警讯息，便于网管人员快速准确的排除故障。大流量应用服务器负责提供应用教学资源，该区块由若干服务器集群组成，这些服务器集群分别通过两条千兆光纤或者电口链路直接与核心交换机相连。以起到链路冗余备份的功能提高网络的可靠性。1.3.3 汇聚网络设计将两台利旧的CISCO6506交换机配置在网络中心的核心层与接入层之间充当汇聚层设备，利用其高密度的千兆光纤接口连接由底层传送设备下来的20个GE端口，两台Cisco6506之间采用双千兆链路绑定的方式配置成带宽达到2G的链路17、，每台cisco6506通过两条双千兆绑定链路分别以UPLINK方式上连两台核心交换机8512，这样在核心层与汇聚层之间形成总带宽达到8G的交换链路，以进一步提高网络的性能和增加网络的可靠性，同时满足由接入层访问数据中心的总带宽不得小于6Gbps的招标要求。Cisco 6506交换机主要用于将接入层的数据进行汇聚并负责分发，或是上传到核心层中或是转发到其他接入层站点，以起到承上启下的数据传输作用和路由分发功能。因此它不但要提供高密度高带宽的接口，还要具备高性能的多层交换能力，能够将一些不需要访问核心层的数据流量通过汇聚层设备转发，这样既提高了网络的效能，又减轻了对核心层网络设备的压力。但由此对18、Cisco 6506交换机的要求将大幅提升，原有的低速引擎已经不能满足新的性能需求，必须对其进行升级改造。 汇聚层交换设备与传送网的MSTP设备相连，担负着传送网上的数据业务落地的重任。该区块主要设备为传送网的MSTP设备OPCITY 8930，它通过20条千兆光纤链路分别与两台汇聚交换机相连。根据交流，甲方提出要在学校上连教委信息中心的网络带宽中预留2M的安全监控端口，和10M的考试监控端口以及相应的视频带宽，这些需要在传送网技术方面做相应的时隙划分、和端口预留等工作我们将在传送网深化设计方案中给予具体描述。1.3.4 接入网络设计接入层交换机可根据校园网建设的实际情况分为三层交换机和二层交19、换机，对于有三层交换机的学校可以根据学校的应用情况启动三层路由功能，将网络风暴控制在学校内部，而通过静态路由的方式访问核心层，对于拥有二层交换机的学校，据我们调研学校并不多，可考虑更换三层设备作为接入交换机，或者每个学校作为一个VLAN通过默认网关访问核心层。1.4 网络拓扑结构图(注：本网络拓扑图仅为结构示意图，具体设备和连接方式以实际情况为准。)1.5 原有设备的利旧根据客户要求对原有设备进行利旧，我们在网络中心业务网的深化设计方案中已经对利旧设备的用途做了详细描述，现就这些设备的现状和需要升级或者添加的功能模块做一下说明。朝阳区现有可利旧的设备包括一台思科6509，两台思科6506和一些20、思科4000系列的三层交换机。下表是主要可利旧设备的清单目前主要可利旧设备清单型号描述数量信息中心核心节点交换机WS-C6509-1300AC=Catalyst 6509 Chassis w/ 1300W AC Power Supply1WS-X6K-S2Catalyst 6500 Supervisor Engine-2, 2GE1WS-X6408A-GBICCatalyst 6000 8-port GE, Enhanced QoS (Req. GBICs)2WS-G54861000BASE-LX/LH long haul GBIC (singlemode or multimode)6WS-G21、5484=1000BASE-SX 6朝阳教委核心节点交换机WS-C6506-1000AC=Catalyst 6506 Chassis w/ 1000W AC Power Supply1WS-X6K-S2Catalyst 6500 Supervisor Engine-2, 2GE1WS-X6408A-GBICCatalyst 6000 8-port GE, Enhanced QoS (Req. GBICs)2WS-G54871000Base-ZX extended reach GBIC(singlemode)1WS-G54861000BASE-LX/LH long haul GBIC (sing22、lemode or multimode)7WS-G5484=1000BASE-SX 1广播局核心节点交换机WS-C6506-1000AC=Catalyst 6506 Chassis w/ 1000W AC Power Supply1WS-X6K-S2Catalyst 6500 Supervisor Engine-2, 2GE1WS-X6408A-GBICCatalyst 6000 8-port GE, Enhanced QoS (Req. GBICs)1WS-G54871000Base-ZX extended reach GBIC(singlemode)2WS-G54861000BASE-LX23、/LH long haul GBIC (singlemode or multimode)6WS-G5484=1000BASE-SX 0在深化设计方案中思科6509用来连接关键服务器区的20台应用服务器，所以至少需要20个GE端口，而目前6509只有16个GE端口，所以需要增加一块8个GE端口的板卡。两台6506用作汇聚层交换机，分别连接由骨干传输设备下来的20个GE端口，同时分别利用两条双千兆链路上连核心交换机。而现在两台6506上只有24个GE端口，因此也需要增加三块8GE端口的板卡。另外一个需要注意的问题是三台思科设备的引擎都是低速的引擎，而作为汇聚层设备高速的交换能力是主要的选型指标之一24、，因此建议将两台6506的交换引擎升级增加交换矩阵模块，该交换矩阵模块将使6506的交换能力达到256G，可以满足高速数据交换的要求。下面是需要升级和增加的模块一览表：需升级和增加的模块清单型号描述数量信息中心核心节点交换机WS-X6500-SFM2Catalyst 6500 Switch Fabric Module 21WS-X6408A-GBICCatalyst 6000 8-port GE, Enhanced QoS (Req. GBICs)1WS-G5484=1000BASE-SX 12朝阳教委核心节点交换机WS-X6500-SFM2Catalyst 6500 Switch Fabri25、c Module 21MEM-MSFC2-128MBCatalyst 6000 MSFC-2 Mem, 128MB DRAM Option1WS-C3512-XL-ENCatalyst 3512 XL Enterprise Edition1WS-X6408A-GBICCatalyst 6000 8-port GE, Enhanced QoS (Req. GBICs)1WS-G5484=1000BASE-SX 16广播局核心节点交换机WS-X6500-SFM2Catalyst 6500 Switch Fabric Module 21WS-X6408A-GBICCatalyst 6000 8-po26、rt GE, Enhanced QoS (Req. GBICs)2WS-G5484=1000BASE-SX 161.6 原有网络的割接教委信息中心正在负责30余所学校的Internet接入工作，在本次工程的施工过程中要求这30余所学校的网络不得中断，因此负责该30余所学校网络连通的设备如CISCO6509等交换机不能另做他用，只有当工程竣工以后，网络试运行正常时，才能将原有的网络割接到现有网络中。在这个过程中只有通过借用或者租用其他同档次的交换机替代的方式来解决问题。在本次工程中这些学校都是区域网络中的一个节点，所以在施工过程中对这些学校按原计划铺设光纤配置传输设备，不会影响到学校网络的正常连27、通。待割接完毕后将空闲下来的交换设备按设计方案应用到业务网络中去。这样即保证原有的网络不会中断，又最大限度的保护了前期投资节约了成本。关于朝阳教委新址的网络接入问题，为了保证在施工过程中朝阳教委所带的网络不致中断，待朝阳教委移至新址后，优先铺设一条光纤连接到教委信息中心的核心交换机上，当工程完工后朝阳教委所带的10于所学校通过传送网的透传直接连到信息中心，而朝阳教委到信息中心的光纤则予以保留。1.7 IP地址路由规划深化设计1.7.1 IP深化设计朝阳教育信息网所使用的IP地址由北京市教育信息网统一进行分配，根据目前确定的分配给朝阳教育信息网的IP地址，我们在深化设计中给出如下设计：北京市教育28、信息网分配给朝阳教育信息网的IP地址全部为合法IP，共1个半的B类地址。在此种情况下，朝阳教育信息网内的所有单位均使用真实IP。包括朝阳教育信息中心，朝阳教委新办公网及所有接入学校，每台上网的设备均使用真实IP，使得所有的连网设备都具有可溯性。在此种情况，我们设计IP地址的使用情况大致如下：1、接入学校约为240所，每个学校根据信息点数和电脑数量的不同分别可分配1-3个C类的地址。点数少的学校可把一个C类地址分成多个子网给多个学校，点数及上网电脑多的学校可分配多个C类地址，这样平均下来，我们预计绝大多数学校使用一个C类地址（254个可用地址）即够用。2、根据用户需求，建议分配给每个学校的地址段29、中拿出2-5个地址作为学校可对外发布的地址（大校前5个可用IP地址，普通学校前2个可用IP地址）。学校的发布地址由中心统一管理，学校在需要的时候上报信息中心开通。学校的其他IP地址由中心作策略一律不允许对外发布。3、信息中心预留10个C类地址（包括办公及各类服务器，所有的服务器均使用真实IP，无须再做NAT）。4、朝阳教委预留4个C类地址（局机关办公网络）。以上的IP地址分配方式大致只用了1个完整的B类地址，还有半个B类地址可用，可以根据实际情况再进行分配。有关“合法IP地址的问题”市教委信息中心会召开会议或者通知方式进行说明。现在可以确定的是，经过合理的IP地址规划，即保证每台接入网络的计算30、机都有合法IP地址 ，又保证IP地址的使用有效性，不闲置不浪费。朝阳区教育信息网到市教育信息网络（内网，Internet）的出口不需要进行NAT，但到朝阳区政府公用信息平台（朝阳区信息办）需要NAT转换。1.7.2 路由规划建成后的朝阳教育信息网的业务流量包括学校间的流量和从学校到信息中心的流量，业务流量将在信息中心落地和进行路由交换。鉴于这一典型的业务集中式网络，每个接入单位（学校）都有三层交换设备，因此可以将广播域控制在接入单位内部，为每个接入单位分配连续的地址网段，以静态路由的方式指向网络中心的汇聚层设备。信息中心的汇聚层设备和核心交换设备之间启用OSPF动态路由协议，构成骨干区域are31、a 0，负责所有的路由转发工作，这样既可保证学校IP地址的相对固定和信息中心IP地址使用的灵活性又可实现路由的快速收敛。网络中心三个出口的路由可采用缺省静态路由指向，或根据对端接入要求采用动态路由协议。1.8 交换设备以及计算机系统时间同步华为的SYNLOCK V3 BITS设备提供时间输出接口，该接口为标准的以太网接口，因此我们将其作为此次时间同步方案的一级时间服务器。在网管网络中设置一台服务器，作为网络中心的二级时间服务器，该服务器配置两块网卡，通过两条链路分别连接一级时间服务器SYNLOCK V3的时间输出接口，和网管网络交换机，为该二级时间服务器设定相应的IP地址，网络中心的核心骨干交32、换机S8512和其他利旧的思科交换机都支持时间同步协议NTP，因此利用以太网络，只要可以访问二级时间服务器的IP地址，即可以得到时间同步信息，并将其传送到其他网络设备和计算机系统中。网络中心内所有的工作站、服务器等计算机系统可以大致按操作系统分为UNIX、LINUX操作系统，WINDOWS操作系统，对于UNIX和LINUX操作系统本身支持NTP协议，可以直接通过IP地址访问时间服务器获得时间同步，而对于WINDOWS系统尤其是WINDOWS 2000 和WINDOWS XP操作系统不提供NTP服务，因此必须配备相应的NTP客户端软件来同时间服务器进行时间同步。2. 安全系统深化设计方案2.1 33、安全系统需求分析朝阳区教育信息网按功能和防护区域可划分为：外网和内网。我们按照不同区域的安全等级，以及安全特性来规划不同的安全防范措施。n 外网所谓外网，我们将其分为两部分，一部分指的是上连到北京市教育信息网（内网）和通过北京教育信息网上连到国际互联网（Internet），另一部分是指连接到朝阳区政府公用信息平台。出口均设在朝阳教育信息网的出口网络中的Cisco4003上。出口网络是朝阳教育信息网同外部网络的唯一接口，与北京市教育信息网是双千兆链路连接，一路接北京市教育信息网（内网），一路通过北京教育信息网上连到国际互联网（Internet）。为保证朝阳内部网络的安全，建议在这两条千兆链路上分34、别采用两台千兆防火墙，作为朝阳教育信息网的对外安全防护。在到朝阳区政府公用信息平台的出口链路上部署专用NAT设备和千兆级防火墙来提供地址转换和安全机制。同时在出口网络与核心网络的双千兆链路上配备入侵检测设备对所有进出朝阳教育信息网的数据信息进行甄别，以提防外部人员的恶意入侵和破坏，以及对不良网站、非法信息进行阻隔。根据用户需求，朝阳教育信息网基本防护策略为：由内向外的连接基本允许，但由外向内的访问和连接一定要经过审核。n 内网所谓内网，我们认为可以分为接入网络和核心网络两部分。建议在朝阳教育信息网内网中的核心交换机和汇聚交换机上通过ACL屏蔽掉Ping，Telnet，NetBIUE等服务和协议35、（特定的用户可放开）。l 接入网络由朝阳教育信息网所辖的所有学校、教育机关网络和其他网络内部用户组成。对于接入网络其安全防护由朝阳教育信息网的中心机房统一部署管理，每一个学校或用户分配不同网段的IP地址，在核心节点处的多层交换机上利用VLAN技术和ACL 对这些不同子网进行策略路由，以达到最理想的网络安全。l 核心网络核心网络包括：核心交换网、网管网络和数据中心（IDC）。核心网络是整个朝阳教育信息网的数据中心、资源中心、和管理中心可谓是心脏部位，它的安全系统应从以下几方面着手设计：1) 防火墙防范来自外部和内部的网络攻击和破坏。2) 防拒绝服务攻击使用防火墙来防范拒绝服务型攻击。3) 漏洞扫36、描系统时刻监控网络以及服务器的安全漏洞。4) 入侵检测系统专门对服务器集群进行探测来防范并记录非法和危险的网络操作。5) 网络防病毒系统设置总的网络防病毒服务器负责整个控制中心和下属网络的防病毒工作。2.2 防火墙系统深化设计u 防火墙分布位置方案采用六台华为Quidway SecPath 1000F 防火墙和一台利旧的NETEYE千兆防火墙，配置在朝阳教育信息网网络中心的5个逻辑地点，构成整个业务网络的防火墙系统。具体分布连接如下：1在出口网络中的Cisco4003到北京市教育信息网（内网）的千兆链路上部署一台SecPath 1000F千兆防火墙。对朝阳教育信息网内网进行保护。2在出口网络中37、的Cisco4003到Internet的千兆链路上部署一台SecPath 1000F千兆防火墙，对朝阳教育信息网内网进行保护。同时Internet服务器区的WWW、MAIL、FTP、DNS等对外服务器连接在该防火墙的DMZ区。3在出口网络中的Cisco4003到朝阳区政府公用信息平台的链路上设置一台NETEYE和一台专用NAT设备。具体连接： NETEYE放置在出口网络的Cisco4003到朝阳区政府公用信息平台的传输设备的链路上。内网卡接Cisco4003，外网卡接NAT设备（MA5200）；专用NAT设备（MA5200）的一个千兆口接NETEYE，另一个千兆端口与传输设备OpCity89338、0相连。4网管网络到核心网的接口处设置两台SecPath 1000F：每台SecPath 1000F的千兆外网卡分别与核心网的两台Quidway S8512相连，每台SecPath 1000F的千兆内网卡连接到网管网络的Cisco4003，两台SecPath 1000F之间通过1GE端口相连，两台SecPath 1000F做负载分担/冗余备份，对网管网络进行保护。5数据中心的关键应用服务器区到核心交网的接口处设置两台SecPath 1000F：每台SecPath 1000F的千兆外网卡分别与核心网的两台Quidway S8512连接，每台SecPath 1000F的一块千兆内网卡连接关键应用服39、务器区的Cisco6509，两台SecPath 1000F之间通过1GE端口相连，两台SecPath 1000F做负载分担/冗余备份，对关键应用服务器区进行保护。u 防火墙配置在防火墙设置上我们按照以下原则配置来提高网络安全性：1）根据总体安全策略和安全目标，规划设置正确的安全过滤规则，规则审核IP数据包的内容包括：协议、端口、源地址、目的地址、流向等项目，严格禁止来自公网对内网不必要的、非法的访问。总体上遵从“不被允许的服务就是被禁止”的原则和“由内向外的连接基本允许，但由外向内的访问和连接一定要经过审核”的策略。2）将防火墙配置成过滤掉以内部网络地址进入路由器的IP包，这样可以防范源地址假40、冒和源路由类型的攻击；过滤掉以非法IP地址离开内部网络的IP包，防止内部网络发起的对外攻击。3）在防火墙上建立内网计算机的IP地址和MAC地址的对应表，防止IP地址被盗用。4）在防火墙上进行防拒绝服务攻击（DoSDDoS）配置。5）定期查看防火墙访问日志，及时发现攻击行为和不良上网记录。通过对以上5个地点配置防火墙，并在网管网络中安装一台防火墙集中管理服务器，对处于不同子网中的多个防火墙进行集中管理和配置，就组成了朝阳教育信息网的防火墙系统，构成了整个朝阳教育信息网安全防护的第一道屏障。防火墙系统连接见朝阳教育信息网网络安全连接图。2.3 网络入侵检测系统深化设计每台NISD_1000E配置241、个1000BASE-T标准监控接口，控制中心设在网管网络中的一台服务器上。NISD_1000E的配置分布如下：1. 出口网络与核心网之间部署一台NISD_1000E2个GE探头分别配置在出口网络中的Cisco4003与两台核心交换机S8512相连的两条千兆链路上。2. 关键应用服务器区与核心网之间部署一台NISD_1000E2个GE探头分别配置在关键应用服务器区与核心网络之间的两台防火墙后面。2.4 网络漏洞扫描系统深化设计在内网中采用一套先进的网络安全性分析系统ISExplorer漏洞扫描系统。网络安全性分析系统ISExplorer可安装在一台笔记本电脑上，定期对不同网段的工作站、服务器、交42、换机等进行安全检查，并根据检查结果向系统管理员提供详细可靠的安全性分析报告，为提高网络安全整体水平产生重要依据。2.5 网络防病毒系统深化设计1）在网管网络中的一台服务器上安装Symantec AntiVirus Corporate Edition网络版杀毒软件的系统中心，负责管理网络中心不少于100台的服务器和30台PC机。2）在网络中心的主机上安装Symantec AntiVirus Corporate Edition网络版的服务器端和客户端。3）安装完Symantec AntiVirus Corporate Edition网络版后，在管理员控制台对网络中所有客户端进行定时查杀毒的设置，保43、证所有客户端即使在没有联网的时候也能够定时进行对本机的查杀毒。4）Symantec AntiVirus Corporate Edition系统中心负责整个网络中心的升级工作。为了安全和管理的方便起见，由网络中心的系统中心定期地、自动地到Symantec全球网站上获取最新的升级文件（包括病毒定义码、扫描引擎、程序文件等），然后自动将最新的升级文件分发到其它100多个服务器端和30个客户端，并自动对Symantec AntiVirus Corporate Edition杀毒软件网络版进行更新。采取这种升级方式，一方面确保网络中心内的Symantec AntiVirus Corporate Edit44、ion杀毒软件的更新保持同步，使整个网络中心都具有最强的防病毒能力；另一方面，由于整个网络的升级、更新都是有程序来自动、智能完成，就可以避免由于人为因素造成网络中因为没有及时升级为最新的病毒定义码和扫描引擎而失去最强的防病毒能力。2.6 朝阳区教育信息网网络安全拓扑图3. 应用服务系统深化设计3.1 需求分析服务器作为整个系统硬件的核心，承担了整个系统运行数据的建立、存储、查询、操作、备份以及整个后台应用程序的运行任务根据客户的要求，从业务上我们把应用分为数据库服务、INTERNET应用服务、办公管理服务、大流量数据服务，计费管理服务和网管服务等。WEB服务是以服务器建立起供广大教师和学生登陆45、及浏览的WEB页面，提供各种教育信息、新闻、实事动态、多媒体教学资源库、课件制作等等，随着信息和资源的积累，WEB服务器会需要比较大的空间来存放这些数据。而这些数据的特点是文件比较小，但是同时并发的数量众多，这就要求服务器和存储设备都具有高速、稳定、高数据吞吐量的性能。对于存储设备来说，基于全光纤结构的SAN架构可以满足这种需求。Internet的快速增长使多媒体网络服务器，特别是Web服务器，面对的访问者数量快速增加，网络服务器需要具备提供大量并发访问服务的能力。因此对于提供大负载Web服务的服务器来讲，CPU、I/O处理能力很快会成为瓶颈。 简单的提高硬件性能并不能真正解决这个问题，因为单46、台服务器的性能总是有限的，一般来讲，一台PC服务器所能提供的并发访问处理能力大约为1000个，更为高档的专用服务器能够支持3000-5000个并发访问，这样的能力还是无法满足负载较大的网站的要求。必须采用多台服务器提供网络服务，并将网络请求分配给这些服务器分担，才能提供处理大量并发服务的能力。 目前负载均衡技术大多数是用于提高诸如WEB服务器、FTP服务器和其它关键任务服务器上的Internet服务器程序的可用性和可伸缩性。当使用多台服务器来分担负载的时候，可以按服务器的功能进行分割，将一台服务器用于提供静态页面访问，而另一些用于提供CGI等需要大量消耗资源的动态页面访问。然而由于网络访问的突47、发性，使得很难确定那些页面造成的负载太大，如果将服务的页面分割的过细就会造成很大浪费。事实上造成负载过大的页面常常是在变化中的，如果要经常按照负载变化来调整页面所在的服务器，那么势必对管理和维护造成极大的问题。因此这种分割方法只能是大方向的调整，对于大负载的网站，根本的解决办法还需要应用负载均衡技术。 随着业务的不断扩展和系统稳定性要求的不断提高，需要对现有的服务器进行负载均衡。为了保证各台服务器的负载均匀分布，合理地分流用户，需要一种服务器负载均衡设备对多台服务器进行负载均衡，同时该设备还要提供高度的安全性。教育中心的Email服务。由于学生数量众多，加上也要为每一位教师提供Email信箱，48、所以Email服务器的数据存储需求也十分的庞大，特点也是文件数量多，服务器对数据检索，并读到数据速度要快，同时并发数据流多。因此也建议采用SAN架构。采用负载均衡轮询的方式。数据库服务器将运行SQL SERVER和ORACLE，由于该数据库的特性，加上数据库对数据读写十分频繁，以及参考许多数据库存储的成功案例，SAN架构以其成熟的技术，优异的性能，良好的扩展性成为了首选。OA办公管理服务是将许多日常的书面办公工作实现电子化，放到网络上进行，简化了办公流程，提高效率，是现代e化的流行趋势。大流量数据服务主要是流媒体点播服务。就是将许多多媒体的课件及教学资源放到网络上，广大师生可以直接到网络上自由49、点播，选择自已需要的素材，进行复习备课等，由于数据量和传输量大，对存储空间和服务器的I/O带宽都提出了很高的要求。对于计费管理服务，朝阳区教育信息中心目前采用的是两台SUN E250小型机。其中一台做计费管理的前端应用，另一台安装基于Solaris Oracle来做前端的数据库服务。3.2 服务器的安装与功能分配l 数据库服务器数据库服务器选用四台IBM eServer xSeries 366。每台服务器都配置两个光纤适配器（HBA卡），每台服务器要用两条1000M光纤分别与两台光纤交换机点对点连接。 同时，每台服务器上将分别安装EMC PowerPath 管理软件，实现服务器和存储设备之间多50、通道存取。如果其中一条通道发生故障，PowerPath会自动将I/O 负荷切换到幸存的通道，并在发生故障的通道得到修复后立即恢复其使用。如果在服务器访问磁盘阵列数据量比较大和频繁时， PowerPath可增加全面I/O吞吐率，更快地完成更多的任务；也可以自动负载均衡算法智能地管理多条I/O通道的流量，极大地提高了系统的效率和I/O的吞吐率，避免I/O的瓶颈。 SQL数据库和Oracle数据库匀放到两台EMC CX500智能光纤磁盘阵列中。n ORACLE数据库服务器：在INTRENET网络结构中，Oracle数据库是对用户数量最多、性能最为稳定的数据库。基于Oracle数据库的DBMS能方便生51、成适用不同业务的应用数据库系统。选用两台IBM eServer xSeries 366。一台装WINDOWS2000操作系统；一台装LINUX操作系统。n SQL server数据库服务器：两台SQL server数据库服务器安装Win2000操作系统，将两台SQL数据库服务器互为双机容错，保证运行系统的冗余、稳定。l INTERNET应用服务器 邮件服务器：由于朝阳区教育信息中心计划将来要为每一位教师分配一个邮箱，目前所用的邮件服务器的负载能力远达不到教委的要求。我们选用四台IBM eServer xSeries 346 （招标文件中应用服务器1的规格） 做一负载均衡的轮询的集群方案，来满足52、教育办公网，每天所要面临着大量的有邮件往来。 在朝阳教育信息中心，邮件服务器是基于Solaris平台的。但在后来系统的不断升级，目前及未来所采用的都是Linux系统平台。我们建议项目实施中邮件集群系统由四台服务器和磁盘阵列组成，每台服务器上都要安装Linux操作系统，其中有一台作为主ATM（高级流量管理器），在ATM上要求安装TurboLinux Cluster Server6软件。 虚拟主机（Virtual Host/ Virtual Server）：使用特殊的软硬件技术，把一台计算机主机分成一台台“虚拟”的主机，每一台虚拟主机都具有独立的域名和IP地址（或共享的IP地址），具有完整的Int53、ernet服务器功能。 在同一台硬件、同一个操作系统上，运行着为多个用户打开的不同的服务器程序，互不干扰；而各个用户拥有自己的一部分系统资源（IP地址、文件存储空间、内存、CPU时间等）。 选用一台IBM eServer xSeries 346 （招标文件中管理服务器的规格）。 Web服务器： Web信息发布需要大容量内存，能确保服务在大用户量并发时的系统稳定性和服务效率，Web服务器选用性能和功能指标较高的服务器，选用两台IBM eServer xSeries 346 （招标文件中应用服务器2的规格）。同时实现服务的负载均衡。 DNS服务器：选用三台IBM eServer xSeries 354、46 （招标文件中应用服务器2的规格），做内网和外网的域名解析。其中两台做内网的DNS，另一台做外网的DNS，三台服务器配置相同，要靠第三方软件区分开访问的地址是来自内网还是外网。这种实现的方式也是教育信息中心目前DNS服务器所实现的方法。 DHCP服务器：选用一台IBM eServer xSeries 346 （招标文件中应用服务器2的规格）。作全网络ip地址自动分配。 FTP服务器：选用一台IBM eServer xSeries 346 （招标文件中应用服务器2的规格）。 TELNET服务器：选用一台IBM eServer xSeries 346 （招标文件中应用服务器2的规格）。 管理服55、务器：传输网络中的时钟管理、IP网中的网络监控管理、网管服务器和入侵检测服务器分别选用IBM eServer xSeries 346 （招标文件中管理服务器的规格）。 日志服务器： 日志服务器能对网络用户上网行为进行记录与分析、审计核心关键信息的访问等。实现对数据的采集、分流，并把记录的数据暂时保存在系统中。通过对进出网络的通信数据的分析，实现对访问网络资源行为的记录和分析，保障网络和关键机密信息的安全。 数据备份服务器：负责整个网络中各服务器上的数据备份。选用IBM eServer xSeries 346 （招标文件中应用服务器1的规格）。l 大流量服务器群 流媒体点播服务器：多数流媒体的点56、播系统都采用B/S 三层模式，所有的开发基于WEB 服务器上完成，客户端采用通用的浏览器软件可以完成远程教育应用系统中所有权限许可的功能。视频服务器，主要提供基于流媒体的课件点播服务，要求海量存储，带宽大，在用户主要是通过网络访问时，其带宽压力最大，推荐放置在主干，与Web服务器最好是不要有过多的网络碰撞。对于数据建议存放在磁盘阵列中。存放各种动态信息，要求高速，安全，可靠，为了安全，推荐放置在后台，采用内部IP 地址。由于远程教育数据量较大以及跨系统性考虑，推荐采用Oracle 数据库； 视频会议：对于视频会议的时时交互性。要求服务器有着很强的处理能力，同时要求服务器的内存及缓存都较高，才能57、保证传输的数据帧的完整和连续。视频会议服务器配置好内网IP地址并通过路由器把服务映射出去。互联网用户通过信息中心映射好的公网IP访问系统。局域网用户通过访问服务器内网IP地址，实现客户端的自动下载、安装、升级以及会议的全部功能。内外网访问方式的不同在最大程度上保护了企业宝贵的互联网出口带宽。 选择数据库服务器的规格型号。l 应用服务器群 OA服务器： OA应用软件和Web信息发布需要大容量内存，能确保服务在大用户量并发时的系统稳定性和服务效率，保证系统及日志的记录。建议采用应用服务器2的机型。l 关键应用服务器群关键数据包括一些关键应用和非关键应用，对关键应用，我们要时时保证数据的完整性（如数58、据库上的数据）。对于非关键应用，我们只是在存储空间上可能要负担关键数据的存储负担。关键数据库多数存放的是教学资源，可能达到好几个T。这些资源都属于很重要的，对于数据的访问需要很高的安全性。 我们建议关键数据存放在磁盘阵列里，同时在网络结构里要有很高的安全性。 关键数据包括一些教学资源，电子图书，数据库服务器的数据。3.3 服务器集群的配置3.3.1 高可用性服务器集群3.3.1.1 基于LINUX内核的Oracle双节点服务器集群 n Oracle RAC 10g 概述 随 Oracle9i 一同推出的 Oracle RAC 是 Oracle 并行服务器 (OPS) 的后续版本。RAC 允许多59、个实例同时访问同一数据库（存储器）。它通过允许系统进行扩展，提供了容错、负载均衡和性能效益，同时由于所有节点访问同一数据库，因此一个实例的故障不会导致无法访问数据库。 Oracle RAC 的核心是共享磁盘子系统。集群中的所有节点必须能够访问集群中所有节点的所有数据、重做日志文件、控制文件和参数文件。数据磁盘必须在全局范围内可用，以便允许所有节点访问数据库。每个节点拥有自己的重做日志和控制文件，但是其他节点必须能够访问这些文件，以便在系统故障时恢复该节点。 Oracle RAC 与 OPS 之间的一个较大区别是，它采用了高速缓存合并技术。在 OPS 中，节点间的数据请求需要先将数据写入磁盘，然60、后发出请求的节点才可以读取该数据。在 RAC 中，数据是带锁传递的。 在使用 Oracle RAC 10g 时，多个节点使用相同的磁盘集来存储数据。利用 Oracle RAC，数据文件、重做日志文件、控制文件和归档日志文件保存在原始磁盘设备的共享存储器、NAS、SAN、ASM 或集群文件系统中。Oracle 的集群方法利用了集群中所有节点的集体处理能力，同时提供了故障切换安全性。 n 共享存储器概述 光纤通道是最流行的共享存储器解决方案之一。前面曾提到，光纤通道是一种高速串行传输接口，用于在点对点或交换式拓扑结构中连接系统与存储设备。光纤通道支持的协议包括 SCSI 和 IP。 光纤通道配置可61、以支持多达 127 个节点，其每秒的吞吐量高达 2.12 GB。n 安装 Linux 操作系统 在第一个节点上安装完 Linux 后，在第二个节点上执行相同的 Linux 安装，但将节点名 linux1 替换为 linux2 并设定适当的不同 IP 地址。 网络配置 在启动操作系统安装之前，我已确认在每个 Linux 机器上安装了两个 NIC 接口（卡）。本屏幕应该已经成功地检测到每个网络设备。 首先，确保将每个网络设备设置为 Active on boot。安装程序可能选择不激活 eth1。 eth0：取消选中 Configure using DHCP 复选项选中 Activate on bo62、ot IP 地址：192.168.1.100 网络掩码： 255.255.255.0 eth1：取消选中 Configure using DHCP 复选项 选中 Activate on bootIP 地址：192.168.2.101 网络掩码： 255.255.255.0 接着，手动设置您的主机名。第一个节点使用“linux1”，第二个节点使用“linux2”。然后提供您的网关和 DNS 服务器，最后关闭该对话框。 在第二个节点上执行相同的安装 在第一个节点上完成 Linux 安装后，在第二个节点 (linux2) 上重复以上步骤。在配置机器名和网络时，确保配置相应值。对于我的安装，以下是我为63、 linux2 所配置的内容： 首先，确保将每个网络设备设置为 Active on boot。安装程序将选择不激活 eth1。 第二步，按照以下方法对 eth0 和 eth1 进行 Edit 操作： eth0： 取消选中 Configure using DHCP 复选项选中 Activate on boot IP 地址：192.168.1.101 网络掩码： 255.255.255.0 eth1： 取消选中 Configure using DHCP 复选项选中 Activate on boot IP 地址：192.168.2.101 网络掩码： 255.255.255.0 接着，手动设置您的主64、机名。我对第二个节点使用“linux2”。然后提供您的网关和 DNS 服务器，最后关闭该对话框。 n 配置网络设置 网络设置简介 在 Linux O/S 安装过程中，我们已经为每个节点配置了 IP 地址和主机名。现在我们需要配置 /etc/hosts 文件，并调整几个用于互联的网络设置。我还提供了启用 Telnet 和 FTP 服务的说明。 每个节点均应有一个用于公共网络的静态 IP 地址和一个用于专用集群互联的静态 IP 地址。专用互联只用于由 Oracle 传输与集群管理器和高速缓存合并相关的数据。虽然可以将公共网络用于互联，但由于它可能导致数据库性能降低（减少高速缓存合并和集群管理器流量65、的带宽），因此不建议使用这种方法。对于生产 RAC 实施，互联应该至少有 GB 或更多，并且只由 Oracle 使用。 配置公共网络和专用网络我们在两个节点上配置网络，以访问公共网络及其专用互联。 在 Red Hat Enterprise Linux 3 中配置网络设置的最简单方法就是使用网络配置程序。该应用程序可以以根用户帐户从命令行启动不要为公共 IP 地址或互联使用 DHCP 命名 需要静态 IP 地址！ 使用网络配置应用程序，您需要配置两个 NIC 设备以及 /etc/hosts 文件。可以使用网络配置 GUI 完成这两个任务。请注意，两个节点的 /etc/hosts 设置是相同的。 66、请注意，只需在两个节点的 /etc/hosts 文件中定义虚拟 IP 地址。当运行 Oracle Universal Installer 时，该程序启动 Oracle 的虚拟互联网协议配置助手 (VIPCA)，也就说 Oracle 将自动配置公共虚拟 IP 地址。当运行 srvctl start nodeapps -n 命令时，所有的虚拟 IP 地址将被激活。这就是将要在客户端 tnsnames.ora 文件中进行配置的主机名/IP 地址（后文详述）。 确保对两个节点进行了所有适当的网络设置。 在配置网络后，您可以使用 ifconfig 命令来验证一切是否正常。 虚拟 IP 这全是出于对应用程67、序可用性的考虑。当一个节点发生故障时，与其关联的 VIP 将被自动故障切换到另外某个节点上。当出现这种情况时，会发生两件事。 新的节点重新进行地址解析，显示该地址的一个新的 MAC 地址。对于直接连接的客户端，这通常使它们在连接旧地址时出现错误。 随后发送到 VIP 的数据包前往新的节点，该节点将把错误的 RST 数据包返回客户端。这导致客户端立即收到错误信息。 调整网络设置 在 Oracle 9.2.0.1 以及更高版本中，Oracle 在 Linux 上使用 UDP 作为默认协议进行过程间通信 (IPC) 的默认协议，如在 RAC 集群中的实例间的高速缓存合并和集群管理器缓冲区传输。 Or68、acle 强烈建议将默认的和最大的发送缓冲区大小（SO_SNDBUF 套接字选项）调整为 256KB，并将默认的和最大的接收缓冲区大小（SO_RCVBUF 套接字选项）调整为 256KB。 接收缓冲区由 TCP 和 UDP 用于保留所接收的数据，直到应用程序读出这些数据为止。由于不允许对等端发送超过缓冲区大小窗口的数据，因此接收缓冲区无法溢出。这意味着，如果数据报不适合套接字接收缓冲区，则将它们舍弃，从而可能导致发送端压垮接收端。 现在将以下各行添加到 RAC 集群中每个节点的 /etc/sysctl.conf 文件中，从而使以上更改成为永久性更n 获取并安装合适的 Linux 内核 实施描述69、了一个双节点的集群（每个节点具有单处理器） 每个服务器均运行 WBEL。请牢记，需要在两个 Linux 节点上执行打补丁的 Linux 内核的安装过程。White Box Enterprise Linux 3.0 (Respin 1) 包含内核 2.4.21-15.EL #1； 备份您的 GRUB 配置文件： 在大多数情况下，您要将 GRUB 用于引导加载程序。在实际安装新内核之前，需要备份您的 /etc/grub.conf 文件： # cp /etc/grub.conf /etc/grub.conf.original以根用户安装新内核： # rpm -ivh -force kernel-2.70、4.21-27.0.2.ELorafw1.i686.rpm （用于单处理器）或 # rpm -ivh -force kernel-smp-2.4.21-27.0.2.ELorafw1.i686.rpm （用于多处理器）注意：使用 RPM 安装新内核还将利用适当的节 (stanza) 来更新您的 GRUB（或 lilo）配置。除非希望保留旧的内核镜像，否则不需要向您的引导加载器配置中添加任何新节。 n 创建“oracle”用户和目录（在两个节点上） 创建 Oracle 的组和用户 # mkdir -p /u01/app# groupadd -g 115 dba# useradd -u 175 -71、g 115 -d /u01/app/oracle -s /bin/bash -c Oracle Software Owner -p oracle oracle# chown -R oracle:dba /u01# passwd oracle# su - oracle注意：当您为每个 RAC 节点设置 Oracle 环境变量时，请确保为每个 RAC 节点分配唯一的 Oracle SID！ linux1 :ORACLE_SID=orcl1 linux2 :ORACLE_SID=orcl2 我们为 Oracle 集群文件系统 (OCFS) 创建挂载点，它将用于存储 Oracle 集群就绪服务 (CR72、S) 的文件。这些命令需要以“root”用户帐户来运行： $ su -# mkdir -p /u02/oradata/orcl# chown -R oracle:dba /u02注意： Oracle Universal Installer (OUI) 最多需要在 /tmp 目录中有 400MB 空闲空间。 您可以通过运行以下命令来查看 /tmp 中的可用空间： # df -k /tmpFilesystem 1K-blocks Used Available Use% Mounted on/dev/hda2 36337384 4691460 29800056 14% /如果由于某种原因，您在 /t73、mp 中没有足够的空间，您可以在其他文件系统中临时创建空间，并在安装期间将您的 TEMP 和 TMPDIR 指向该空间。以下是完成此操作的步骤： # su -# mkdir /tmp# chown root.root /tmp# chmod 1777 /tmp# export TEMP=/tmp # used by Oracle# export TMPDIR=/tmp # used by Linux programs# like the linker ld当 Oracle 的安装完成时，您可以使用以下命令删除该临时目录： # su -# rmdir /tmp# unset TEMP# unse74、t TMPDIRn 配置 Linux 服务器 如何配置两个 Linux 服务器：使每个服务器为 Oracle RAC 10g 安装做好准备。这包括验证足够的交换空间、设置共享内存和信号，以及最后如何设置操作系统的最大文件句柄数。 通过将所有命令置于 /etc/rc.local 文件中以使所有更改永久有效（通过重新启动）。我使用的方法将通过 echo 命令将值直接回显到 /proc 文件系统的相应路径中。 设置共享内存 共享内存通过将通用的结构和数据放在共享内存段中，使得进程可以对它们进行访问。这是现有最快的进程间通信（IPC）方式 主要是因为数据在进程之间传递时没有涉及到内核的操作。在进程之间75、不需要复制数据。 Oracle 将共享内存用于它的系统全局区 (SGA)，这是一个由所有的 Oracle 备份进程及前台进程所共享的内存区域。为 SGA 分配足够的容量对于 Oracle 的性能非常重要，因为它负责保存数据库缓冲区高速缓存、共享 SQL、访问路径以及更多。 n 配置 RAC 节点以进行远程访问 在集群中的所有节点上执行下列配置过程！ 在 RAC 节点上运行 Oracle Universal Installer 时，它将使用 rsh（或 ssh）命令将 Oracle 软件复制到 RAC 集群中的所有其他节点。运行 Oracle Installer (runInstaller) 的76、节点上的 oracle UNIX 帐户必须为 RAC 集群中所有其他节点所信任。因此，应该能够在将要从中运行 Oracle Installer 的 Linux 服务器上，根据集群中的所有其他 Linux 服务器运行 r* 命令（如 rsh、rcp 和 rlogin）而不需要密码。rsh 后台程序使用位于用户（oracle 的）主目录中的 /etc/hosts.equiv 文件或 .rhosts 文件验证用户。（正常的 RAC 操作不需要使用 rcp 和 rsh。但应为 RAC 和补丁集安装启用 rcp 和 rsh。） Oracle 在 10g 中增加了将安全 Shell (SSH) 工具套件用77、于设置用户等效项的支持。但本文使用较旧的方法 rcp 来将 Oracle 软件复制到集群中的其他节点。使用 SSH 工具套件时，可以使用 scp（与 rcp 相反）命令以非常安全的方式复制软件。 n 检查 Oracle 10g 的 RPM 程序包 在集群中的所有节点上执行以下检查！ 安装 Linux O/S（RHEL 3 或 WBEL）时，应验证是否安装了所有必需的 RPM。如果您遵循我所提供的 Linux 安装指导，则已经安装了所有内容，这时您将拥有所有必需的 RPM 程序包。但如果您执行了其他安装类型（例如，高级服务器），则可能缺少某些程序包，并将需要安装它们。所有必需的 RPM 都位于 78、Linux CD/ISO 上。 n 安装并配置自动存储管理和磁盘 应在所有节点上执行大多数安装和配置过程。但创建 ASM 磁盘将只需在集群中的单个节点上执行。 本节将配置自动存储管理 (ASM)，以将其用作所有 Oracle 物理数据库文件（数据、联机重做日志、控制文件、归档重做日志）的文件系统/卷管理器。 Oracle 数据库 10g 中引入了 ASM，使管理员不必再管理单个文件和驱动器。ASM 被内置到 Oracle 内核中，通过它，数据库管理员可以全天候管理单个实例以及集群实例的上千个磁盘驱动器。所有要用于 Oracle 的文件和目录将包含在磁盘组中。ASM 跨所有可用磁盘驱动器并行执行79、负载平衡，以防热点并最大限度地提高性能（甚至对于快速更改数据使用模式也是如此）。 有两个不同方法可在 Linux 上配置 ASM： 使用 ASMLib I/O 的 ASM：此方法使用 ASMLib 调用在由 ASM 管理的原始块设备上创建所有 Oracle 数据库文件。由于 ASMLib 使用块设备，因此该方法不需要原始设备。 使用标准 Linux I/O 的 ASM：此方法使用标准 Linux I/O 系统调用在 ASM 管理的原始字符设备上创建所有 Oracle 数据库文件。您将需要为 ASM 使用的所有磁盘分区创建原始设备。 n 安装 Oracle 集群就绪服务软件 仅在集群的一个节点上80、执行下列安装过程！Oracle CRS 软件将被 Oracle Universal Installer 安装到集群的所有其他节点。 准备安装该环境的“集群”部分：CRS 软件。CRS 的安装文件并将其解压缩到 linux1 的 /u01/app/oracle/orainstall/crs/Disk1 目录中。这是我们唯一需要从中执行安装的节点。 Oracle CRS 包含所有集群和数据库配置元数据以及多个适用于 RAC 的系统管理特性。通过它，数据库管理员可以将一个 Oracle 实例（或多个实例）注册和调用到集群。在通常的操作中，CRS 将向集群中配置的所有节点发送消息（通过一种特殊的 pi81、ng 操作）通常称作“心跳”。如果针对任何节点的心跳检测失败，则它将核对 CRS 配置文件（位于共享磁盘上）以辨别是节点故障还是网络故障。 安装 CRS 后，用于安装 Oracle 数据库 10g 的 Oracle Universal Installer (OUI) 将自动识别这些节点。与我们将在本节中执行的 CRS 安装一样，只需从一个节点运行 Oracle 10g 数据库软件。OUI 将把此软件程序包复制到 RAC 集群中配置的所有节点。 必须在安装 RAC 10g 前先安装并运行 CRS。 CRS 既可以在供应商集群件（如 Sun Cluster、HP Serviceguard、IBM 82、HACMP、TruCluster、Veritas Cluster、Fujitsu Primecluster 等）上运行也可以在没有它的情况下运行。（供应商集群件在 Oracle9i RAC 中是必需的。） 必须将 CRS HOME 和 ORACLE_HOME 安装在不同的位置。 在安装 CRS 之前，必须提供表决文件和 Oracle 配置信息库 (OCR) 文件的共享位置或设备。表决文件的大小至少应为 20MB，OCR 文件的大小至少应为 100MB。 安装 CRS 或 RAC 之前，CRS 和 RAC 要求配置以下网络接口： 公共接口 专用接口 虚拟（公共）接口 有关此方面内容的更多信息，请83、参阅“说明 264847.1” root.sh 脚本在 CRS 安装结束时启动 CRS 堆栈。如果 CRS 堆栈未启动，每个 RAC 节点只能运行一组 CRS 后台程序。 在 Unix 上，CRS 堆栈通过“respawn”从 /etc/inittab 中的条目运行。 如果存在网络断开（节点之间相互失去通信），则一个或多个节点可以自动重新启动以防数据损坏。 所支持的 CRS 启动方法是启动计算机。 所支持的停止方法是关闭计算机或使用 init.crs stop。 由于标志文件可能不匹配，因此不支持终止 CRS 后台程序，除非您通过 说明：239998.1 删除 CRS 安装。 要进行维护，请转84、到操作系统的单用户模式。 启动堆栈后，您可以使用 ps -ef 命令查看所有后台程序进程： CRS 共享文件 由 CRS 使用的两个共享文件将存储到我们前面创建的 OCFS 中。这两个共享 CRS 文件是： Oracle 集群注册表 (OCR) 位置：/u02/oradata/orcl/OCRFile 大小： 100MB CRS 表决磁盘 位置：/u02/oradata/orcl/CSSFile 大小： 20MB 注意：对于我们此处的安装而言，无法将 ASM 用于这两个 CRS 文件，即 OCR 或 CRS 表决磁盘。只有这两个文件就绪并可以访问后才可以启动 Oracle 实例。要使 ASM 85、可用，应首先运行 ASM 实例。但可以将这两个共享文件存储到 OCFS、共享的原始设备或其他供应商的集群化文件系统中。 核实 linux1 上的环境变量 $ env | grep ORAORACLE_SID=orcl1ORACLE_BASE=/u01/app/oracleORACLE_TERM=xterm核实 linux2 上的环境变量 $ env | grep ORAORACLE_SID=orcl2ORACLE_BASE=/u01/app/oracleORACLE_TERM=xterm安装集群就绪服务 执行以下任务来安装 Oracle CRS： $ cd oracle$ ./orainsta86、ll/crs/Disk1/runInstaller -ignoreSysPrereqs核实 CRS 安装 安装 CRS 后，我们可以执行多个测试来核实安装成功。在 RAC 集群的所有节点上运行下列命令。 检查集群节点 $ /u01/app/oracle/product/10.1.0/crs_1/bin/olsnodes -nlinux1 1linux2 2检查 CRS 自动启动脚本 $ ls -l /etc/init.d/init.*-r-xr-xr-x 1 root root 1207 Feb 5 19:41 /etc/init.d/init.crs*-r-xr-xr-x 1 root ro87、ot 5492 Feb 5 19:41 /etc/init.d/init.crsd*-r-xr-xr-x 1 root root 18617 Feb 5 19:41 /etc/init.d/init.cssd*-r-xr-xr-x 1 root root 4553 Feb 5 19:41 /etc/init.d/init.evmd*n 安装 Oracle 数据库 10g 软件 仅在集群的一个节点上执行下列安装过程！Oracle 数据库软件将由 Oracle Universal Installer 安装到集群的所有其他节点。 成功安装 Oracle CRS 软件后，下一步是使用 RAC 安装 O88、racle 数据库 10g（10.1.0.3 或更高版本）。（注意：在写本文时，Oracle 10g 的 OUI 无法发现标记为 Linux ASMLib 的磁盘/卷。因此，我们将在安装 Oracle 10g 软件时不使用“创建数据库”选项。取而代之的是，我们将在 Oracle 数据库 10g 安装之后使用数据库创建助手即 DBCA 创建数据库。 核实环境变量 启动 OUI 之前，应先从控制台以 root 运行 xhost 命令以允许建立 X Server 服务器连接。然后，取消 ORACLE_HOME 变量的设置并核实 RAC 集群的每个节点定义了唯一的 ORACLE_SID。还应核实我们是89、以 oracle 用户帐户登录的： 以 oracle 登录 # xhost +access control disabled, clients can connect from any host# su - oracle核实 linux1 上的环境变量 $ env | grep ORAORACLE_SID=orcl1ORACLE_BASE=/u01/app/oracleORACLE_TERM=xterm核实 linux2 上的环境变量 $ env | grep ORAORACLE_SID=orcl2ORACLE_BASE=/u01/app/oracleORACLE_TERM=xterm安装 O90、racle 数据库 10g 软件 使用以下命令安装 Oracle 数据库 10g 软件： $ cd oracle$ /u01/app/oracle/orainstall/db/Disk1/runInstaller -ignoreSysPrereqsn 创建 Oracle 集群数据库 数据库创建过程应只在集群的一个节点上执行！ 我们将使用 DBCA 创建集群化数据库。 在执行 DBCA 前，请确保为 $ORACLE_BASE/product/10.1.0/db_1 环境正确设置了 $ORACLE_HOME 和 $PATH。 在试图开始创建集群化数据库之前，还应确保已安装的所有服务（Oracle 91、TNS 监听器、CRS 进程等）正在运行。 创建集群化数据库 要开始数据库创建过程，请运行以下命令： # xhost +access control disabled, clients can connect from any host# su - oracle$ dbca &完成 DBCA 后，启动了一个功能完善的 Oracle RAC 集群！ 3.3.1.2 SQL Server数据库服务器SQL Server 数据库服务器: 采用Microsoft Windows2003 Advance Server操作系统，两台机器之间用串口线连接，数据库要在两个机器上都要安装，通过操作系统内置的MS92、CS集群应用软件组建两台SQL SERVER服务器的Cluster服务，两台机器访问同一个IP地址，做数据库漂移，保证一台坏掉，另一台仍然可以继续工作。以达到关键数据服务的不停机运作，保证数据不丢失；这样通过装在两个服务器中的双机热备份系统软件，使系统具有在线容错能力。n INTERNET应用服务器集群 WEB服务器：服务器分别选用两台应用服务器2的机型，安装相同的操作系统，作ACTIVE_ACTIVE方式的HA集群方式。n 应用服务器集群 OA服务器：OA服务器采用双机系统，教委OA办公自动化系统是基于Microsoft Windows2000 Advance Server操作系统，通过操作93、系统内置的MSCS集群管理双机。3.3.2 使用负载均衡技术实现的服务器集群服务LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。3.3.2.1 使用层次的体系结构层次的体系结构可以使得层与层之间相互独立，每一个层次提供不同的功能，在一个层次可以重用不同的已有软件。例如，负载均衡器层提供了负载平衡、可伸缩性和高可用性等，在服务器层可以运行不同的网络服务，如Web、Mail和94、Media等，来提供不同的可伸缩网络服务。明确的功能划分和清晰的层次结构使得系统容易建设，以后整个系统容易维护，而且系统的性能容易被扩展。在考虑服务器系统的透明性、可伸缩性、高可用性和易管理性。一般来说，我们采用三层结构，三层主要组成部分为：1、 负载均衡器（load balancer）：它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（我们可称之为虚拟IP地址）上的。 2、 服务器池（server pool）：是一组真正执行客户请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等。 服务器池的结点数目是可变的。当整个系统收到的负载超95、过目前所有结点的处理能力时，可以在服务器池中增加服务器来满足不断增长的请求负载。对大多数网络服务来说，请求间不存在很强的相关性，请求可以在不同的结点上并行执行，所以整个系统的性能基本上可以随着服务器池的结点数目增加而线性增长。3、 共享存储（shared storage）：它为服务器池提供一个统一的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。 当网络服务需要有相同的内容，共享存储是很好的选择，否则每台服务器需要将相同的内容复制到本地硬盘上。当系统存储的内容越多，无共享结构（Shared-nothing Structure）的代价越大，因为每台服务器需要一样大的存储空间，任何的96、更新需要涉及到每台服务器，系统的维护代价会非常高。共享存储为服务器组提供统一的存储空间，这使得系统的内容维护工作比较轻松，此外，存储硬件技术的发展也促使从无共享的集群向共享存储的集群迁移。存储区域网（Storage Area Networks）技术解决了集群的每个结点可以直接连接/共享一个庞大的硬盘阵列，硬件厂商也提供多种硬盘共享技术，如光纤通道（Fiber Channel）、共享SCSI（Shared SCSI）。负载均衡器、服务器池和共享存储系统通过高速网络相连接，如100Mbps交换网络和Gigabit网络等。使用高速的网络，主要为避免当系统规模扩大时互联网络成为整个系统的瓶颈。3.3.97、2.2 用LVS建立可伸缩的WEB集群系统n 网络架构示意图基于LVS（LINUX virtual Server） 的Web集群的体系结构如下图所示：第一层是负载均衡服务器，采用IP负载均衡技术，可以使得整个系统有较高的吞吐率；第二层是Web服务器池，在每个结点上分别运行HTTP服务或HTTPS服务、或者两者都运行；第三层是共享存储，采用SAN存储架构。集群中各结点是通过高速网络相连接的。 对于动态页面（如PHP、JSP和ASP等），需要访问的动态数据一般存储在数据库服务器中。数据库服务运行在独立的服务器上，为所有Web服务器共享。无论同一Web服务器上多个动态页面访问同一数据，还是不同Web98、服务器上多个动态页面访问同一数据，数据库服务器有锁机制使得这些访问有序地进行，从而保证数据的一致性。 对于静态的页面和文件（如HTML文档和图片等），可以存储在网络文件系统或大容量的磁盘阵列中。在这种结构下，当所有服务器结点超载时，管理员可以很快地加入新的服务器结点来处理请求，而无需将Web文档等复制到结点的本地硬盘上。有些Web服务可能用到HTTP Cookie，它是将数据存储在客户的浏览器来追踪和标识客户的机制。使用HTTP Cookie后，来同一客户的不同连接存在相关性，这些连接必须被发送到同一Web服务器。一些Web服务使用安全的HTTPS协议，它是HTTP协议加 SSL（Secure99、 Socket Layer）协议。另有些Web服务可能使用安全的HTTPS协议，它是HTTP协议加SSL协议。当客户访问HTTPS服务（HTTPS的缺省端口为 443）时，会先建立一个SSL连接，来交换对称公钥加密的证书并协商一个SSL Key，来加密以后的会话。在SSL Key的生命周期内，后续的所有HTTPS连接都使用这个SSL Key，所以同一客户的不同HTTPS连接也存在相关性。针对这些需要，IPVS服在均衡服务器提供了持久服务的功能，它可以使得在设定的时间内，来自同一IP地址的不同连接会被发送到集群中同一个服务器结点，可以很好地解决客户连接的相关性问题。n 高可用性集群系统的特点是它100、在软硬件上都有冗余。系统的高可用性可以通过检测节点或服务进程故障和正确地重置系统来实现，使得系统收到的请求能被存活的结点处理。对前端的负载均衡服务器有可能成为系统的单一失效点（Single Point of Failure）。一般来说，负载均衡服务器的可靠性较高，因为负载均衡服务器上运行的程序较少而且大部分程序早已经遍历过，但我们不能排除硬件老化、网络线路或者人为误操作等主要故障。为了避免负载均衡服务器失效而导致整个系统不能工作，我们设立一个从负载均衡服务器作为主负载均衡服务器的备份。两个心跳（Heartbeat）进程分别在主、从负载均衡服务器上运行，它们通过串口线和UDP等心跳线来相互定时地101、汇报各自的健康状况。当从负载均衡服务器不能听得主负载均衡服务器的心跳时，从负载均衡服务器通过ARP欺骗（Gratuitous ARP）来接管集群对外的Virtual IP Address，同时接管主负载均衡服务器的工作来提供负载调度服务。当主负载均衡服务器恢复时，这里有两种方法，一是主负载均衡服务器自动变成从载均衡服务器，二是从负载均衡服务器释放 Virtual IP Address，主载均衡服务器收回Virtual IP Address并提供负载均衡服务。这里，多条心跳线可以使得因心跳线故障导致误判（即从负载均衡服务器认为主负载均衡服务器已经失效，其实主负载均衡服务器还在正常工作）的概论降到102、最低。n 具体配置1、 选用五台服务器做3节点的WEB集群系统，每台机器上都要安装Red Hat Linux Serve，其中有三台服务器做真正提供服务的服务器，在此之上启动apache 服务。2、 每台服务器上安装TurboLinux Cluster Server 6.0，同时选择两台作前端的主负载均衡服务器（ATM）和从负载均衡服务器。3、 设置各台服务器的IP地址、子网掩码、路由等，调通网络。netmask 255.255.255.0。4、 配置Cluster Server： 负载均衡器的设置：ClusterServer ConfigurationAdvance Traffic Mana103、gers：(1)Advance Traffic Manager System： (2)Advance Traffic Manager Setting: 默认值 虚拟主机的设置ClusterServer ConfigurationVirtual Severs:(1)主机为：(2)sendmail:master WEB服务器池的设置：ClusterServer ConfigurationCluster ServicesService Settings： http，80：TCP，sticky ClusterServer ConfigurationServers Configuration： 将这五台104、机器分别设施各自的域。 配置集群各接点因为TurboLinux Cluster Server 本身能被工具自动同步。3.3.2.3 硬件设备实现的邮件和INTERNET负载均衡服务。n 负载均衡技术的选择 软/硬件负载均衡 软件负载均衡解决方案是指在一台或多台服务器相应的操作系统上安装一个或多个附加软件来实现负载均衡，如DNS Load Balance，CheckPoint Firewall-1 ConnectControl等，它的优点是基于特定环境，配置简单，使用灵活，成本低廉，可以满足一般的负载均衡需求。软件解决方案缺点也较多，因为每台服务器上安装额外的软件运行会消耗系统不定量的资源，越是105、功能强大的模块，消耗得越多，所以当连接请求特别大的时候，软件本身会成为服务器工作成败的一个关键；软件可扩展性并不是很好，受到操作系统的限制；由于操作系统本身的Bug，往往会引起安全问题。硬件负载均衡解决方案是直接在服务器和外部网络间安装负载均衡设备，这种设备我们通常称之为负载均衡器，由于专门的设备完成专门的任务，独立于操作系统，整体性能得到大量提高，加上多样化的负载均衡策略，智能化的流量管理，可达到最佳的负载均衡需求。对于朝阳现在，有一台硬件负载均衡器F5在完成现有INTERNET上的服务。对于现有设备，我们将利旧，仍然采用现有构架，增加新的设备，达到系统的冗余更稳定性。 网络层次上的负载均衡106、针对网络上负载过重的不同瓶颈所在，从网络的不同层次入手，我们可以采用相应的负载均衡技术来解决现有问题。随着带宽增加，数据流量不断增大，网络核心部分的数据接口将面临瓶颈问题，原有的单一线路将很难满足需求，而且线路的升级又过于昂贵甚至难以实现，这时就可以考虑采用链路聚合（Trunking）技术。链路聚合技术（第二层负载均衡）将多条物理链路当作一条单一的聚合逻辑链路使用，网络数据流量由聚合逻辑链路中所有物理链路共同承担，由此在逻辑上增大了链路的容量，使其能满足带宽增加的需求。现代负载均衡技术通常操作于网络的第四层或第七层。第四层负载均衡将一个Internet上合法注册的IP地址映射为多个内部服务器的107、IP地址，对每次TCP连接请求动态使用其中一个内部IP地址，达到负载均衡的目的。在第四层交换机中，此种均衡技术得到广泛的应用，一个目标地址是服务器群VIP（虚拟IP，Virtual IP address）连接请求的数据包流经交换机，交换机根据源端和目的IP地址、TCP或UDP端口号和一定的负载均衡策略，在服务器IP和VIP间进行映射，选取服务器群中最好的服务器来处理连接请求。第七层负载均衡控制应用层服务的内容，提供了一种对访问流量的高层控制方式，适合对HTTP服务器群的应用。第七层负载均衡技术通过检查流经的HTTP报头，根据报头内的信息来执行负载均衡任务。 对于信息中心现有的F5这款产品就是一108、款很好的基于L4和L7层技术的负载均衡产品。n 服务器负载均衡 BIG-IP硬件平台上运行的BIG-IP应用流量管理可为所有基于IP的应用应用才能享有的流量管理功能。在任何网络环境下，BIG-IP都能通过其功能强大的通用检查引擎（Universal Inspection Engine）和iRules准确、安全、经济高效地创建和提供所有基于IP的应用或Web服务。对于所有的对外INTERNET服务的服务器，均可以在BIG-IP上配置Virtual Server实现负载均衡，同时BIG-IP可持续检查服务器的健康状态，一旦发现故障服务器，则将其从负载均衡组中摘除。BIG-IP利用虚拟IP地址（VI109、P由IP地址和TCP/UDP应用的端口组成，它是一个地址）来为用户的一个或多个目标服务器（称为节点：目标服务器的IP地址和TCP/UDP应用的端口组成，它可以是internet的私网地址）提供服务。因此，它能够为大量的基于TCP/IP的网络应用提供服务器负载均衡服务。根据服务类型不同分别定义服务器群组，可以根据不同服务端口将流量导向到相应的服务器。 BIG-IP连续地对目标服务器进行L4到L7合理性检查，当用户通过VIP请求目标服务器服务时，BIG-IP根椐目标服务器之间性能和网络健康情况，选择性能最佳的服务器响应用户的请求。如果能够充分利用所有的服务器资源，将所有流量均衡的分配到各个服务器，110、我们就可以有效地避免“不平衡”现象的发生。利用UIE+iRules可以将TCP/UDP数据包打开，并搜索其中的特征数据，之后根据搜索到的特征数据作相应的规则处理。因此可以根据用户访问内容的不同将流量导向到相应的服务器，例如：根据用户访问请求的URL将流量导向到相应的服务器。 系统性能BIG-IP 1000可支持每秒300M以上的网络流量，在标配512M内存的情况下，可支持400万的会话保持能力和每秒15，000个七层会话、27，000个四层新进会话处理能力。在采用双机备份方式时，备机切换时间最快会在200ms之内进行切换。所有会话通过Active 的BIG-IP 的同时，会把会话信息通过同步数111、据线同步到Backup的BIG-IP，保证在Backup BIG-IP内也有所有的用户访问会话信息；另外每台设备中的watchdog芯片通过心跳线监控对方设备的电频，当Active BIG-IP故障时，watchdog会首先发现，并通知Backup BIG-IP接管Shared IP，VIP等，完成切换过程，因为Backup BIG-IP中有事先同步好的会话信息，所以可以保证访问的畅通无阻。 系统高可用性系统高可用性主要可以从以下几个方面考虑：1网络设备冗余，采用设备的高可用性设计，形成并联冗余接入及毫秒级冗余切换；2服务器冗余，当某一台服务器故障不能提供服务时，用户的访问不会中断。 系统管理112、F5提供HTTPS、SSH、Telnet、SNMP等多种管理方式，用户客户端只需操作系统自带的浏览器软件即可，不需安装其它软件，同时可以监控流量；告警方式可以提供syslog、snmp trap、mail等方式。n 方案总体设计在服务器的前端放置F5的BIG-IP1000两台, 每台服务器使用双网卡分别接两台BIG-IP1000，实现网卡的冗余机制，BIG-IP1000上连核心交换机从而接入Internet。在BIPIP1000上通过虚拟IP的机制实现服务器的负载均衡,同时提供免费100TPS的SSL芯片加速功能的license。 网络拓扑结构网络拓扑结构如图所示：网络拓扑结构n 邮件系统集群113、方案Clustered Mail Server对于朝阳教育信息中心每天面临的邮件问题，我们将采用Clustered Mail Server 来更经济的解决问题。从外部看，服务器机群就像一个大的服务器来提供诸如SMTP, imap4 和pop-3协议。而实际上，这些服务是由很多不同配置的服务器提供的。在这样的服务器机群中，其中硬件F5作为邮件分发的管理者，而其余的机器是真正处理这些邮件的执行者。这些机器处理邮件可以不受限制，但必须有一台机器来做时时的邮件分发。在机群中的机器上安装Turbo Linux 或Red Hat Linux Clustered Mail Server，然后配置Cluste114、red Mail Server。在配置Clustered Mail Server之前，需要Turbo Linux Cluster Server 6.0，Turbo Linux Cluster Server 是企业级的应用解决方案。可以很轻松的构建HA和可扩展的集群服务器。同时，运用Turbo Linux Cluster Server将现有的机群构建成一个大的虚拟机器。当存储空间不够时动态增加磁盘阵列空间即可。 邮件网络架构示意图说明：1 邮件集群系统由二个smtp server、一个pop3/imap server、一个认证服务器ldap、和磁盘阵列组成。监控中心由流量监控、运行监控、SMS报115、警、系统管理、查询运维终端组成。2 2个smtp server可以构成负载均衡，同时构成双机热备份，正常情况下，smtp流量平均分配到两台smtp server；一旦其中一台出现故障，另外一台将自动接管smtp服务。3 考虑到系统运行初期，用户数量并不多，pop3服务的并发访问量并不大，pop3 服务只设置一台服务器，同时也作imap 服务。以后用户量增加时，可以再增加一台pop3,实现pop服务的负载均衡。4 用户认证通过LDAP服务器完成。LDAP具有ReadFast、分布的特点，单机可以承受50万用户、并发20万用户的认证请求。5 数据存储分为用户数据和邮件数据存储两部分，邮件数据通过N116、FS统一存储到磁盘阵列上。当邮件空间不够时，动态增加磁盘阵列空间即可。6 由两台smtp server构成双机热备系统 交换机heartBeatRaidSmtpServer1防火墙SmtpServer27 邮件存储方式邮件队列和邮件数据集中放在存储设备上。前端smtp服务器多台，POP服务器多台，随机选择一台smtp服务器或者POP服务器（这个过程一般采用DNS轮询方式完成）。选定某台服务器后，与该服务器建立连接，通过认证系统确认用户身份后，发送或者接收邮件数据。因为是统一存储，数据都是放在磁盘阵列上，通过NFS方式挂在每台服务器上。不论是通过哪台功能服务器，都可以完成邮件收发。用户对Webm117、ail的请求和smtp/pop3类似，也是通过多台机器随机选取实现负载分布。n 关键技术 选择合适的负载均衡策略，使多个设备能很好的共同完成任务，消除或避免现有网络负载分布不均、数据流量拥挤反应时间长的瓶颈。在各负载均衡方式中，针对不同的应用需求，在OSI参考模型的第二、三、四、七层的负载均衡都有相应的负载均衡策略。 负载均衡策略的优劣及其实现的难易程度有两个关键因素：一、负载均衡算法，二、对网络系统状况的检测方式和能力。考虑到服务请求的不同类型、服务器的不同处理能力以及随机选择造成的负载分配不均匀等问题，为了更加合理的把负载分配给内部的多个服务器，就需要应用相应的能够正确反映各个服务器处理能118、力及网络状态的负载均衡算法： 服务器负载均衡算法BIG-IP是一台对流量和内容进行管理分配的设备。它提供12种灵活的算法将数据流有效地转发到它所连接的服务器群。而面对用户，只是一台虚拟服务器。用户此时只须记住一台服务器，即虚拟服务器。但他们的数据流却被BIG-IP灵活地均衡到所有的服务器。这12种算法包括：n 轮询（Round Robin）：顺序循环将请求一次顺序循环地连接每个服务器。当其中某个服务器发生第二到第7层的故障，BIG-IP就把其从顺序循环队列中拿出，不参加下一次的轮询，直到其恢复正常。n 比率（Ratio）：给每个服务器分配一个加权值为比例，根椐这个比例，把用户的请求分配到每个服119、务器。当其中某个服务器发生第二到第7层的故障，BIG-IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。n 优先权（Priority）：给所有服务器分组，给每个组定义优先权，BIG-IP用户的请求，分配给优先级最高的服务器组（在同一组内，采用轮询或比率算法，分配用户的请求）；当最高优先级中所有服务器出现故障，BIG-IP才将请求送给次优先级的服务器组。这种方式，实际为用户提供一种热备份的方式。n 最少的连接方式（Least Connection）：传递新的连接给那些进行最少连接处理的服务器。当其中某个服务器发生第二到第7层的故障，BIG-IP就把其从服务器队列中拿出，120、不参加下一次的用户请求的分配，直到其恢复正常。n 最快模式（Fastest）：传递连接给那些响应最快的服务器。当其中某个服务器发生第二到第7层的故障，BIG-IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。n 观察模式（Observed）：连接数目和响应时间以这两项的最佳平衡为依据为新的请求选择服务器。当其中某个服务器发生第二到第7层的故障，BIG-IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。n 预测模式（Predictive）：BIG-IP利用收集到的服务器当前的性能指标，进行预测分析，选择一台服务器在下一个时间片内，其性能将达到最121、佳的服务器相应用户的请求。(被BIG-IP进行检测)。n 动态性能分配（Dynamic Ratio-APM)：BIG-IP收集到的应用程序和应用服务器的各项性能参数，动态调整流量分配。n 动态服务器补充（Dynamic Server Act.)：当主服务器群中因故障导致数量减少时，动态地将备份服务器补充至主服务器群。n 服务质量(QoS)：按不同的优先级对数据流进行分配。n 服务类型(ToS)：按不同的服务类型（在Type of Field中标识）对数据流进行分配。n 规则模式：针对不同的数据流设置导向规则，用户可自行编辑流量分配规则，BIG-IP利用这些规则对通过的数据流实施导向控制。 服务122、器健康检查方法BIG-IP除了能够进行不同OSI层面的健康检查之外，还具有扩展内容验证和扩展应用查证两种健康检查方法。基本的健康检查方法有以下几种：n 在Layer 2 健康检查涉及到用来对给定的IP地址寻找MAC地址的地址分辨协议 (ARP) 请求。因为BIG-IP设置了真实服务器的IP地址，它会发送针对每一个真实服务器的IP地址的ARP请求以找到相应的MAC地址，服务器会响应这个ARP请求，除非它已经停机。n 在Layer 3 健康检查涉及到对真实服务器发送”ping”命令。“ping”是常用的程序来确认一个IP地址是否在网络中存在，或者用来确认主机是否正常工作。n 在Layer 4，BI123、G-IP会试图联接到一个特定应用在运行的TCP或UDP端口。举例来说，如果VIP是被绑定在端口80做Web应用的话，BIG-IP试图建立一个联接到真实服务器的80端口。BIG-IP发送一个TCP SYN 请求包到每个真实服务器的80端口，并检查回应的TCP SYN ACK数据包是否收到，如果哪一个没有收到，BIG-IP就确认那台服务器不能正常提供服务，BIG-IP单独针对服务器的每个应用端口做健康检查并单独做关于其服务器的诊断结果是非常重要的。这样一来真实服务器的80服务可能停机，但是端口21可能正常工作，BIG-IP可以继续利用这个服务器的21端口提供FTP服务，同时确认这个服务器的Web应124、用已经停机，这样一来就提供了一个高效率的负载均衡解决方案，细分健康检查的做法有效地提高了服务器的处理能力。n 扩展内容查证(ECV：Extended Content Verification)：ECV是一种非常复杂的服务检查，主要用于确认应用程序能否对请求返回对应的数据。如果一个应用对该服务检查做出响应并返回对应的数据，则BIG-IP控制器将该服务器标识为工作良好。如果服务器不能返回相应的数据，则将该服务器标识为宕机。宕机一旦修复，BIG-IP就会自动查证应用已能对客户请求做出正确响应并恢复向该服务器传送。该功能使BIG-IP可以将保护延伸到后端应用如Web内容及数据库。BIG-IP的ECV功125、能允许您向Web服务器、防火墙、缓存服务器、代理服务器和其它透明设备发送查询，然后检查返回的响应。这将有助于确认您为客户提供的内容正是其所需要的。n 扩展应用查证(EAV: Extended Application Verification)：EAV是另一种服务检查，用于确认运行在某个服务器上的应用能否对客户请求做出响应。为完成这种检查，BIG-IP控制器使用一个被称作外部服务检查者的客户程序，该程序为BIG-IP提供完全客户化的服务检查功能，但它位于BIG-IP控制器的外部。例如，该外部服务检查者可以查证一个从后台数据库中取出数据的应用能否正常工作。EAV是BIG-IP提供的非常独特的功能，126、它提供管理者将BIG-IP客户化后访问各种各样应用的能力，该功能使BIG-IP在提供标准的可用性查证之外能获得服务器、应用及内容可用性等最重要的反馈。该功能对于提高系统可靠性至关重要，它用于从客户的角度测试您的站点。例如，您可以模拟客户完成交易所需的所有步骤连接到前置服务器或中间件服务器、从目录中选择项目以及验证交易使用的信用卡。一旦BIG-IP掌握了该“可用性”信息，即可利用负载平衡使资源达到最高的可用性。BIG-IP已经为测试多种服务的健康情况和状态，预定义了扩展应用验证(EAV)，如：FTP、NNTP、SMTP、POP3和MSSQL等，用户还可依据实际应用，自行编辑EAV脚本。F5产品健127、康检查的频度和间隔是可以根据用户的要求而设置。通过F5灵活自定义方式的ECV健康检查方式，用户可以检查常见的应用如HTTP、SMTP、POP3等。而通过EAV健康检查方式，更可自行编写脚本，实现更加复杂的健康检查方式，全面的检测后台服务器的运行状态，保证系统运行的高效，可靠。 会话保持技术当使用BIG-IP对服务器进行负载均衡时，就需要会话保持。如果某位用户连接到了一台服务器上，那么我们肯定希望该用户在将来再次连接时将仍可连接到该台服务器上。当该服务器存有用户相关数据，并且这些数据并不与其它服务器动态共享时，持续性就显得十分有必要了。BIG-IP提供以下几种会话保持方法：Simple Pers128、istence，SSL Session ID Persistence，SIP Persistence，Cookie Persistence，iMode Persistence，目的地址归类。 UIE+iRules在BIG-IP上，我们还可以同过BIG-IP的UIE和iRules来实现七层的流量检测和灵活的负载均衡策略定义。通过UIE，我们可以对网络流量的任何规则进行判断，如源、目的IP地址，源、目的端口，数据包内容等。通过iRules，可以将UIE判断的结果进行操作，如送往Cache Server群组、特殊的服务器群组或者简单的丢弃或者通过。 n 系统安全性实时监控服务器应用系统的状态，并智能129、屏蔽故障应用系统。多台服务器的负载均衡，提升系统的可靠性。同时可以监控和同步服务器提供的内容，确保客户获取到准确可靠的内容。提供服务器在线维护和调试的手段。3.4 存储系统的深化设计整个存储体系分为二个部分：SAN网络交换机和磁盘阵列系统。我们在本方案中推荐使用了两台磁盘阵列CLARiiON CX500作为后台存储的核心设备，每台配置了14块146GB的光纤硬盘，每台原始容量约为2.0TB。同是我们将原磁盘阵列DS-3106作为利旧设备，进行一些特殊数据的存放。每台CLARiiON CX500有两个存储处理器，每个存储处理器有两个2 Gb 光纤通道光学端口，实现从每个存储处理器到两个光纤通道环130、路的故障切换。同时系统还配置了两台EMC DS-32M2-0D光纤通道交换机和一台一期工程的光纤交换机，构成存储核心结构。l 实施步骤SAN存储架构包括：光纤通道交换机、高性能海量磁盘阵列、智能磁带库。1、 SAN系统中，各服务器、磁带库、磁盘阵列通过两个光纤交换机连接成一个SAN的结构。通过为每个服务器配置两个光纤主机适配器（HBA卡），可以将应用服务器和备份服务器通过不同的光纤交换机连接到SAN环境。关键的应用服务器需要考虑使用冗余通道，通道的冗余不仅提高了应用服务器访问存储设备的性能，同时也提高了对存储在SAN存储设备上关键数据的可访问性。所有需要实现冗余路径的应用服务器通过配置两个光纤131、主机适配器，分别连接到两个不同的交换机。新的服务器也可以采用同样的方式连接到SAN环境。2、 在20台服务器中，对关键数据量的应用部署在一 台CX500上，将非关键数据分布在负载不大的CX500中，以保证关键应用的服务质量。对存储应用数据的磁盘卷采用RAID 5的方式。 对于朝阳区现在的教学资源状况，已有小学，初中和高中的教学资源通过一个SAN交换机，将数据存储在现有的DS-3106上。为了后期便于教学资源的管理，我们将现有资源导出倒这期工程中的一台EMC CX500上。3、 前端的二十台主机中运行关键应用和数据库的服务器配置两块HBA卡，并安装EMC公司多路径软件PowerPath，关键应用132、和数据库服务器主机的两个HBA卡分别通过不同的交换机接入到CX500的两个控制器上。4、 交换机的配置以及核准主机上的代理安装, Navisphere Agent、Navisphere Manager软件的安装，并激活Access Logix for LUN access,同时创建LUNS、RAID群组和存储组。 5、 对于大流量服务器群：对于大流量服务器，对于访问频率可能很大，但对于数据的存储量未必很大（如OA服务器），这样我们不将这类服务器连在阵列上。但对与很多大流量服务器（如流媒体服务器），不仅访问比较频繁，同时也有很多的数据需要存储在磁盘阵列上的。但为了避免访问瓶颈，我们并没有在大流量133、服务区前加防火墙。对于此类数据的安全，我们会在网络层做VLAN和ACL的访问措施。同时根据磁盘阵列的原理，在磁盘阵列上的数据都是以存储卷的格式进行存储，不同的卷之间是相互独立的，服务器访问卷的权限是被指定的。这也加大了磁盘阵列上数据的安全。 对于朝阳一期工程中的SAN存储网络里，我们将早期数据导出到现有EMC CX500上，对于DS-3106存储设备，我们将利旧，专门来存放大流量数据服务器群所访问的数据。这也保证了关键数据群和INTERNET所需存储数据的安全。3.5 数据备份系统的安装与配置 对于朝阳区教育“校校通”工程的备份子系统，根据客户的实际情况和招标文件的具体要求我们推荐的是VERI134、TAS公司的NetBackup存储备份管理软件和Ultera Systems公司的Mirage虚拟磁带库。海量存储，安全，高可靠采用内部IP 地址，及时备份。Ultera Systems公司的Mirage虚拟磁带库配置了四个虚拟磁带机，直接接入到一台光纤通道交换机上。备份系统设计结构：20台与中央存储系统直连的关键业务服务器需要实现LAN-free备份，由于备份服务器占用系统资源非常小，一般不会对应用产生明显影响。在备份策略上采用全备份、增量备份、差分备份三种方式灵活应用。n 具体实施步骤1、 SAN网络是选用两台EMC DS-32M2-0D光纤通道交换机，接入前端应用服务器和备份服务器通过光135、纤通道交换机与后端的光纤接口磁盘阵列构建而成。2、 重要业务系统中的数据等都通过光纤交换机集中存储到EMC CX500磁盘阵列上，然后通过LAN Free方式把数据备份到磁带库中。3、 使用一台高性能的备份服务器在其上安装Veritas Netbackup服务器主模块来管理数据备份与恢复的工作、备份策略和介质等的管理。4、 在相应需要备份数据的服务器上安装Veritas Netbackup for Windows客户端软件和相应数据库代理软件，备份时数据先流经现在的LAN，到备份服务器，然后由服务器通过光纤通道交换机写入到磁带中。5、 实现LAN-FREE备份，我们选用Ultera Systems公司的Mirage虚拟磁带库，并配置四个光纤接口虚拟驱动器，使磁带库可以直接接入SAN。这样，当系统进行数据备份时，备份服务器通过LAN向备份客户端传输控制信息，备份数据可以直接通过SAN从磁盘阵列备份到虚拟磁带库。6、 备份策略主要有以下三种：A完全备份B增量备份（数据量大时考虑）C差分备份7、 备份内容：数据库表空间备份，文件系统备份，程序备份，磁盘克隆8、 备份周期：每天一次数据备份，每月一次完整备份3.6 结构拓扑图