1、 数据挖掘与大数据分析数据挖掘与大数据分析 实验平台实验平台方案方案 北京红亚华宇科技有限公司 二零一五年-II-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 目录 一一.背景背景.4 1.1 数据挖掘和大数据分析行业背景和发展趋势.4 1.2 数据挖掘与大数据分析实验室建设的必要性.5 二二.数据挖掘与大数据分析实验室设计理念及目标数据挖掘与大数据分析实验室设计理念及目标.5 2.1 实验室设计理念.5 2.2 数据挖掘与大数据分析实验室建设目标与特色.6 2.2.1 实验室建设目标.6 2.2.2 实验室特色.7 三三.数据挖掘与大数据分析实验平台建设方案数据挖掘与大数据分析实验平2、台建设方案.8 3.1 基础环境建设.8 3.1.1 IT环境建设.8 3.1.2 网络环境建设.8 3.2 实验平台功能.9 3.2.1 用户管理功能.10 3.2.2 实验管理功能.10 3.2.3 课件资源管理功能.11 3.2.4 实验加载功能.12 3.2.5 考试管理功能.13 3.2.6 Hadoop管理功能.14 3.2.7 部署方式简易.15 3.2.8 科研创新支撑.15 3.3 实训平台特色.16 四四.数据挖掘与大数据分析实验课程内容数据挖掘与大数据分析实验课程内容.17 4.1 EXCEL数据处理.20 4.2 统计与建模方法演示.20 4.3 数据挖掘方法演示.213、 4.4 SAS 编程基础.22 4.5 R 语言编程基础.23 4.6 MYSQL 数据库操作.23 4.7 JAVA 数据爬取.24-III-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 4.8 EXCEL高级编程.25 4.9 SAS 统计与建模.26 4.10 SAS 数据挖掘.27 4.11 R 语言统计与建模.28 4.12 R 语言数据挖掘.29 4.13 HADOOP大数据分析.30 4.14 JAVA 自然语言处理.31 4.15 SAS 数据分析综合应用.32 4.16 R 语言数据分析综合应用.32 4.17 大数据分析综合应用.33 4.18 实验列表.34 五4、五.数据挖掘与大数据分析实验室建设优势数据挖掘与大数据分析实验室建设优势.36 5.1 方案优势.36 5.2 技术优势.36 六六.技术服务技术服务.37 6.1 售前技术服务.38 6.2 技术培训.38 6.3 售后技术服务.38 七七.数据挖掘与大数据分析实验室设备清单数据挖掘与大数据分析实验室设备清单.39 -4-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 一.背景 1.1 数据挖掘和大数据挖掘和大数据分析数据分析行业背景和发展趋势行业背景和发展趋势 移动互联网、电子商务以及社交媒体的快速发展使得企业需要面临的数据量成指数增长。根据 IDC 数字宇宙(Digital Uni5、verse)研究报告显示，2020 年全球新建和复制的信息量已经超过 40ZB，是 2012 年的 12 倍;而中国的数据量则会在 2020 年超过 8ZB，比 2012 年增长 22 倍。数据量的飞速增长带来了大数据技术和服务市场的繁荣发展。IDC 亚太区(不含日本)最新关于大数据和分析(BDA)领域的市场研究表明，大数据技术和服务市场规模将会从 2012 年的 5.48 亿美元增加到 2017 年的 23.8 亿美元，未来 5 年的复合增长率达到 34.1%。该市场涵盖了存储、服务器、网络、软件以及服务市场。数据量的增长是一种非线性的增长速度。据 IDC 分析报道，最近一年来，亚太区出现了6、越来越广泛的大数据和分析领域的应用案例。在中国，从互联网企业，到电信、金融、政府这样的传统行业，都开始采用各种大数据和分析技术，开始了自己的大数据实践之旅;应用场景也在逐渐拓展，从结构化数据的分析，发展到半结构化、非结构化数据的分析，尤其是社交媒体信息分析受到用户的更多关注。用户们开始评估以 Hadoop、数据库一体机以及内存计算技术为代表的大数据相关新型技术。最新调研结果显示，提高竞争优势，降低成本以及吸引新的客户是中国用户对大数据项目最期望的三大回报。目前现有的大数据项目主要集中在业务流程优化以及提高客户满意度方面的应用。IDC 发现很多用户希望大数据能够为企业带来业务创新，并且开始使用高7、级分析的解决方案以管理复杂的数据环境。过去一年中用户对社交数据的收集和分析应用的关注度增加明显。未来，地理位置信息分析将会增长迅速，这也会推动用户对大数据安全和隐私管理的关注。在亚太区，澳大利亚和新加坡的用户对大数据的相关投资主要在咨询服务方面，更关注如何根据新的最佳实践需求设计和实施方案。中国和印度在大数据领域的硬件投资则非常明显，更倾向于数据中心相关的基础架构的投资。-5-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 在传统的数据分析与商业数据挖掘中，人们通常遵循二八原则。也就是任务 20%的用户提供了 80%的价值，因此利用优势资源用户对于少数用户的服务。随着互联网的发展，越来越8、多的低价值用户进入到商业体系中，这部分用户成为商业企业竞争的目标。比如电商行业，大量顾客都是传统意义上的低价值客户，数据表明对于这部分用户价值的挖掘可以改变二八原则，甚至可达到价值的几乎均匀分布。并且由于计算技术的发展，对于大数据的分析也成为了可能。1.2 数据挖掘与大数据分析实验室建设的数据挖掘与大数据分析实验室建设的必要性必要性 数据挖掘与大数据分析是以计算机基础为基础，以挖掘算法为核心，紧密面向行业应用的一门综合性学科。其主要技术涉及概率论与数理统计、数据挖掘、算法与数据结构、计算机网络、并行计算等多个专业方向，因此该学科对于实验室具有较高的专业要求。实验室不仅要提供基础的开发环境，还要9、提供大数据的运算环境以及用于实验的实战大数据案例。这些实验素材的准备均需专业的大数据实验室作为支撑。目前，在我国高校的专业设置上与数据挖掘与大数据分析实验相关的学科专业包括：计算机科学与技术、信息管理与信息系统、统计学、经济、金融、贸易、生物信息以及公共卫生等。这些专业的学生需要分别从原理、技术与应用等不同的角度掌握大数据分析的理论与分析方法。学生要很好地掌握这些课程，除了课堂学习，通过实验来加深理解和提高实际应用操作能力也是主要途径。调查表明，数据挖掘与大数据分析实验所需要的算法、计算环境以及数据等，都无法在我国高校现有的实验室中完成。因此，建设专门的数据挖掘与大数据分析实验室就显得非常重要10、。二.数据挖掘与大数据分析实验室设计理念及目标 2.1 实验室设计理念实验室设计理念 数据挖掘与大数据分析实验室的设计全面落实“产、学学、研、用用”一体化的思想和模式，从教学、实践、科研和使用多方面注重专业人才和特色人才的培养。本实验室建设方案融合数据挖掘与大数据分析专业教学、实训、实战等各层次实践教学，能够从面向大数据分析行业需求和促进学生职业发展的角度规划和建设数据挖掘与大数据分析实验室，真正在产业、学校、科研及实际项目中相互配合，发挥优-6-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 势，形成生产、学习、科学研究、实践运用的系统运作模式，从而建设大数据分析特色专业。利用虚拟化教11、学资源，搭建实训平台和实战平台，将理论学习、实践教学和大数据分析实战融为一体，由难而易、循序渐进，逐步提升学生的学习技能和实践水平，提高“学”的质量和成效。利用大数据分析主流软件框架，搭建与业界主要用户一致的实验与科研环境，将理论课程中学到的数据挖掘算法运用到实际的数据分析过程中，提升学生的动手操作和项目实践能力。使得学生所学与企业项目人才需求无缝衔接，与教师的科研工作紧密配合。通过专业的大数据分析计算资源搭建的开放式大数据分析平台，可以充分的融合教师的科研需求，教师可以在开放的平台环境下开展大数据科研工作，提升教师的科研创新能力，充分提高“研”的成效。2.2 数据挖掘与大数据分析实验室建设目12、标与特色数据挖掘与大数据分析实验室建设目标与特色 2.2.1 实验室建设目标实验室建设目标 大数据指的是所涉及的数据量规模巨大到无法利用目前主流软件工具，在合理时间内达到采集、管理、处理、并整理成为帮助企业经营决策更积极目的的数据信息。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。因此数据挖掘与大数据分析实验室重点培养学生对于数据的处理与分析能力。由此可见，数据挖掘与大数据教学过程中包含数据挖掘算法与大数据分析算法两个部分的内容。13、学生首先要掌握数据挖掘的基本理论与算法，其次要掌握大数据处理的框架与平台，进而掌握针对大数据的数据挖掘方法。因此本实验室建设内容包括数据挖掘部分与大数据算法部分两大类实验。数据挖掘部分的实验包括基本实验与算法实验两部分。基本实验用于给学生建立起数据挖掘的基本概念，展示常用的数据挖掘算法。以典型的应用数据为例，展示常用算法的分析效果。算法实验为学生提供编程框架，针对重要的数据挖掘算法进行实-7-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 现。该部分实验以 R 语言为开发环境，学生通过本实验室将掌握数据挖掘主要算法的实现方法。大数据算法实验包括基本的大数据分析平台与算法实验以及典型实战数14、据分析实验两部分。大数据分析平台与算法实验包括平台配置与典型算法设计两大类，通过该类实验使得学生能够完成对于大数据分析平台的配置与初始化工作并具有基本MapReduce 算法开发能力。典型实战数据分析实验，让学生利用真实的行业数据，完成大数据挖掘与分析，掌握数据挖掘与大数据分析的一般流程。2.2.2 实验室特色实验室特色 1、大数据环境搭建与大数据算法实现相结合。大数据算法作为最新的算法分析技术具有完全不同的设计思路，算法开发过程对初次接触该部分内容的本科生而言有较大的难度，一方面是算法思想的新颖性，另一方面则是算法实现对于程序开发的能力要求较高。因此为了实验的顺利完成，需要给学生一个入门的过15、程，本实验室通过环境搭建以及简单实验的过渡来实现的。本实验对于学生的要求是框架性的，允许学生的创新，以激发和培养学生的创新意识和创新能力。2、多梯度、层次式的系列实验。为了照顾和覆盖能力和兴趣存在明显差别的多个学生群体，在设置特色实验的具体实验内容时，提供层次性、阶段性的开发目标，不同学生可以根据自己的能力差别选择合适的开发任务难度，而且在实验过程中，学生也可以根据进度调整相应的实验难度，以避免学生不能完成实验的情况，充分维护和提高学生参与该特色实验的兴趣和信心。3、充分支撑的科研工作。系统提供数据分析接口，可将收集到的大数据进行分析统计，按自己需求生成报表，为科研工作提供数据支承。例如某地区16、经济数据分析、股市数据分析等。-8-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 三.数据挖掘与大数据分析实验平台建设方案 作为专业的高校实验室建设方案提供商，结合相关知名高校及科研机构的教学及科研成果，提供了一套完整的高校数据挖掘与大数据分析的实验室解决方案。该实验室方案按照数据挖掘、大数据平台与算法、行业实战数据分析三个层次来搭建。通过典型的算法展示、算法实现结合大数据分析的应用场景与案例对学生进行数据分析方面的综合训练，从而实现专业实验教学的由点及面、理论到应用、涵盖原理验证/综合应用/自主设计及创新的多层次实验体系。3.1 基础环境建设基础环境建设 实验室基础环境建设主要是支撑17、实验室教学运行的基本环境配套建设，包括学生实验用桌椅、教学用投影音响器材、实验室空调系统、综合布线系统、安防监控系统及实验室装修系统等。通过这些基础支撑环境的建设，才能保证实验室正常为教学和科研服务。综合基础环境建设的各项内容，针对实验室的空间环境及现代实验教学的发展趋势，一个实验班级 50 个学生可分为 5 个实验组，每组可安排 10 个学生同时进行实验，这样可安排 50 个学生同时进行数据挖掘与大数据分析相关的实验课程。3.1.1 IT 环境建设环境建设 IT 环境建设包括实验终端个人电脑和存储规划建设。学生实验终端计算机学生实验终端计算机一方面可以采用普通终端 PC 机，组合成实验室局域18、网，支撑学生进行实验，另一方面随着云计算技术的发展，学生计算机可以采用虚拟桌面云虚拟桌面云终端终端的设计方式，通过采用专用云资源服务器及存云调度设备进行设计，利用服务器虚拟化的方法来对终端进行支撑，用户通过部署在实验台的瘦客户端进行实验操作，所有应用、数据统一存放在后台服务器，虚拟桌面云终端不存放任何数据，可被管理工具统一管理，包括分发系统、更新软件、远程监控、审计等操作。虚拟桌面云平台也通过虚拟化平台的管理工具管理，大大降低维护人员的重复工作量。3.1.2 网络环境建设网络环境建设 数据挖掘与大数据分析实验室网络部署环境如图 1 所示。其中，路由器和交换机-9-数据挖掘与大数据分析实验室数据19、挖掘与大数据分析实验室 等网络设备将用户和存储连接起来，是用户之间以及用户与资源之间的通信设备；实训平台设备提供云存储和统一资源调度系统功能，其可以是一台设备，也可以是多台设备的集群部署，以提高设备的虚拟化能力，用户通过统一资源调度平台调用其中的所所有资源，而无需关注硬件设备；管理员可以对平台进行统一管理，包括账户管理、资源管理、实验管理等；普通用户可以通过平台进行各项数据挖掘实验及技术验证等操作。针对校方已有的网络设备，可以进行整合，而且相关设备与模块也可根据校方专业教学和实验室建设的具体情况进行选择。教师管理区教师管理区外部用户远程互联接入区远程互联接入区大数据实验平台大数据实验平台大数据20、计算集群大数据计算集群Hadoop计算集群管理控制数据存储实验室服务区管理设备实验室服务区管理设备实验台实验台学生实验区学生实验区网络投影机网络投影机 图 数据挖掘与大数据分析实验室网络拓扑结构 3.2 实验平台功能实验平台功能 教学实训平台建设通过云计算虚拟化平台及教育管理平台实现教学实训平台的建设。云计算虚拟平台通过云计算管理平台为计算机教学虚拟各种实验操作环境，让学生进行各种数据挖掘算法的演示与开发，真实体验数据科学在实际环境中的应用。教育培训管理平台即我们通常说的网络学习平台,是一种基础性技术平台。它以课程管理为中心、学习活动驱动的一套辅助性培训信息化解决方案软件系统。创新性引进了模拟21、仿真教学的理念,可将面授课堂完全搬到网络进行,同时引进了培训班的概念,将课程学习及考试与培训班有机结合,对在线培训进行有效管理。-10-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 3.2.1 用户管理用户管理功能功能 根据学校实际情况，管理员可以自定义添加删除专业、年级和班级，通过 Excel表格批量导入导出用户。根据实验环境也可进行用户的自主注册，由管理员审核后即可进行登录。专业、年级、班级列表 批量导入用户列表 3.2.2 实验管理实验管理功能功能 根据教学安排制定课程表，安排学生的选修课和必修课，最后通过课程调度可以按课程或者按用户进行安排课程。-11-数据挖掘与大数据分析实验22、室数据挖掘与大数据分析实验室 课程表 3.2.3 课件资源课件资源管理功能管理功能 针对高等院校计算机、商科、统计等学科相关专业德尔要求，本实验平台开发了包括低中高不同难度的 17 大类近百个实现项目。实验涵盖了统计分析、软件应用、算法展示、统计算法开发以及大数据计算等内容，可以满足不同学科不同层次学生的学习需求。针对这些实验内容，实验平台开发了相应的实验指导书、实验数据说明以及实验数据等课件资源。学生可利用这些资源顺利完成实验内容。-12-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 课件资源 3.2.4 实验加载实验加载功能功能 通过 web 浏览器直接登录实训平台并启动实验，参照23、实验课件可以进行自主学习。在学生进行实验的过程当中，教师可以随时进行远程协助，对学生进行指导。实验结束后，自动释放系统资源。学生实验环境-13-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 3.2.5 考试管理考试管理功能功能 针对实验课程在线进行课程实训考核，学生可根据老师的要求提交实验报告，老师在后台进行评分。实验报告 成绩-14-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 后台打分 3.2.6 Hadoop 管理功能管理功能 针对大数据处理机群，后台提供可视化的管理界在，可查看计算资源使用情况，可根据使用情况对机群进行管理及资源分配。-15-数据挖掘与大数据分析实验室数24、据挖掘与大数据分析实验室 Hadoop 机群管理 3.2.7 部署方式简易部署方式简易 数据挖掘与大数据分析实验平台部署非常简易，通过一根网线接入到实验室网络中，客户端无须安装任何客户端软件，即可完成设备的部署和环境的搭建。学生通过web 页面访问设备并进行实验，教师和管理员通过 web 页面进行实验和设备的管理。实验平台所需的计算资源均通过虚拟化的方式提供，可灵活适应教学实验与科研工作需求。3.2.8 科研创新支撑科研创新支撑 数据挖掘与大数据分析实验平台通过虚拟机的方式为学生提供了实验开发与操作平台，同时也为教师科研提供专门的算法开发平台。通过这些算法平台，教师可方便地进行数据爬取、文本分25、析、算法实现等开发工作，并且通过实验平台所提供的 Hadoop运算环境，自由设计算法处理数据。-16-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 开启科研虚拟机 实际科研数据案例分析 3.3 实训平台特色实训平台特色 云计算虚拟功能云计算虚拟功能 平台采用云虚拟化技术，包括 OSOS 虚拟化虚拟化（单平台多操作系统，容易扩展迁移）、APPAPP 虚拟化虚拟化（一次安装，随处使用，方便共享）、实验环境虚拟化实验环境虚拟化（用户接入实训平台，使用云虚拟环境提供的在线实验服务），提高了单台产品虚拟化能力，扩充了实验环境，达到了一台设备就是一个实验室的效果，降低了投入成本和维护成本。-17-26、数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 虚拟机管理 镜像生成器功能镜像生成器功能 用户可以非常方便的完成所需设备的镜像制作以及新实验的环境搭建，无需购买新的硬件设备。简便快捷整合功能简便快捷整合功能 可以将实验需要的材料、虚拟机资源、网络、存储资源等整合成全新的实验供用户使用。实验课程并发功能实验课程并发功能 教师可以同时开展多个大数据分析课程，通过启动不动的实验课件，为不同的学员分配相应的实验课程。实验考评功能实验考评功能 提供教师编写考题的功能，可针对自身教学的需要，根据实验内容或相关知识点编写试题及答案加入题库；在给学生分配实验的同时可以引入相关的实验考题，学生在完成实验后27、回答相关的试题，系统将根据提交结果自动进行评分。统一管理功能统一管理功能 平台具备统一数据管理、实验内容管理等功能，结合真实网络、Hadoop 环境、行业应用数据进行信息大数据分析实验。四.数据挖掘与大数据分析实验课程内容 数据挖掘与大数据分析涉及到概率论与数理统计、算法与数据结构、程序语言开发、数据挖掘、计算机网络、并行计算等多门学科。本实验课程的内容涵盖了上述所-18-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 涉及到的内容，并按照实验内容的复杂度分为初级、中级以及高级三个等级。同时实验课程也根据面向的专业不同，将实验内容分为了演示实验、一般操作性实验、开发性实验以及大数据开放实28、验等不同实现内容。这些内容的交叉组合可以实现针对不同专业与不同层次学生的实验课程设计。实验内容有 4 类共计 100 多个实验项目，采用实验管理系统，能够为数据挖掘与大数据教学及科研提供一个完整的、一体化的实验教学环境，从而打造出全方位的专业大数据分析实验室。-19-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 ExcelExcel数据处理数据处理 Excel基本操作 Excel数据可视化 Excel函数与公式 Excel透视表 Excel数据分析统计与建模方法演示统计与建模方法演示 统计推断基础 统计分布 假设检验 基本线性回归 多变量线性回归 广义线性模型数据挖掘方法演示数据挖掘方29、法演示 数据可视化 聚类 数据降维 分类基础 决策树分类方法 高级分类方法 关联分析R R语言编程基础语言编程基础 R语言基础 R语言控制语句 R语言数据类型 R语言常用函数 R语言程序调试SASSAS编程基础编程基础 SAS基础 SAS控制语句 SAS数据类型 SAS常用函数 SAS程序调试MySQLMySQL数据库操作数据库操作 MySQL配置 SQL中的DDL语句 SQL中的DML语句 SQL中的DCL语句 MySQL常用函数 MySQL存储过程和自定义函数R R语言语言统计与建模统计与建模 R语言统计推断基础 R语言统计分布 R语言假设检验 R语言基本线性回归 R语言多变量线性回归 R30、语言广义线性模型R R语言数据挖掘语言数据挖掘 R语言数据可视化 R语言聚类数据 R语言降维 R语言分类基础 R语言决策树分类方法 R语言高级分类方法 R语言关联分析SASSAS统计与建模统计与建模 SAS统计推断基础 SAS统计分布 SAS假设检验 SAS线性回归 SAS多变量线性回归 SAS广义线性模型SASSAS数据挖掘数据挖掘 SAS数据可视化 SAS聚类 SAS数据降维 SAS分类基础 SAS决策树分类方法 SAS高级分类方法 SAS关联分析SASSAS数据分析综合应用数据分析综合应用 SAS建立信用评分模型 SAS预测股票市场收益 SAS预测经济指标 SAS侦测欺诈交易 SAS微阵31、列样本分类HadoopHadoop大数据分析大数据分析 Hadoop配置 Hadoop基本操作 基本MR程序开发 迭代式MR程序开发 高级MR程序开发 Hive数据库操作大数据分析大数据分析综合综合应用应用 社交网络结构分析 超市零售数据分析 微博消息分析 用户上网行为分析 电影评分分析JAVAJAVA自然语言处理自然语言处理 字符串编码 正则表达式 自动分词 句法分析 语义分析JAVAJAVA数据爬取数据爬取 抓取网页 处理HTML页面 非HTML正文抽取 设计爬虫队列 并行爬虫R R语言数据分析综合应用语言数据分析综合应用 R语言建立信用评分模型 R语言预测股票市场收益 R语言预测经济指标32、 R语言侦测欺诈交易 R语言微阵列样本分类初级 中级 高级ExcelExcel高级编程高级编程 VBA程序基础 VBA控制语句 VBA常用函数 VBA综合应用计算机、信息管理商科、社会性、统计、生物信息-20-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 4.1 Excel 数据处理数据处理 Excel 是微软公司 office 系列办公软件的组件之一，它是一个功能强大的电子表格程序。Excel 不仅可以将整齐而美观的表格呈现给用户，还可以用来进行数据的分析和预测，完成许多复杂的数据运算，帮助使用者做出更加有根据的决策。同时它还具有强大的可视化功能可以将表格中的数据通过各种各样的图形、33、图表的形式表现出来，增强表格的表达力和感染力。因此 Excel 是用于数据挖掘与数据分析的最基本软件工具。本类实验主要侧重 Excel 数据处理的教学，对学生无任何基础要求。本类实验包括：Excel 基本操作、数据可视化、函数与公式、透视表和基本的数据分析方法。通过本类实验，学生可以掌握 Excel 数据处理的基本方法。4.2 统计与建模方法演示统计与建模方法演示 统计学是通过搜索、整理、分析数据等手段，以达到推断所测对象的本质，甚至预测对象未来的一门综合性科学。其中用到了大量的数学及其它学科的专业知识，它的使用范围几乎覆盖了社会科学和自然科学的各个领域。建模就是建立模型，就是为了理解事物而对34、事物做出的一种抽象，是对事物的一种无歧义的书面描述。建立系统模型的过程，又称模型化。建模是研究系统的重要手段和前提。本类实验主要侧重统计学方法以及常用数学建模方法的演示，对学生无编程基础要求，也并不会涉及任何代码。本类实验包括：统计推断基础、统计分布、假设检验、-21-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 基本线性回归、多变量线性回归和广义线性模型。通过本类实验，学生可以掌握统计与建模的一般方法和流程。4.3 数据挖掘方法演示数据挖掘方法演示 数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、35、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。本类实验主要侧重数据挖掘方法的演示，对学生无编程基础要求，也并不会涉及任何代码。本类实验包括：数据可视化、聚类、数据降维、分类基础、决策树分类方法、高级分类方法和关联分析。通过本类实验，学生可以掌握数据挖掘的常用方法和流程。-22-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 4.4 SAS 编程基础编程基础 SAS（全称 STATISTICAL ANALYSIS SYSTEM，简称 SAS）是全球最大的软件公司之一，是由美国 NORTH CAROLINA 州立大学 1966 年开发的统计分析软件。经历了许多版本，并经过36、多年来的完善和发展，SAS 系统在国际上已被誉为统计分析的标准软件，在各个领域得到广泛应用。本类实验主要侧重 SAS 编程的教学，对学生无编程基础要求。本类实验包括：SAS基础、控制语句、数据类型、常用函数和程序调试。通过本类实验，学生可以掌握 SAS编程的基本方法。-23-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 4.5 R 语言编程基础语言编程基础 R 语言是一套完整的数据处理、计算和制图软件系统。其功能包括：数据存储和处理系统、数组运算工具（其向量、矩阵运算方面功能尤其强大）、完整连贯的统计分析工具、优秀的统计制图功能、简便而强大的编程语言，可操纵数据的输入和输出，可实现分支37、循环，用户可自定义功能。本类实验主要侧重 R 语言编程的教学，对学生无编程基础要求。本类实验包括：R 语言基础、控制语句、数据类型、常用函数和程序调试。通过本类实验，学生可以掌握 R 语言编程的基本方法。4.6 MySQL 数据库操作数据库操作 MySQL 是一个关系型数据库管理系统，是最流行的关系数据库管理系统应用软件之一。MySQL 所使用的 SQL 语言是用于访问数据库的最常用标准化语言。由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择 MySQL 作为网站数据库。由于其社区版的性能卓越，搭配 PHP 和 Apache 可组成良好的开发环境。本类38、实验主要侧重 SQL 编程和 MySQL 的使用，对学生无编程基础要求。本类实验包括：MySQL 配置、SQL 中的 DDL、DML 和 DCL 语句、MySQL 常用函数、存储过程和自定义函数。通过本类实验，学生可以掌握 MySQL 数据库的基本使用方法和SQL 编程的基本方法。-24-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 4.7 JAVA 数据爬取数据爬取 网络爬虫，又被称为网页蜘蛛、网络机器人，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。传统爬虫从一个或若干初始网页的 URL 开始，获得初始网页上的 URL，在抓取网页的过程中，不断从当前页面上抽取新的 UR39、L 放入队列，直到满足系统的一定停止条件。本类实验主要侧重用 JAVA 编写爬虫程序的基本步骤和模块，要求学生在实验前掌握基本的JAVA 语法和 JAVA 程序的调试方法。本类实验包括：抓取网页、处理 HTML页面、非 HTML 正文提取、设计爬虫队列和并行爬虫。通过本类实验，学生可以掌握用 JAVA 编写爬虫程序的基本方法。-25-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 4.8 Excel 高级编程高级编程 在 Excel 中，有些数据分析的高级功能需要掌握 VBA 才能充分实现。Visual Basic for Applications（VBA）是 Visual Basic 40、的一种宏语言，是微软开发出来在其桌面应用程序中执行通用的自动化任务的编程语言。主要能用来扩展 Windows 的应用程式功能，特别是 Microsoft Office 软件。本类实验主要侧重 Excel VBA 的教学，要求学生在实验前先完成Excel 数据处理实验。本类实验包括：VBA 程序基础、控制语句、常用函数和综合应用。通过本类实验，学生可以掌握 Excel VBA 编程的基本方法。-26-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 4.9 SAS 统计与建模统计与建模 SAS 具有强大的统计与建模功能，可以进行基本的统计检验、线性回归、方差分析、列联表检验等基本统计分析，还41、可以进行曲线拟合、线性回归以及广义线性模型拟合。本类实验主要侧重用 SAS 进行统计与建模的基本方法，要求学生在实验前先完成统计与建模方法演示和SAS 编程基础实验。本类实验包括：SAS 统计推断基础、统计分布、假设检验、基本线性回归、多变量线性回归和广义线性模型。通过本类实验，学生可以掌握用 SAS 进行统计与建模的常用方法和流程。-27-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 4.10 SAS 数据挖掘数据挖掘 SAS Enterprise Miner(SAS EM)是一个图形化界面，菜单驱动的，拖拉式操作，对用户非常友好且功能强大的数据挖掘集成环境。其中集成了数据获取工具、42、数据抽样工具、数据筛选工具、数据变量转换工具、数据挖掘数据库、数据挖掘过程、多种形式的回归工具、为建立决策树的数据剖分工具、决策树浏览工具、人工神经元网络和数据挖掘的评价工具。本类实验主要侧重用 SAS EM 进行数据挖掘方法的基本方法，要求学生在实验前先完成数据挖掘方法演示和SAS 编程基础实验。本类实验包括：SAS 数据可视化、聚类、数据降维、分类基础、决策树分类方法、高级分类方法和关联分析。通过本类实验，学生可以掌握用 SAS EM 进行数据挖掘的常用方法和流程。-28-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 4.11 R 语言统计与建模语言统计与建模 R 语言具有强大的统43、计与建模功能。R 并不是仅仅提供若干统计程序、使用者只需指定数据库和若干参数便可进行一个统计分析。R 的思想是：它可以提供一些集成的统计工具，但更大量的是它提供各种数学计算、统计计算的函数，从而使使用者能灵活机动的进行数据分析，甚至创造出符合需要的新的统计计算方法。本类实验主要侧重用 R 语言进行统计与建模的基本方法，要求学生在实验前先完成统计与建模方法演示和R 语言编程基础实验。本类实验包括：R 语言统计推断基础、统计分布、假设检验、基本线性回归、多变量线性回归和广义线性模型。通过本类实验，学生可以掌握用 R 语言进行统计与建模的常用方法和流程。-29-数据挖掘与大数据分析实验室数据挖掘与大44、数据分析实验室 4.12 R 语言数据挖掘语言数据挖掘 R 语言在数据挖掘方面应用广泛，包含了大量的数据挖掘方面的算法包，使得它成为一款优秀的、不可多得的数据挖掘工具软件。本类实验主要侧重用 R 语言进行数据挖掘方法的基本方法，要求学生在实验前先完成数据挖掘方法演示和R 语言编程基础实验。本类实验包括：R 语言数据可视化、聚类、数据降维、分类基础、决策树分类方法、高级分类方法和关联分析。通过本类实验，学生可以掌握用 R 语言进行数据挖掘的常用方法和流程。-30-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 4.13 Hadoop 大数据分析大数据分析 Hadoop 是一个由 Apach45、e 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System），简称 HDFS。HDFS 有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS 放宽了 POSIX 的要求，可以以流的形式访问文件系统中的数据。本类实验主要侧重用 Hadoop 进行大数据分析的基本方法，要求学生在实验前先完成MySQL 数据库操作实验。本类实验包括：Hadoop 配46、置、基本操作、基本MR 程序开发、迭代式 MR 程序开发、高级 MR 程序开发和 Hive 数据库操作。通过本类实验，学生可以掌握用 Hadoop 进行大数据分析的常用方法和流程。-31-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 4.14 JAVA 自然语言处理自然语言处理 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不47、是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。本类实验主要侧重用 JAVA 进行自然语言处理的基本方法，要求学生在实验前掌握基本的 JAVA 语法和 JAVA 程序的调试方法。本类实验包括：字符串编码、正则表达式、自动分词、句法分析和语义分析。通过本类实验，学生可以掌握用 JAVA 编进行自然语言处理的基本方法。-32-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 4.15 SAS 数据分析综合应用数据分析综合应用 SAS 被称赞为“世界五百强背后的管理大师”。个中的原因就在于，企业 通过使用 SAS 的商业智能48、软件，能够从海量的数据中，挖掘出不易认知的各种联系。大量企业正在使用 SAS 进行市场营销的策略分析和研究，在市场细分、客户流失管理、信用管理等诸多领域业已取得了初步的成效。因此，学生掌握 SAS 的综合应用对未来的职场竞争力有着举足轻重的作用。本类实验主要侧重用 SAS 在数据分析中的综合应用案例，要求学生在实验前先完成SAS 统计与建模和SAS 数据挖掘实验。本类实验包括：SAS 建立信用评分模型、预测股票市场收益、预测经济指标、侦测欺诈交易、微阵列样本分类。通过本类实验，学生可以掌握用 SAS 处理真实案例的常用方法和流程。4.16 R 语言数据分析综合应用语言数据分析综合应用 在Tio49、be公布的编程语言排行榜上，R语言位列第27位，市场占有率目前是0.5%，SAS 目前是 0.386%，排在第 35 位。可见，R 语言比 SAS 使用人数更多。R 语言是全世界最强大的用于统计计算分析的计算机语言。它可以计算所有的统计学方程式。R 语言不只是一门计算机语言，而是一个工具包，一个群落，一个众多免费软件的集合。有了开源的 R 语言，人人都能够准确地知道他们的房子、车子、公司和前景到底如何。许多世界五百强企业也正逐渐引入 R 语言作为他们分析环境的一部分。本类实验主要侧重用 R 语言在数据分析中的综合应用案例，要求学生在实验前先完成R 语言统计与建模和R 语言数据挖掘实验。本类实验50、包括：R 语言建立信用评分模型、预测股票市场收益、预测经济指标、侦测欺诈交易、微阵列样本分类。通过本类实验，学生可以掌握用 R 语言处理真实案例的常用方法和流程。-33-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 4.17 大数据分析综合应用大数据分析综合应用 Hadoop 目前正在被越来越多企业所应用，其范围涉及在线旅游、移动数据、电子商务、能源发现、能源节省、基础设施管理、图像处理、欺诈检测、IT 安全和医疗保健。并且其扩张趋势日益明显。本类实验主要侧重用大数据分析中的综合应用案例，要求学生在实验前先完成 R语言数据挖掘、Hadoop 大数据分析和JAVA 自然语言处理实验。本类51、实验包括：社交网络结构分析、超市零售数据分析、微博消息分析、用户上网行为分析和电影评分分析。通过本类实验，学生可以掌握大数据分析真实案例的常用方法和流程。-34-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 4.18 实验列表实验列表 实验模块实验模块 实验项目实验项目 实验难度实验难度 ExcelExcel 数据处理数据处理 Excel 基本操作 初级 Excel 数据可视化 初级 Excel 函数与公式 初级 Excel 透视表 初级 Excel 数据分析 初级 统计与建模方法演示统计与建模方法演示 统计推断基础 初级 统计分布 初级 假设检验 初级 基本线性回归 初级 多变量线性52、回归 初级 广义线性模型 初级 数据挖掘方法演示数据挖掘方法演示 数据可视化 初级 聚类 初级 数据降维 初级 分类基础 初级 决策树分类方法 初级 高级分类方法 初级 关联分析 初级 SASSAS 编程基础编程基础 SAS 基础 初级 SAS 控制语句 初级 SAS 数据类型 初级 SAS 常用函数 初级 SAS 程序调试 初级 R R 语言编程基础语言编程基础 R 语言基础 初级 R 语言控制语句 初级 R 语言数据类型 初级 R 语言常用函数 初级 R 语言程序调试 初级 MySQLMySQL 数据库操作数据库操作 MySQL 配置 初级 SQL 中的 DDL 语句 初级 SQL 中的 53、DML 语句 初级 SQL 中的 DCL 语句 初级 MySQL 常用函数 初级 MySQL 存储过程和自定义函数 初级 JAVAJAVA 数据爬取数据爬取 抓取网页 中级 处理 HTML 页面 中级 非 HTML 正文抽取 中级 设计爬虫队列 中级-35-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 并行爬虫 中级 ExcelExcel 高级编程高级编程 VBA 程序基础 中级 VBA 控制语句 中级 VBA 常用函数 中级 VBA 综合应用 中级 SASSAS 统计与建模统计与建模 SAS 统计推断基础 中级 SAS 统计分布 中级 SAS 假设检验 中级 SAS 基本线性回归 中54、级 SAS 多变量线性回归 中级 SAS 广义线性模型 中级 SASSAS 数据挖掘数据挖掘 SAS 数据可视化 中级 SAS 聚类 中级 SAS 数据降维 中级 SAS 分类基础 中级 SAS 决策树分类方法 中级 SAS 高级分类方法 中级 SAS 关联分析 中级 R R 语言统计与建模语言统计与建模 R 语言统计推断基础 中级 R 语言统计分布 中级 R 语言假设检验 中级 R 语言基本线性回归 中级 R 语言多变量线性回归 中级 R 语言广义线性模型 中级 R R 语言数据挖掘语言数据挖掘 R 语言数据可视化 中级 R 语言聚类 中级 R 语言数据降维 中级 R 语言分类基础 中级 R55、 语言决策树分类方法 中级 R 语言高级分类方法 中级 R 语言关联分析 中级 HadoopHadoop 大数据分析大数据分析 Hadoop 配置 中级 Hadoop 基本操作 中级 基本 MapReduce 程序开发 中级 迭代式 MapReduce 程序开发 中级 高级 MapReduce 程序开发 中级 Hive 数据库操作 中级 JAVAJAVA 自然语言处理自然语言处理 字符串编码 中级 正则表达式 中级 自动分词 中级 句法分析 中级-36-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 语义分析 中级 SASSAS 数据分析综合应用数据分析综合应用 SAS 建立信用评分模型56、 高级 SAS 预测股票市场收益 高级 SAS 预测经济指标 高级 SAS 侦测欺诈交易 高级 SAS 微阵列样本分类 高级 R R 语言数据分析综合应用语言数据分析综合应用 R 语言建立信用评分模型 高级 R 语言预测股票市场收益 高级 R 语言预测经济指标 高级 R 语言侦测欺诈交易 高级 R 语言微阵列样本分类 高级 大数据分析综合应用大数据分析综合应用 社交网络结构分析 高级 超市零售数据分析 高级 微博消息分析 高级 用户上网行为分析 高级 电影评分分析 高级 五.数据挖掘与大数据分析实验室建设优势 5.1 方案优势方案优势 数据挖掘与大数据分析实验解决方案全面落实“产、学、研、用”57、一体化的思想和模式，从教学、实践、科研和使用多方面注重专业人才和特色人才的培养。能够从大数据产业需求和发展的角度规划和建设大数据分析实验室，真正在产业、学校、科研及实际项目中相互配合，发挥优势，形成生产、学习、科学研究、实践运用的系统运作模式。实验室解决方案一方面能够提升学生的动手能力和实战能力，按照从理论学习到项目实践的方式增强学生大数据分析的能力与经验；另一方面还可以为教师提供良好的数据分析科研环境，提高学校教师工程化实践项目实施和管理经验。5.2 技术优势技术优势 实验平台采用业内先进的云计算虚拟化技术，通过云计算虚拟化调度和管理实验室的存储与计算资源。学生实验所需的开发与操作环境均以虚58、拟化的方式提供，让学-37-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 生进行大数据分析相关的开发与数据分析工作。实验平台可为每个学生分配独立的实验环境，并提供简单可用的开发环境与真实有效的数据资源。实验平台对计算复杂的大数据分析提供统一的 Hadoop 计算环境，并用可对环境中的学生资源进行有效管理。平台采用了如下关键技术：3V3V-CloudLabCloudLab 技术技术(Virtual OS,Virtual App,Virtual EnvironmentVirtual OS,Virtual App,Virtual Environment)服务软件运行在虚拟 OS 层，有硬件虚59、拟化支持，保证服务的一致性、可迁移性与基本性能。虚拟应用技术带来的直接好处实验工具软件免安装，实验主机直接从网络路径下载远程应用至本地运行。虚拟实验环境，在虚拟 OS 与虚拟 APP 的基础上，进一步模拟各类实验组网，根据课程内容需要动态完成。实验环境虚拟化：以云的方式提供在线培训服务。WebTermWebTerm 技术技术 使用 Web 浏览器接入远程桌面，无需其它软件。实验与课程在流程上结合得更紧密。AutoDeployingAutoDeploying 技术技术 方便实验。通过 CF 卡上的网络安装程序，完成本地资源规划与软件部署，实现无人值守。SelfRecoverSelfRecover60、 技术技术 借助虚拟化与自部署技术，在系统出现严重故障时，智能恢复。六.技术服务 多年来，公司秉承“用户至上、伴随保障、全程服务、追求完美”服务理念，为用户全面优质高效服务。我们为用户提供的不仅仅是单一的产品，更注重于从用户的实际情况及未来发展需求出发，提供一整套完美的解决方案。北京红亚华宇科技有限公司拥有一支专业的技术服务队伍，包括有多年实际工作经验的资深系统工程师、软件研发人员、测试工程师、售前技术人员、售后实施及维护人员，他们能够深入了解用户需求，以最佳方案真诚为用户提供优秀服务。除依靠自身的技术力量以外，北京红亚华宇科技有限公司还通过与上海交大及其它供应商的亲密合作，不断加强自身能力建61、设，有效保证客户项目顺利进行。-38-数据挖掘与大数据分析实验室数据挖掘与大数据分析实验室 6.1 售前售前技术服务技术服务 项目实施前，公司售前技术人员会根据用户需求提供一套系统建设方案，并在与用户分析现有的技术环境及长期建设目标的基础上，为用户设计出最佳解决方案。此外，根据用户的具体情况，售前技术人员必要时可搭建演示环境，提供北京红亚华宇科技有限公司相关解决方案产品的演示，以便用户更深了解项目建设情况；同时，售前技术人员还为用户提供相关的技术咨询和方案设计，为用户提供新建系统与已有系统的整合方案，保护用户已有的投资。售前技术人员作为用户项目团队的一个重要组成部分，其掌握的用户信息将一直共享62、到项目的最终实施，以保障项目的成功。6.2 技术技术培训培训 针对本文的解决方案，我们将在建设项目移交给用户运行前对最终用户进行相关的技术培训，此外，每次的系统升级或者根据用户的要求，我们将提供不定期的技术培训服务。该类技术培训主要分为以下两部分：(1)操作用户培训：针对系统日常运行操作进行集中培训，对于实训平台而言，培训对象主要是授课老师，内容为日常实验教学操作步骤等。(2)系统管理用户培训：针对系统日常管理、维护、安装进行培训，对于实训平台而言，培训对象为实验室技术管理人员，内容为系统常见技术问题处理方式等。6.3 售后售后技术服务技术服务 北京红亚华宇科技有限公司组建了一支专业的售后技术63、服务队伍，这支队伍包括网络工程师、大数据工程师、系统工程师等，他们负责进行用户项目的现场实施，同时接受用户系统日常运行过程中的技术咨询和维护服务。北京红亚华宇科技有限公司的售后服务可以做到：(1)协助计划 在项目实施之前，售后（售前）技术服务人员向用户提供项目实施的前提条件，包含网络环境要求、软硬件要求等。对于用户购买的硬件和软件，在设备到达安装现场之后，售后技术人员将协助用户进行设备的安装、调试及验收。(2)现场服务 根据用户需求及合同规定的时间，售后技术人员将在用户现场进行项目实施，包含软硬件设备的安装、调试及验收，帮助用户顺利掌握系统，尽量减少项目实施周期，-39-数据挖掘与大数据分析实64、验室数据挖掘与大数据分析实验室 实现系统的无缝交接。对由于硬件质量问题造成的硬件损坏，如在保修期内或与我方兼有相关的技术服务合同的，北京红亚华宇科技有限公司将提供现场服务，维修更换相应的硬件。对有效合同内的软件故障，用户应将故障现象及出错信息通过电邮、信件或传真等通知我们，我方根据故障等级做出不同时间级别的相应，并给予解答。不能远程解决问题时，我方将派技术人员到达用户现场进行实地解决。(3)热线支持 北京红亚华宇科技有限公司提供全天热线技术支持，包括电子邮件、电话、传真等方式（每周 7 天、每天 24 小时）。全天热线技术支持体系，可使我们的用户最短时间内，快捷方便的得到北京红亚华宇科技有限公65、司的技术咨询及服务。七.数据挖掘与大数据分析实验室设备清单 按照 60 人规模的教学班级，建设数据挖掘与大数据分析实验室设备清单如下：设备名称设备名称 型号型号 数量数量 大数据实验平台管理控制设备大数据实验平台管理控制设备 Honya-DataLab-MD 1 1 大数据实验平台主计算节点设备大数据实验平台主计算节点设备 Honya-DataLab-MR 1 1 大数据实验平台子计算节点大数据实验平台子计算节点 Honya-DataLab-CR 4 4 大数据实验平台云桌面设备大数据实验平台云桌面设备 Honya-DataLab-DS 3 3 交换机交换机 H3C 24 口千兆 1 1 大数据实验平台教师管理系统大数据实验平台教师管理系统 Honya-DataLab-TE 1 1 大数据实验平台实验终端大数据实验平台实验终端 Honya-DataLab-ES 6060 大数据实验平台案例库大数据实验平台案例库 Honya-DataLab-DL 1 1 42U42U 机柜机柜 Honya-DataLab-DC 1 1 用户使用手册用户使用手册 6 6 实验指导书实验指导书 6 6