《大数据技术与应用》专业调研报告书

《大数据技术与应用》专业调研报告书

XX学院/办学点拟新增《大数据技术与应用》专业调研报告 ‎（三号、黑体、加黑）‎ 一、 学院专业概况（四号、宋体、加黑）‎ （一） 学院现状（小四、宋体、加粗）‎ ‎（二）现有专业和拟开设专业情况 现有专业：计算机网络技术、电子商务 拟开开设专业：大数据技术与应用 二、调研情况 ‎（一）政府主管部门、行业和协会（小四、宋体、加粗）‎ ‎1.基本情况（小四、宋体、段落：行距：1.5倍）‎ 调研时间：‎ 调研目的： ‎ 调研方法： ‎ 调研参与人员：‎ ‎2.主要内容 ‎（1）政府发展规划与政策动态。‎ 推动大数据产业持续健康发展，是党中央、国务院作出的重大战略部署，是实施国家大数据战略、实现我国从数据大国向数据强国转变的重要举措。日前，工业和信息化部正式印发了《大数据产业发展规划（2016－2020年）》（以下简称《规划》），全面部署“十三五”时期大数据产业发展工作，加快建设数据强国，为实现制造强国和网络强国提供强大的产业支撑。‎ ‎2016年8月30日，江苏省人民政府对外正式公布了“大数据发展行动计划”。根据行动计划，江苏将完善大数据产业生态，在数据采集、整理、分析、发掘、展现、应用等领域突破关键技术，制定发布一批大数据技术标准和应用规范，建立政、产、学、研、金、用联动，大中小企业协调发展的大数据产业体系和公共服务支撑体系，带动相关产业产值超过1万亿元。‎ 未来几年，江苏将主要围绕“产业发展”(工业大数据、金融大数据、电网大数据、电子商务大数据、物流大数据、现代农业大数据、经济运行大数据)、“公共服务”(健康医疗大数据、交通旅游大数据、教育服务大数据、人力资源社会保障大数据)、“社会治理”(信用大数据、食品药品大数据、环境保护大数据、国土资源大数据、舆情分析大数据、警务反恐大数据)三个领域，实施18个重点工程，推广典型应用。‎ ‎（2）市场需求和行业发展趋势。‎ ‎1）大数据市场需求 大数据经过前几年的概念热炒之后，逐步走过了探索阶段、市场启动阶段，当前已经在接受度、技术、应用等各个方面趋于成熟，开始步入产业的快速发展阶段。大数据巨大的应用价值带动了大数据行业的迅速发展，行业规模增长迅速。截至 2014 年，全球大数据市场规模已经成长到300 亿美元的空间，预测到2017 年全球大数据技术和服务市场的2018 年的复合年增长率将达到26.4%，规模达到415 亿美元，是整个IT 市场增幅的6 倍。大数据市场规模在2020 年有望达到611.6 亿美元，符合年增长率将达到26%。‎ 中国大数据产业起步晚，发展速度快。物联网、移动互联网的迅速发展，使数据产生速度加快、规模加大，迫切需要运用大数据手段进行分析处理，提炼其中的有效信息。 2014 年，中国大数据市场规模达到 767 亿元，同比增长 27.8%。预计到 2020 年，中国大数据产业规模将达到 8228.81 亿元。 2015-2017 年复合增长率为 51.5%。2014 年，中国大数据应用市场规模为 80.54 亿元，同比增长 3.2%，预计2015 年市场规模将增长 37.3%，至 110.56 亿元，预计到 2020 年，中国大数据应用市场规模将增长至 5019.58亿元。 2015-2017 年复合增速为 87.8%。‎ ‎2）大数据行业发展趋势 整体来看，2017‎ ‎ 年中国大数据行业的发展依然呈稳步上升趋势，市场规模达到了 234 亿元，和去年相比增速超过 39%。随着政策的支持和资本的加入，未来几年中国大数据规模还将继续增长，但增速可能会趋于平稳。‎ 我国行业大数据总体发展水平较好，在各行业都有应用。其中，金融大数据、政务大数据的应用水平最高，同时交通、电信、商贸、医疗、教育、旅游等行业大数据的发展水平也有显著提升。‎ 根据大数据分析结果，将近一半的企业将大数据运用在企业工商信息管理方面，此外，在社会保障、劳动就业、市政管理、教育科研方面分别占据33.9%，32.7%，29.4%，29%。整体来看，大数据的应用范围广泛。‎ 大数据分析对企业的发展越来越重要， 35.1%以上的企业已经开始在企业内部应用到了大数据；34.2%的企业正在考虑应用大数据，22.9%的企业在未来1年有应用大数据的计划，仅仅有7.8%的企业暂不考虑应用大数据。‎ ‎（二）兄弟院校 ‎1.基本情况 调研时间：‎ 调研目的： ‎ 调研方法： ‎ 调研参与人员：‎ ‎2.主要内容 ‎（1）国内外已开设相关专业的兄弟院校调研 云的时代已全面到来！现在，越来越多的大中型企业正将基础架构向云端加速迁移，小微企业和个人开发者更是将云作为基础设施的首选。随着云的能力不断提升，在DT时代，绝大多数的计算与数据服务都会在云端完成。面对这一发展趋势，除了需要在技术不断将计算能力提升之外，云计算、大数据方面的专业人才缺失，也成为了整个生态面临的严峻挑战！站在互联网“风口”上的大数据，直接催热了大学里的大数据专业。‎ 国外除了在大数据的概念上的研究外，重点放在技术研究。美国政府六个部门启动的大数据研究计划中，绝大多数研究项目都是应对大数据带来的技术挑战，重视的是数据工程而不是数据科学，主要考虑大数据分析算法和系统的效率。2015年9月，国务院发布了《促进大数据发展行动纲要》，已经将大数据应用上升到了国家战略的层面，将数据视为“国家基础性战略资源”，号召政府部门对数据的开发共享。国内在大数据研究领域的重点在大数据与云计算、数据挖掘，并行计算和分布式处理，应用式主要集中在地理信息系统,大数据在商品零售、金融等领域的应用已经非常广泛，而在法律领域，其实也有许多可挖掘、可利用、可产生价值的地方。‎ 阿里云大学联合慧科教育实施“阿里云大学合作计划”，在全国高校合作开设云计算与数据科学方向专业，并向高校开放阿里云计算、大数据、工程师以及生态圈伙伴等资源。未来三年，阿里云与慧科将在全国100所高校完成专业课程开设，通过“互联网+教育”的模式覆盖300所大学的云计算与数据科学教育，培养和认证5万名云计算和数据科学工作者。北京航空航天大学、浙江大学、复旦大学、上海交通大学、西安交通大学、南京大学、武汉大学、华南理工大学在内的首批8所高校，正式落户阿里云大学合作计划AUCP。据国外著名职业人士社交网站LinkedIn公布的2014年最受雇主喜欢、最炙手可热的25项技能，统计分析和数据挖掘技能位列榜首。研究机构Gartner预测，2015年，全球将新增440万个与大数据相关的工作岗位，25%的组织将设立首席数据官职位。目前高校专业设置与社会需求出现落差，成为中国大数据发展的瓶颈。‎ ‎（2）兄弟院校学科专业建设情况 ‎1）大数据领域三个大的技术方向：‎ 方向一：Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)大数据开发方向 方向二：数据挖掘、数据分析&机器学习方向 方向三：大数据运维&云计算方向 ‎2）课程设置 大数据专业将从大数据应用的三个主要层面(即数据管理、系统开发、海量数据分析与挖掘)系统地帮助企业掌握大数据应用中的各种典型问题的解决办法，包括实现和分析协同过滤算法、运行和学习分类算法、分布式Hadoop集群的搭建和基准测试、分布式Hbase集群的搭建和基准测试、实现一个基于、Mapreduce的并行算法、部署Hive并实现一个的数据操作等等，实际提升企业解决实际问题的能力。核心课程：程序设计基础、数据结构、数据库原理与应用、概率论与数理统计、高等代数、应用统计学、面向对象程序设计、算法设计与分析、数据库原理及应用、大数据分析应用平台Hadoop、大数据处理、数据可视化原理与方法、数据挖掘等以及相应的项目与实训课程。‎ ‎3）核心技术 ‎(1)大数据与Hadoop生态系统。详细介绍分析分布式文件系统HDFS、集群文件系统ClusterFS和NoSQLDatabase技术的原理与应用;分布式计算框架Mapreduce、分布式数据库HBase、分布式数据仓库Hive。‎ ‎(2)关系型数据库技术。详细介绍关系型数据库的原理，掌握典型企业级数据库的构建、管理、开发及应用。‎ ‎(3)分布式数据处理。详细介绍分析Map/Reduce计算模型和HadoopMap/Reduce技术的原理与应用。‎ ‎(4)海量数据分析与数据挖掘。详细介绍数据挖掘技术、数据挖掘算法–Minhash,JaccardandCosinesimilarity，TF-IDF数据挖掘算法–聚类算法;以及数据挖掘技术在行业中的具体应用。‎ ‎(5)物联网与大数据。详细介绍物联网中的大数据应用、遥感图像的自动解译、时间序列数据的查询、分析和挖掘。‎ ‎(6)文件系统(HDFS)。详细介绍HDFS部署，基于HDFS的高性能提供高吞吐量的数据访问。‎ ‎(7)NoSQL。详细介绍NoSQL非关系型数据库系统的原理、架构及典型应用。‎ ‎（三）企业雇主 ‎1.基本情况 调研时间：‎ 调研目的： ‎ 调研方法： ‎ 调研参与人员：‎ ‎2.主要内容 ‎（1）本专业的职业面向、主要就业单位和就业部门、专业核心岗位和相关岗位、行业标准与职业资格证书要求等方面的调研情况。‎ ‎1）就业方向 大数据方面的工作人员主要有三大就业方向：大数据程序开发方向、大数据分析方向、大数据架构设计方向。在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。‎ ‎2）就业部门/单位 计算机、移动互联网、电子信息、电子商务技术、电子金融、电子政务、军事、政府机关、房地产、银行、金融、移动互联网、IT领域。‎ ‎3）专业核心岗位和相关岗位 数据科学家、数据分析师、数据架构师、数据工程师、统计学家、数据库管理员、业务数据分析师、数据产品经理 ‎（2）专业核心岗位和相关岗位的典型工作任务的调研情况。‎ 就业方向 对应岗位 典型工作任务 大数据程序开发方向 大数据开发工程师 爬虫工程师 数据分析师等 Java大数据分布式程序开发、大数据集成平台的应用与开发、数据可视化等相关工作 大数据分析方向 数据科学家、数据挖掘工程师、机器学习工程师等 大数据平台运维、大数据分析、大数据挖掘等相关工作。‎ 大数据架构设计 大数据运维工程师、‎ Java海量数据分布式编程、大数据架构设计，大数据分析等方面工作任务 ‎（四）就业市场 ‎1.基本情况 调研时间：‎ 调研目的：了解未来大数据专业岗位需求和就业主要行业 ‎ 调研方法：‎ 调研参与人员：‎ ‎2.主要内容 ‎（1）就业市场招聘相关专业毕业生的现状。‎ 如果说2015年是“大数据元年”‎ 的话，那么2016年就是大数据产业真正爆发的一年。如今，2017年我国大数据产业发展已初具规模，但在人才市场上缺乏综合掌握数学、统计学、计算机等相关学科及应用领域知识的综合性数据科学人才，特别是缺乏既熟悉行业业务又掌握大数据技术与管理的综合型人才。‎ 今天，越来越多的行业对大数据应用持乐观的态度，大数据或者相关数据分析解决方案的使用在互联网行业，比如百度、腾讯、淘宝、新浪等公司已经成为标准。而像电信、金融、能源这些传统行业，越来越多的用户开始尝试或者考虑怎么样使用大数据解决方案，来提升自己的业务水平。在“大数据”背景之下，精通“大数据”的专业人才将成为企业最重要的业务角色，“大数据”从业人员薪酬持续增长，人才缺口巨大。‎ 各大高校紧锣密鼓启动大数据人才培养，缘于大数据时代催生的大量相关人才缺口。‎ 全球最顶尖管理咨询公司麦肯锡(McKinsey)出具的一份详细分析报告显示，预计到2018年，大数据领域的工作需求急剧扩大，工作岗位激增。大数据科学家的缺口将在14万到19万之间，而懂得利用大数据做决策的分析师及经理的岗位缺口预计可能达到150万。‎ ‎（2）就业市场招聘相关专业毕业生的用人需求和素质要求。‎ ‎ “大数据”专业毕业生主要在供应链融资公司、P2P信贷征信平台、商业银行、互联网广告、O2O营销公司、大型网络媒体、电子商务公司、现代物流公司、第三方支付公司以及政府机关、科研单位等大中型企事业单位的IT、业务部门和互联网企业，从事业务咨询、大数据分析，决策支持和信息管理，大数据应用开发、大数据系统开发、应用、维护工作，及大数据研究咨询、教育培训工作等。还可以继续攻读本专业或相关专业的硕士学位，或参加学院国际合作项目，赴国外深造。事实上，大数据工作者可以施展拳脚的领域非常广泛，从国防部、互联网创业公司到金融机构，到处需要大数据项目来做创新驱动。市场竞争激烈，新业态互进成为共识。近年，百度、阿里巴巴、腾讯、360公司等互联网企业纷纷推出大数据产品和服务，抢占大数据应用市场资源。由于我国经济增速下行，市场竞争加剧，企业寻求精细化管理，为大数据应用发展提供良好契机。数据分析或数据处理的岗位报酬也非常丰厚，在硅谷，入门级的数据科学家的收入已经是6位数了(美元)。‎ 通过调研了解到，就业市场招聘相关专业毕业生的用人需求和素质要求：‎ ‎1)从个人素质方面，需要以下能力：‎ 良好的数据敏感度，能从海量数据提炼核心结果。对统计、数学建模有强烈的兴趣和钻研精神。‎ 良好的学习能力、团队协作能力、逻辑思维能力、分析能力。擅长与商业伙伴的交流沟通，具有优秀的报告讲解能力及沟通能力。‎ 工作高效，有条理，细致，态度积极，责任心强，能够承受较强工作压力。‎ ‎2）专业技能方面，需要以下能力：‎ 熟悉数理统计、数据分析、数据挖掘等基础知识，熟知常用算法。‎ 熟练使用SAS、SPSS、R、Excel等统计分析软件。精通至少一门编程语言（C、Java、Python、shell）。了解数据结构和算法设计。熟悉Linux操作系统开发环境。‎ 三、调研结论 ‎1）新增专业的可行性分析 我们学校一直贯彻国家教育方针，以就业为导向，以服务为宗旨，走产学结合发展之路；贯彻学院“建成特色鲜明高职名校”的总体目标，以学院专业分类发展划分为依据，培养“素养、管理、创新”复合型技术技能人才；凸显学院“产学互动、服务地方”的办学特色，丰富并深化“校企深度交融，工学有机结合”的学院总体人才培养模式，搭建校企合作平台；和百度百捷共建“大数据技术学院”，与企业开展“订单式”专业人才培养，为大数据产业和信息服务培养技能型人才。在充分合理利用校内现有的实训条件的基础上，实行与大数据企业实际工作相结合的学习模式，合作企业根据大数据行业发展和企业的实际需求，对专业技能进行全方位的评估，校企共建校外实训基地，企业派遣有丰富经验的高级工程师参与大数据课程的建设和讲授，360°全方位提升大数据技能型人才的培养质量。‎ ‎2）专业建设的思路和发展规划 人才培养目标:本专业主要面向大数据应用开发、大数据分析挖掘、大数据系统运维等岗位方向培养合格人才，重点培养具有大数据应用、大数据分析以及大数据系统管理与运维方向的，应用型高技能人才。‎ 本专业方向重点培养能够为企事业单位提供大数据系统搭建、管理、和运维技术和能力的人才。通过计算机基础课程、算法语言、系统管理等专业基础知识学习，接受大数据系统和应用知识的培养，进行各种计算机系统，大数据平台系统，大数据应用系统搭建、配置、管理、及运维实训。通过大量的案例与实践操作，熟练掌握大数据系统管理所需的各种专业知识和能力，具备一定的职业素养，为从事大数据行业系统管理工作奠定坚实基础。‎ 培养模式：采用校企联合模式，校企双方发挥各自优势，在最大限度保证院校办学特色及专业课程设置的前提下，植入相应前沿科技及特色人才岗位需求的企业课程。‎ 通过系统的多层级课程，采用理论与实践相结合的教学方式，逐步构建学生扎实的专业基础知识体系结构。在学生每一个专业知识能力阶段，开设典型企业应用型项目开发课程。‎ 第一层级：知识入门，开设心理测量与统计等专业基础课程，以大众消费心理为案例，培养学生专业的、基本的心理分析能力。‎ 第二层级：技能提升，开设电子商务等综合应用项目等核心课程，以项目为案例，培养学生专业核心能力。‎ 第三层级：深入实践，开设大数据心理建模、市场调查与预测等项目课程，开展实用项目的实训，培养学生专业项目能力。‎ 层级提升学生专业能力，辅之以开展前沿技术讲座、技能比赛等多种形式培养学生的职业素养。学生在第六个学期到企业顶岗实习，将专业知识融会贯通，真正成为社会需要的从事大数据分析、大数据应用等工作的高级实用型人才。‎ 课程体系体：专业课程重在培养学生的理论知识和动手实践能力，学生在完成每个学期的理论学习后，至少有两个企业项目实战跟进，让学生在项目中应用各类大数据技术，训练大数据思路和实践步骤，做到理论与实践的充分结合。 ‎ 大数据技术与应用专业的课程体系包括专业基础课、专业核心课、大数据架构设计、企业综合实训等四个部分。‎ 主干课程：互联网信息采集、国际经济学、管理心理学、金融数据挖掘、商务数据挖掘、互联网信息与安全、电子商务、互联网金融、互联网搜索营销、大数据可视化、云计算概论、大数据技术概论等课程。‎ 专业特色：‎ 本专业立足本地，服务地方经济社会发展，具有良好的职业素质和文化修养，掌握互联网大数据分析相应岗位必备的基础知识和专门知识，具有较强的云计算储存能力，数据分析，网络安全管理与产品策划等能力，能从事如何应用大数据的分析技术有效的解决现实经济问题，如何挖掘对于管理决策发挥重要价值的信息，旨在培养当前社会各行业对大数据与互联网经济需求的高端复合型人才。‎ 综上所述，在我校开设大数据应用技术专业，符合当今社会经济发展对专业技能型人才的需要。学校将按照大数据专业的建设规划，从人才培养模式、人才培养方案、课程体系、实习实训体系、教学资源建设、师资队伍等方面采取有效措施，加快建设步伐，努力提高大数据应用技术专业的办学水准。‎