大数据平台技术实例教程——教学大纲

《大数据平台技术实例教程》教学大纲

一、课程信息课程名称大数据平台技术实例教程课程类别素质选修课/专业基础课课程性质选修/必修计划学时64计划学分4先修课程无选用教材《大数据平台技术实例教程》，郑啸、李乔主编，年，电子工业出版社教2022材适用专业本课程可作为高等学校数据科学与大数据技术、计算机科学与技术、人工智能等理工类专业大数据平台技术的课程，也可供广大计算机爱好者及软件开发人员参考课程负责人

二、课程简介该课程通过大量实例介绍大数据平台技术，分篇大数据存储篇包括第章，内容包41〜3括大数据技术概述、数据采集和大数据、大数据框架的安装和配置;大数据管理篇包括第章，4〜7内容包括、分布式计算模型、分布式协调服务、的集群资源管HDFS Hadoop ZooKeeper Hadoop理系统大数据分析篇包括第章，内容包括数据库和数据仓库YARN;8〜10MySQL HiveNoSQL数据库、基于内存的分布式计算框架大数据应用篇包括第章，内容包括数HBase Spark;1112据可视化、大数据应用综合案例

三、课程教学要求序号专业毕业要求课程教学要求关联程度在大数据存储篇中，第章介绍大数据的基本概念和应用1领域，阐述大数据、云计算和物联网的关系;第章介绍2数据采集、预处理过程、语言及开发环境;第章介Python3绍大数据处理架构并补充介绍的基本使用Hadoop,Linux方法在大数据管理篇中，第章介绍第章介绍4HDFS;5Hadoop完全分布式的搭建过程和的使用;第章介绍MapReduce61工程知识L分布式协调服务第章介绍的集群资源ZooKeeper;7Hadoop管理系统YARNo在大数据分析篇中，第章介绍传统数据库和数据8MySQL仓库第章介绍数据库第章介绍Hive;9NoSQL HBase;10基于内存的分布式计算框架Sparko在大数据应用篇中，第章介绍基于的可视化技11Python术;第章综合之前介绍的所有技术，完成一个综合案12例近些年，大数据技术迅猛发展，改变了人们的工作、生产、生活方式国内外学术界和产业界对此都高度重视，希望新技术带来应用场景的改变与生产效率的提高2问题分析H等新技术日新月HadoopZooKeeperHBase HiveSpark异，大量的相关从业者希望跟上新技术的发展然而，本课程尽量简化学生学习难度，以和为主以Python Java程序案例为主导，在案例深化中逐步引出知识点，形成清晰的主线，引导学生自主思考并逐步掌握大数据各层次框3设计/开发解决方案H架的作用和使用方法，每章结束后还有对应的实践操作，让学生在操作中理解和掌握大数据平台技术，避免强行灌输知识点，从而拓宽读者的计算思维4研究L5使用现代工具L学生能够意识到大数据技术发展的重要性，不仅要有良好的思想道德素质、科学文化素质、专业技能和健康的身体，6工程与社会L而且要有良好的心理素质，勇于承担责任，能够承受失败与挫折等7环境和可持续发展L8职业规范L学会个人发展和团队合作，提高个人和团队的综合素质

1.学会与他人合作和沟通，建立良好的人际关系和团队合

2.9个人和团队H作氛围学会进行有效的沟通和表达，与客户、同事和上级保持

1.良好的沟通和协作10沟通M学会进行跨文化沟通和合作，提高国际化视野和跨文化

2.交流能力11项目管理L学会进行自我学习和自我提升，不断提高自身的专业水

1.平和创新能力12终身学习H学会进行终身学习和职业发展规划，不断拓展职业领域

2.和发展空间注“课程教学要求”栏中内容为针对该课程适用专业的专业毕业要求与相关教学要求的具体描述“关联程度”栏中字母表示二者关联程度关联程度按高关联、中关联、低关联三档分别表示为或“课程教学要求”及“关联程度”中的空白栏表示该课程与所对应的专业“H”L”毕业要求条目不相关U、课程教学内容!章节名称主要内容重难点关键词学时类型大数据源起和应用大了解大数据的特点及其在各行数据技术框架大数据业的应用；就业岗位大数据的特了解大数据与云计算、物联网、点大数据的深远影响人工智能的关系；大数据的意义和发展理论+实1大数据技术概述3了解大数据的技术框架、特目标操大数据与云计算、物联占・

八、、9网、人工智能的关系了解大数据的就业岗位；了解大数据的深远影响数据采集和网络ETL爬虫了解大数据采集和ETL概念；理解网络爬虫原理；掌握常用开发工具Python数据采集和大数理论+实2简介Python语言；熟悉Python集成5据操开发环境；了解与大数据技术语言简介基于Python有关的库Python的网络爬虫应用Python实例大数据框架配置环境Linux操作系统介绍了解Linux操作系统；掌握虚Linux终端常见命令虚拟机的使用；掌握Linux终端大数据框架的安理论+实3拟机的使用远程登录常见命令；掌握Hadoop伪分7装和配置操工具配置Hadoop伪分布式安装过程；布式安装和使用掌握远程登录工具引言基础知识HDFS了解的运行模式；HDFS的常用命HDFS Shell掌握的特点和优缺点；HDFS理论+实令4HDFS理解HDFS的读写文件流程；掌4操中的Hadoop HDFS握基于的操作以及Shell HDFS管理界面Web基于的操作Java APIHDFS基于的Java APIHDFS操作了解完全分布式各节Hadoop点的部署步骤；完全分布式环境配置了解分布式和伪分布HadoopHadoop分布式完全分布式配置步骤式的区别；理论+实53计算模型MapReduce计算模型操理解编程模型原MapReduce实例Mapper-Reducer理；掌握如何使用编写Eclipse实例过程MapReduce高可靠性大数据框架掌握的基本概念；掌ZooKeeper配置分布式协调服务握ZooKeeper的安装与运行；理论+实简介ZooKeeper62ZooKeeper理解ZooKeeper和其他大数据操的常用命令ZooKeeper框架的关系的安装与运ZooKeeper行资源管理配置Hadoop理解的基本使用和基本YARN的集群Hadoop简介YARN理论+实架构；7资源管理系统2的工作流程YARN掌握的环境搭建；掌握操YARNYARN的安装与运行YARN的工作流程YARN基于的大数据分Hive析配置理解数据库的配置和MySQL的意义和应用Hive使用；和数据库的异同Hive掌握的应用和运行架构及的架构模式及其HiveHive数据库MySQL执行原理；理论+实执行88和数据仓库Hive的安装和使用理解Hive的安装过程；了解内操MySQL部表、外部表及区另限的安装Hive掌握的分析语句以表的操作典型内Hive HQLHive及数据库和数据仓库的异同置函数与自定义函数大数据框架的数据库掌握数据库的分类与存储配置NoSQL应用；概念和分类NoSQL了解关系型数据库和非关系型数据库HBase数据库数据库的区别；理论+实NoSQL9HBase的安装7HBase掌握HBase数据模型及执行原操的操作HBase Shell理，体系架构的组件；HBase基于访问Java API理解的操作，以HBase Shell实例HBase及通过访问的JavaAPI HBase综合实例实例HBase掌握和框架的区Spark Hadoop别及特点；基于Spark的大数据分理解Spark对RDD和析框架配置的操作；DataFrame基于内存的分布Spark基础知识Spark了解SparkSQL的使用方理论+实10式计算框架的安装和使用的10Spark法；操Spark常用操作Spark SQL的了解库中机器学Spark MLlib应用综合应用实Spark习的使用方法；例的机器学习Spark掌握机器学习中编程的主要步骤和过程；了解开发环境PySpark可视化分析展示配置了解如何用可视化工具或语言理论+实11数据可视化数据可视化概述数据5绘制数据分析结果操可视化绘图综合实例一雪尾花数据集的可视化分析了解大数据案例开发的过程；医疗大数据应用框架理解各种大数据技术框架的关配置系；案例概述掌握基于接口的大数PySpark准备数据和开发环境据搭建环境；配置大数据应用综合理论+实128了解物联网、大数据、云计算、数据探索性分析案例操人工智能的关系；掌握性能评数据迁移价指标对建模的参考依据以及数据预处理大数据应用对未来社会发展趋数据建模与训练模型势的影响评估

五、考核要求及成绩评定序号成绩类别考核方式考核要求权重%备注期末成绩期末考试考试百分制，分为及格15060次2课后作业1240优、良、中、及格、不及格平时成绩3平时表现出勤情况1两次未参加课程则无法获得学分注此表中内容为该课程的全部考核方式及其相关信息

六、学生学习建议-学习方法建议.通过开展课堂讨论、实践活动，增强的团队交流能力，学会如何与他人合作、沟通、协1调等等.通过思考，加深自己的兴趣，巩固知识点

2.进行练习和实践，提高自己的技能和应用能力，加深对知识的理解和记忆3二学生课外阅读参考资料《大数据平台技术实例教程》，郑啸、李乔主编，年，电子工业出版社教材2022

七、课程改革与建设本课程注重解决问题的方法引导，理论联系实际，突出计算思维的培养宏观上，以大数据框架从底层到上层的学习为主线;微观上，以每个层次中框架组件学习为基础，以“数据”为线索，附大量的实验环境操作，便于快速提高学生对大数据知识点的把握平时对学生的考核内容包括出勤情况、学生的课后作业、课堂讨论等方面，占期末总评的期末考试成绩占期末总评的50%50%制订人签教研室主院部负责人字任签字签字修订时间年月日。