还剩8页未读,继续阅读
本资源只提供10页预览,全部文档请下载后查看!喜欢就下载吧,查找使用更方便
文本内容:
《大数据爬虫技术》课程标准
一、课程基本信息课程名称:大数据爬虫技术课程编码29040004课程类别:专业必修课学分4学时64适用专业:大数据专业开课单位:智能信息工程学院先修课程:Python语言基础
(05041196)后续课程:智能数据分析
(29040006)
二、课程概述
(一)课程定位大数据爬虫技术是大数据专业重要的核心课程课程中数据的知识、能力、素质是后续课程《数据分析》、《Tableau》等的基础,是公共课与专业课之间的桥梁本门课程64课时(32理论+32实践),在教学过程中,建议采用理实一体化教学方式本课程在专业人才培养过程中对大数据专业技术岗位的能力培养和素质培养起支持作用具体要体现课程符合高技能人才培养目标和专业相关技术领域职业岗位(群)的任职要求;本课程对学生职业能力培养和职业素养养成要起主要支撑或明显的促进作用因此,本课程将思政教育内容融入到课程教学中,使思想政治理论教育与专业教育协调同步、相得益彰,真正实现在课堂教学主渠道中全方位、全过程、全员立体化育人
(二)课程基本理念本专业的学生毕业之后主要从事人工智能等相关的计算机类工作,因此本门课程所讲授的内容是学生必须掌握的基本专业技能在教学过程中,要求理论与实践相结合,培养学生的编程能力,同时培养学生良好的编程习惯以及自主学习能力在精心打磨课程本身内容的同时,依托于Python语言在不同领域的应用案例,适当结合我国政府在解决民生问题和处理突发公共卫生事件等方面的突出作用和重要成果,结合我国科学家在一些领域的重要贡献,在教学过程中融入思想政治教育在点滴之间影响学生,以行导人、以事服人、以情感人、以文化人,培养当代大学生的责任感、自豪感、荣誉感学经验和教学管理经验的老教师与其他教学管理人员组成院系两级科学管理小组,实现“督教、督学、督管”
3、系部同行教师评价系统,由系部进行主讲教师的聘任,教师试讲和教学效果评价工作
4、学生信息员系统,聘任学生担任本专业的教学质量监督信息员,及时掌握专业的教学信息,对教学中存在的问题及时向系部和学院进行反馈
5、教师和学生双向课堂教学效果反馈系统,每次课后由学生在微信小程序端填写《课堂教学效果反馈》,对所上课教师的教学效果进行反馈同时,教师每学期应至少填写一次《课堂教学信息卡》,将课堂教学过程出现的问题(如学生的学习效果、学习风气、教学条件、教学设备的使用情况)反馈给学院教学督导
6、通过各种网络手段达到教务反馈的效果,获取教学相关的信息为了达到全面控制教学过程、提高教学质量的目的,进行课堂教学检查时,各类检查人员应填写相应的评估表和反馈表,及时对评估表和反馈表进行统计处理,将结果反馈给教师所在的专业负责人处,并以适当的方式反馈给任课教师每学期以系部为单位,综合各种渠道的检查结果和反馈结果,采取先定量后定性的办法,对所有任课教师的教学效果和质量进行评价评价结果经系部审核后,将结果存入教师教学工作档案,作为教师晋职、评优的重要依据每学期,学院教务处对教学质量方面存在的共性问题采取简报、总结等形式,对存在的个性问题采取座谈会、个别交流、文字材料等形式,以随时总结经验,改进教学
七、课程考核与评价本课程是专业必修课程,考核方式由四部分构成期末成绩为综合评定,由考勤(10%)、含思政元素类教学资源的点击量和观看时长(10%).课堂编程操作(20%)和期末笔试(60%)四部分内容组成
八、课程负责人及教学团队课程负责人李兵川吴文灵
九、其它说明无制定部门智能信息工程学院时间2022-08-26审核人李兵川时间:
(三)课程设计思路课程设计的总体思路校企合作组织课程开发学校专业团队与合作行业企业的实践专家合作开发课程1)共同组织专业课程体系构建和专业课程开发的调研和研讨活动;2)利用学校和企业两种资源,共同创设本课程适宜的实施条件;3)合作建设为学院师生、企业员工学习、培训提供服务的共享型数字化专业教学资源;4)共同制订顶岗实习管理制度,在企业工作和学习过程中共同管理和监控运行;5)共同制订学生工作和学习成果考核评价办法,探索人才培养质量的社会评价机制;6)校企互相兼职,共建课程教学、岗位培训和技术开发的双师结构专业教学团队
三、课程目标
(一)总目标通过本课程各个模块的学习,具体体现三个方法一是具有实用性,使学生迅速理解、使用和进行大数据、数据采集、爬虫工作实务环境,在实际工作中熟练地使用数据采集处理活动而是具有复合性,使学生拥有足够的数据采集和大数据及其其他方面的知识,懂得数据采集,数据清洗等技术手段将复合型知识性成为一个有机的整体,从而达到对数据采集的应用能力三是具有人才多元化,要求学生具有不同的知识和能力结构
(二)具体目标序号知识目标K1知道什么是爬虫,了解爬虫的概念,理解爬虫的原理,掌握Python的环境配置方法K2知道什么网络编程,了解网络爬虫的手段,理解socket库使用,掌握socket库进行TCP、UDP编程K3知道什么HTTP请求,了解HTTP的请求方法,理解urllib3库的使用,掌握requests实现HTTP请求K4知道什么是动态页面,了解动态页面和静态页面的区别,理解selenium库的使用,掌握selenium库对动态页面爬取K5知道为什么要登陆,了解登陆的方法和手段,理解Cookie登陆流程,掌握requests实现post请求K6知道什么是终端协议,了解终端协议的种类,理解Fidder工具原理,掌握Fidder工具的使用K7知道什么框架,了解scrapy框架,理解scrapy框架的工作原理,掌握scrapy框架的使用K8能运用所学知识进行综合项目开发序号技能目标S1通过python爬虫环境与爬虫简介,学生能够运用爬虫概念、爬虫原理、反爬及其应对策略、能够运行python爬虫环境配置方法,根据爬虫法律安全规范,可以完成Python环境搭建,制定爬虫反爬取策略S2通过简单网页爬取,学生能用运用urllib
3、requests库,根据python相关语法规范进行HI IP请求编程S3通过常规动态网页爬取,学生能够运用selenium,根据selenium库相关接口、根据python相关语法规范进行动态贞面抓取S4通过模拟登陆,学生能够运用requests,根据requests库的使用、及其python相关语法规范,实现POST表单登陆S5通过scrapy爬虫,学生能够运行scrapy,根据scrapy的框架手册,来爬取静公或动态贞面序号态度目标A1能形成遵纪守法良好习惯,遵从网络行业从业的相关法规A2具备爱岗敬业、吃苦耐劳的良好职业道德A3具有团队合作意识和协作精神A4具有自主学习能力和自我提高能力A5具备统筹协调能力、综合运用能力、革新创新能力
四、课程内容序号模块(或子模块)名称学时1第1章爬虫开发环境搭建与爬虫介绍42第2章理解网络socket库的使用43第3章简单静态网页爬取104第4章常规动态网页爬取105第5章模拟登录126第6章终端协议分析127第7章Scrapy爬虫框架12合计64
五、学习任务
(一)设计思路本课程的教学以高等职业教育培养目标为依据,遵循“结合理论联系实际,应知、应会”的原则,以拓展学生专业知识面为重点;同时注重培养学生的钻研精神及专业思维能力专业知识上,重点通过对Pylhon网络爬虫知识的讲解,使学生对当前主流的爬虫程序设计语言Python有较为全面的认识,为学生进入社会从事专业技术工作奠定基础;把创新素质的培养和思政元素贯穿于教学中,采用行之有效的教学方法,发展学生专业思维和专业应用能力的同时,把社会主义核心价值观的相关内容从课程的导论开始贯穿到课程的结语,使这种信息的强化逐渐转化为学生的情感认同和行为习惯整体的设计思路是以点带面,以讲解授课为主的教学方式课程主要分为爬虫认识、静态网页爬取、动态网页爬取、APP数据抓取、Scrapy框架等几部分,内容充实课堂教学上,我们使用重点突破的方法,每个知识点讲解对应的一个或者两个典型的实例,让学生触类旁通,举一反三,从而带动整个Python网络爬虫开发课程的学习
(二)学习任务注本表格中的“覆盖目标”只需填写在第三部分所确定的学习目标的编号任务子任务任务覆盖目标序号T1Python爬虫环境与爬虫T1-1认识爬虫的概念及原理简介T1-2了解爬虫运作时应遵守的规则了解反K1,S1,S2,ST1-3爬虫的目的和常用手段3,S4,S5,A1,A2,A3,A4,A5T2网页前端基础T2-1socket库使用T2-2熟悉HTTP请求方式与过程K2,S1,S2,ST2-3熟悉HTTP状态码3,S4,S5,A1,T2-4熟悉CookieA2,A3,A4,A5T3简单静态网页爬取T3-1|变量掌握使用urllib3库生成K3,S1,S2,SHTTP请求、处理请求头、设置超时、设置请求重3,S4,S5,A1,试A2,A3,A4,T3-2|掌握使用Requests库生成HTTP请求、查看A5状态码与编码、处理请求头与响应头、设置超时T3-3|页面掌握使用chrome开发者工具查看查看兀素、页面源码、查看资源详细信息T4常规动态网页爬取T4-1|了解动态网页和静态页面的区别T4-2|掌握动态页面的爬取方法K4,S
1.S
2.ST4-3|处理错误能够使用selenium库进行动态页3,S4,S5,A1,面爬取A2,A3,A4,A5T5模拟登陆T5-1|掌握requests库实现POST请求函数学T5-2|会使用requests发起POSTK5,S1,S2,S请求3,S4,S5,A1,T5-3|能够使用常见的抓包工具A3,A2,A4,A5T6终端协议分析T6-1|掌握相关抓包工具的使用T6-2|Http analyzer工具Fidder工具的使用K6,S1,S2,ST6-3|3,S4,S5,A1,A2,A3,A4,A5T7Scrapy爬虫框架T7-1|Scrapy框架的命令T7-2|Scrapy框架相关参数的使用使用K7,K8,S1,ST7-3|scrapy框架定制爬虫框架2,S3,S5,S4,A1,A2,A3,A4,A5
六、实施建议
(一)组织实施建议以工作过程为导向采用项目教学法或翻转课堂教学法进行教学,让学生能在项目中学习,激发学生的学习兴趣;并充分利用课堂教学这个主渠道,挖掘教学中的思政元素,实现思政资源在专业知识教学中的基因式融入具体方法如下
1、将“教、学、做”融为一体
(1)践行理论,实践真理“实践是检验真理的唯一标准”,思想政治理论课让学生明白了真理,但还没有完全领悟到真理的内涵和价值,而以实践的方式,让学生践行社会主义核心价值观则是理论联系实际
(2)案例引入,提出问题通过案例演示,提出问题,给出知识点,讲解案例应用背景,给学生一个切入点,建立感性认识,让学生感到学有所用,从而明确学习目标同时,在案例教学中融入思政教育内容,进行专业知识学习的同时自觉地进行人生观、价值观的塑造,润物细无声,对学生世界观的形成起到重要的引领作用
(3)学生自主学习,尝试解决问题引导学生自主学习,找到解决问题的方法和操作技能,培养学生的自主学习意识和学习方法学生在学习和尝试解决问题过程中,发现问题,提出问题,在问题的引导下学习相关的知识和操作技能
(4)归纳总结,引申提高在每次课结束前,引导学生进行归纳总结对本次课的实际意义、重点、难点、容易出错处等及时进行总结并针对案例的不足之处,进行引申和提高注意在这个阶段,强调的是“引导”学生,而不是老师讲解
(5)举一反
三、学以致用为了使学生能学以致用、举一反
三、触类旁通,每次教学结束时及时布置相关的课后练习,使学生在课后进一步复习巩固,并且将课后作业纳入课程成绩的考核同时给出下一次课的学习内容,提示学生预习
2、充分利用现代化教学手段,提高教学效果教学中采用电子演示文稿、大屏幕多媒体联机演示、网络教学等各种先进的教学手段,使课堂教学生动活泼、引人入胜,提高教学效果和效率为了让学生感受到计算机技术发展的日新月异,增强学习的动力和紧迫感,可通过视频等方式向学生展示前辈们的光辉成就在前辈们的业绩感召下激发学生的爱国主义情怀,形成为祖国科技发展努力学习的使命感
3、构建学习资源平台教师可将该课程的教学大纲、教案、习题、实验指导、参考资料、教学录像等内容全部放置在网上,并向学生免费开放,通过网络化的教学方式(网络课件、网上答疑、网上提交作业、视频点播),学生可以在课外自主学习,以强化、巩固和拓展教学内容
(二)教材编写建议教材编写应学习贯彻党的十九大精神,以“课程思政”改革为载体推进教材建设具体方法如下
1、依托“课程思政”教学体系改革,教材应体现课程的“思政内涵”将习近平新时代中国特色社会主义思想有效融入教案讲义、教学过程、学科和大数据专业建设,使思想政治教育有机融入全课程全过程,让课程在进行专业传授的同时发挥育人功能
2、依托“课程思政”慕课教学模式改革,教材应注重学生实践创新能力培养摒弃传统的知识灌输和强化训练,将枯燥的编程知识点化解为相应的问题进行启发式、研讨式等教学,注重对学生创造精神和实践能力的培养
3、加强与企业之间的合作与联系体现职业教育特点和现代意识,推动优秀教师与企业专家联合教学与编写教材,及时更新大数据专业的教材知识体系和结构,建设能体现习近平新时代中国特色社会主义思想、能培养学生实践创新能力、能适应慕课等教学模式的新型教材
(三)实验实训设备配置建议L培养学生工匠精神本课程要求在理论实践一体化教室(多媒体教室)完成,以实现“教、学、做”结合,让学生在实践中对编程细节精雕细琢、不断完善理论实践一体化教室还要求安装多媒体教学软件,方便下发教学任务并跟进学生课堂实践任务情况,以引导学生不断完善代码设计、提高编程思维,培养同学们用精益求精的工匠精神来对待实训项目
2.提倡绿色环保意识党的十九大明确提出,必须坚持生态文明建设在每日最后一次实训课结束后,提醒学生及时关机、关屏幕以及其他电源设备,并将其纳入实训室行为规范中提高学生的节约意识和环保意识,同时为学院节约耗材费用
(四)课程资源开发与利用建议教师可以利用超星泛雅课程资源平台,开发《Python网络爬虫技术》课程的共享资源,向学生提供优质学习资源除了理论知识,也将思政元素穿插在专业学习中,从“历史文化、科技发展、法治观念、政治经济、网络安全”5个方面着手,进行案例的选择和素材的筛选,传播爱党、爱国、积极向上的正能量,培养科学精神、工匠精神等参考教材《Python网络爬虫开发实战》崔庆才人民邮电出版社出版
(五)教师要求
1、必须具备双师素质,有一定的开发经验,对代码规范性有较好的理解;
2、在教学组织能力方面,本课程的主讲教师具备基本的设计能力,即根据本课程标准制订详细的课程授课计划,对每一堂课的教学过程精心设计,做出详细、具体的安排;
3、具备较强的施教能力,即掌握扎实的教学基本功并能够因材施教,在教学过程中还应具备一定的课堂控制能力和应变能力;
4、在思政素养上面,加强与思政教师的合作交流与研讨根据教育部发布《普通高等学校本科专业类教学质量国家标准》,修订和完善人才培养方案,优化课程设置,加强专业教师与思政教师的合作交流,更新教学内容,时刻把握“课程思政”教阜内容和课程体系的改革方向
(六)教学管理教学管理是在主管院长的领导下,实行学院、系部两级负责,学院是教学管理的主体力量,主要通过以下形式进行
1、建立教学管理组织协调系统,专业教研室配合教务处、系部对日常课堂教学及教学建设工作进行管理和监控,及时解决教学中出现的问题
2、学院、系部两级督学系统,聘请有丰富教。