还剩15页未读,继续阅读
本资源只提供10页预览,全部文档请下载后查看!喜欢就下载吧,查找使用更方便
文本内容:
智慧校园大数据建设(数据治理与数据中心建设)项目建设方案支持权限控制,产品功能菜单可通过权限控制,特定权限
11.访问特定的菜单支持目录管理作业,能够通过权限管理按需分配目录给应用
12.ETL户访问,保障数据安全元数据管理模块
4.4根据学校实际业务和服务的数据需求,制定全校各类数据完整流
1.向图,明确源头数据,通过数据流向能够清晰反映学校全局业务开展情况元数据平台的定位是资源定义、资源关联与分析,包括元模型、元数据采集、分析等.对主数据和代码标准模型进行维护,提供语义支持,实现对底层2模型的集中维护和管理,提供对数据分类的管理;主数据和业务系统代码表之间映射关系的管理;检测元数据和系统数据库之间表、字段以及字段属性的不一致情况,根据元数据检测情况创建数据库实体对象•元数据采集,应提供获取数据源数据,对数据进行转换,然后将数3据写入到元数据系统中的工具用户端使用适配器,数据源,采集任务等的配置,服务器端负责真正的采集数据、转换数据、入库落地等操作元数据采集管理提供适配器管理、数据源管理、任务配置、手动采集、采集入库审核、采集日志查看用户可方便地完成建立悬挂点;创建数据源;采集任务配置;采集过程中可以随时查看采集日志支持数据库、工具、工具等各种数据源的统一管理,
4.ETL OLAP统一调度支持自定义过滤规则,元数据应支持自动获取、手工整理两种方式.集成多种采集适配器,要求支持、、5Oracle MySQL,DB
2、、等主流产品进行元数DataStage ErwinPowerDesigner EXCEL据自动采集SQL SERVERo元数据查询,对元数据的关键字模糊查询;元数据浏览,对所有
6.已经采集入库的元数据进行统一展现、查询、维护更新操作;元数据信息维护,包括元数据的新增、修改和删除功能;元数据导出,对已经采集入库的数据标准、数据字典等所有元数据信息进行导出功能;元数据分析,数据地图提供上下游系统间依赖关系的元数据全景视图,并支持图片格式导出功能血缘分析元数据进行数据回溯的血统分析,显示组成其数据来源
7.的相关元数据,以及数据来源关系,分析结果用图形化展现影响分析指定元数据对全局的影响,影响关系以图形方式直观展
8.现.元数据变更审核,能对元数据的变更进行管控,实现元数据管理9流程化数据质量管理模块
4.
5.数据质量管理应包含对数据的绝对质量管理、过程质量管理绝1对质量即数据的真实性、完备性、自治性过程质量即使用质量、存储质量和传输质量数据的使用质量是指数据被正确的使用,再正确的数据,如果被错误的使用,就不可能得出正确的结论数据的存储质量指数据被安全的存储在适当的介质上,当需要数据的时候能及时方便的取出数据的传输质量是指数据在传输过程中的效率和正确性应通过数据质量监控平台建立和支撑起基于数据指标、质量检核、问题发现和监控的完善的数据服务体系,从事前、事中和事后等各个环节规避、发现和解决数据问题,保证数据应用无后顾之忧实现从数据的自助查找、开发、共享和交换,建立数据共享通道,实现数据的开放应用数据服务的目标是把数据管起来、用起来,并且使用的数据是有质量保证的,这些目标离不开各种技术的支持,平台技术应包括元数据自动采集和关联、数据质量的探查和提升、数据的自助服务和智能应用等.基于数据指标、质量检核、问题发现和监控的完善的数据质量管理体2系,发现和解决数据问题,保证数据应用无后顾之忧建立“谁产生、谁维护、谁负责”的数据质量监督评价机制,督促业务部门承担部门管理数据质量把关责任,确保源头数据真实、准确、完整、及时.校验规则配置,按数据质量度量标准,为各类检核指标定义相关属性3和数据检查规则规则指标是对数据质量的各个环节设置的系列指标,以数据质量维度为参照.校验规则管理,对配置好的待执行的规则进行审核把关,只有4通过审核的校验规则,才能被系统调用执行校验结果管理是提供各种规则的校验日志信息
5..数据质量报告,数据服务评分提供模型参数、评估对象、校验6规则、评分等模型配置管理,提供对评估结果的查询、展示、问题跟踪管理功能根据学校数据情况,系统可形成每月的数据质量报告.数据质量监控管理,数据质量监控提供作业管理、任务管理、任7务运行日志功能作业管理支持对配置好的规则进行调用执行,任务管理可设置定时或自定义时间运行作业,通过任务运行日志查看检核结果,结果包括检核规则、检核数据明细、检核日志等.支持质量检查结果按条件进行查询
六、数据共享接口管理模块8数据共享通过接口、视图、中间表等多个方式将数据共享给第三方系统,API方便各系统之间的数据互联提供通过页面维护管理的平台或工具,将数据以接口的形式发布API到平台中,需要使用者可以申请相关资源,管理员审核通过后,申请者即可获得资源的使用(如获取到对应的接口地址并使用)需要针对数据的传输、使用做相应安全机制,保障有且只有对应的申请的第三方可以获取到该资源资源的申请和审批采购人可以申请订阅已发布的资源,资源管
1.理员审核是否可以给予资源使用权限,审核通过,申请者即可获取到该资源的共享权限给予多样化的共享方式通过多样化的方式,将已申请的资源共
2.享给使用者,使用者可以完全通过线上获取到的权限便捷的获取到数据,轻松便捷,节省大量沟通的人力物力对数据接口的访问量进行监控,能够快速的查看监控共享接口被
3.使用者调用情况提供自动限流和人工干预的方式,帮助管理员管理好数据流量、流向,保障整体健康良好运行黑名单管理根据需求设置平台访问策略,对异常访问数据接口
4.的系统可列入黑明单,进入黑名单者禁止其使用数据接口的权限.接口分配管理员可选择接口分配给对应系统使用,支持一个接5口可同时分配给一个或多个业务系统使用.接入用户管理指管理员使用系统可对访问数据接口的接入方进6行管理,支持查看、新增、删除、编辑接入接入方用户信息,以及接入用户的使用权限控制.接入系统管理,指使用共享数据的所有业务系统管理,支持查看、7注册、删除、编辑接入平台的信息日志管理,支持接口调用日志和平台操作日志管理,提供日志详
8.情及查询功能线下数据转换接口支持线下数据上传,自动生成可使用接口
9.支持面向大数据平台的数据请求
10.动态生成接口文档,根据接入方不同的接口权限,展示对应
11.API接口的详细说明信息,接口返回结果为格式数据JSON支持多种数据格式传输,提供、等格式下载
12.txt gzip支持系统菜单管理支持系统各页面菜单显示权限控制
13.系统设置功能系统用户管理、角色管理、角色权限配置
14.以及登录日志管理共享数据表配置通过系统界面选择共享数据表是否开放给第三
15.方业务厂商或普通用户查看,管理员控制数据表显示的范围权限业务报表管理模块
4.6业务报表基于数据中心个人数据门户,面向业务部门和全校师生提供常用报表的生成、填报、汇总、审核、导出与打印等服务业务报表对接数据共享接口获取数据基于特定数据应用场景下实现各职能部门业务表格模板的快速生成;教师、学生个人表格自动填报、下载;业务部门在线生成汇总表、快速审核通过业务报表管理系统最终解决基础性数据的反复填报问题提供新建表单和设计表单功能,实现可视化方式将模板快
1.Excel速导入生成报表模板(含汇总模板),支持报表数据绑定,自动填充数据信息支持自定义流程审核设计,根据需求可通过界面自助调整流程相
2.关配置;支持报表发布、编辑以及删除操作流程审核设计,支持灵活驳回,可以按需页面配置各个节点驳回
3.路径对用户填写数据按汇总模板进行汇总,可根据部门查看各汇总表
4.的详细信息,并可导出EXCEL数据汇总内容,均通过可视化页面进行灵活配置,相关汇总指标、
5.公式均在页面完成填报内容支持报表打印、导出、和格式,导
6.EXCEL WORDPDF出格式与导入模板一致报表数据绑定,可以直接对接数据中心数据,所有数据绑定操作,
7.均在页面完成.流程审核配置,支持多级审批节点灵活配置,审批条件可以根据8报表内容进行设定教职工一体化应用
4.7将教职工相关数据信息,如人事信息、科研信息、教学信息、资产信息、及其它相关指标信息汇聚在数据中心,以主题域的形式进行数据归类,并为教职工信息一体化应用为展示载体,将教职工在学校所有的信息进行统一展示以教职工一体化应用模块为基础,将学校常用的表格自动填报,减少了教职工“跑断腿”的情况发生,选择需要填报表格模板,将数据中心中的信息自动的填写,可下载并打印保存数据集成模块
4.8支持手动触发、定时触发(可以按秒、分、时、日、周、月进行周期性调度)、事件触发交换任务;支持多语言脚本转换,正则表达式,自定义组件、脚本、自定义组件javascript sqljava数据质量管理模块
4.9借助数据质量管理工具,使用者可以维护数据质量校验规则,了解数据库中数据的质量情况,及时发现并反馈质量问题,提供解决问题的建议,并形成可追溯的记录数据共享接口管理模块
4.10编辑和发布数据资源,通过平台编辑数据库中的表、字段为一个资源,资源有发布状态和非发布状态,非发布状态可编辑;数据对接在线联调功能,提供开发规范在线查看及示例在线展示功能,指导申请者完成数据接口API对接,规范对接流程和对接管理,提升对接效率;数据接口安全管理,调用接口时,支持多重认证方式,包括不限于秘钥验证、认证等,API token进行接口使用权限控制支持接口访问时效控制数据接入服务
4.11基于上述数据治理管理工具(数据标准管理工具、数据质量管理工具、元数据管理工具、数据集成工具、数据共享接口工具等)提供数据接入服务,本期包括个业务系统,分别是学生工作管理系统、综合教务管理系统、11人事管理系统、资产管理系统、系统、科研管理系统、一卡通系统、财OA务系统、实习与就业管理系统、档案管理系统、图书管理系统目录第章建设背景11第章建设目标21第章建设内容32第章具体建设方案43数据标准管理模块
4.13数据接入服务
4.24学生工作管理系统
4.
2.14综合教务管理系统
4.
2.24人事管理系统
4.
2.35资产管理系统
4.
2.46系统
4.
2.5OA6其他系统
4.
2.66数据集成模块
4.37元数据管理模块
4.48数据质量管理模块
4.59业务报表管理模块
4.613教职工一体化应用
4.714数据集成模块
4.814数据质量管理模块
4.915数据共享接口管理模块
4.1015数据接入服务
4.1115第章建设背景1学院信息化经过多年的发展,已积累了大量的业务和相关数据,但XX是因为数据质量不高、冗余数据大量存在和数据可用性不高,使很多数据处理工作需要重复的通过人工来确保正确,浪费了大量的人力和时间造成这样的问题,主要是因为信息化建设往往是多系统分散进行,在建设时缺乏统一的数据规划和相关标准,虽然做了大量的数据集成,但是因为数据不规范、不一致、冗余、部分数据无法共享等原因,使数据质量低下、可用性不高因此需要通过数据服务建设全校级别的数据管理流程体系来进行数据全生命周期的管理并用数据作为驱动对高校各项业务进行优化提升,对高校决策管理提供辅助,助力高校智慧校园建设第章建设目标2以实现数据资产化管理,保证数据质量,提升数据价值为目的,通过一系列的手段,构建出一个以数据为核心的管理及服务体系通过数据治理实现数据跨越组织架构和部门的管理这意味着统一规划管理人员、流程、政策与技术以确保交付可信的数据,以满足辅助管理决策、改善教师教学科研工作、更好为学生提供服务的需要从数据层面上看要求是包含全量数据,包含基础主数据、业务数据、甚至是非结构化的数据(大数据)既包含数据本体,也包含数据的质量、来源、责任人、版本等元数据为了达到上述目标,需要构建相应的全量数据治理平台与工具,学校信息化管理员使用工具将分散至各个业务系统中的数据集中到数据仓ETL库,通过相应的主题标准映射规则对数据进行分类统计,并对学校数据质量进行分析,以保证个流程正常运作第章建设内容3通过构建底层信息服务体系,建立专业的信息管理应用体系,共享和高效地使用信息建设一站式综合信息服务平台,提供业务信息的采集、存储、集成、共享等信息管理功能平台模块名称及对应服务内容数量实施范围1套部署数据标准管理模块1套数据标准管理模块本期接入11个业务系统,分别是学生工作管理系数据标准统、综合教务管理系统、人事管理系统、资产管理管理系统系统、0A系统、科研管理系统、一卡通系统、财务系统、实习与就业管理系统、档案管理系统、图数据接入服务1项书管理系统数据集成模块1套部署数据集成模块1套数据治理1套部署元数据管理模块1套元数据管理模块及共享系1套部署数据质量管理模块1套统数据质量管理模块1套部署数据共享接口管理模块1套数据共享接口管理模块数据应用系部署业务报表管理模块1套,含十张报表模型的制1套统业务报表管理模块作服务教职工一体化1套部署教职工一体化应用1套应用具体建设方案数据标准管理模块
4.1完善学校的全域数据标准是学校数据服务建设的一项重要工作,
1.对学校的业务数据进行梳理,形成统一标准主要用于在不同系统间,形成信息的一致理解和统一的坐标参照系统,是各业务系统的业务数据实现信息汇集、交换以及应用的基础,包括数据分类与编码、数据字典、数字地图标准为信息标准服务及管理平台功能发挥所涉及的各个环节,提供一定的标准规范,输出标准规范文档以保证信息的高效汇集和交换,包括元数据标准、数据交换技术规范、数据传输协议、数据质量标准等建设完善的版本管理,建设标准管理工具,管理标准全生命周期,对组织结构的维护收集、整理、创建、发布、物理化、升级全链管理同时建设标准信息管理系统,让标准更好覆盖全校,为各个业务系统服务,也为各个业务系统的数据清洗集成提供依据.数据服务建设中,需要对现行各业务系统的标准规范进行整理、2补充完善以及长远的规划,并把这些内容进行系统化管理和共享,至少提供标准内容编辑、标准发布、标准版本跟踪,标准与数据关系对应关系管理,使信息标准真正覆盖全、可利用以平台的形式的提供便捷高效的管理功能和规划功能,平台包含
3.标准与规范、标准内容管理、标准版本管理、系统管理等,作为学校信息化应用系统的建设及管理的指导数据标准能够提供数据源字段映射的全链路图形展示,明确标准来源系统和信息数据接入服务
4.2学生工作管理系统421学生工作管理系统,共个指标,包括个数据项如下335家庭联系人信息,包括学号、家属姓名、家属称谓代码、家属1称谓名称、家属所在单位名称、家属所在单位地址、家属所在单位地址邮编、家属联系电话等个数据项8奖学金信息,包括奖学金主键、学号、奖学金批次、奖学金种2类、奖学金等级、学年、学期、状态、学校审批结果、学校审批日期、申请日期等个数据项11新生信息,包括姓名、考生号、学号、性别代码、民族代码、3身份证件类型代码、身份证件号、生源地代码、籍贯、国家地区代码、政治面貌代码、入学前户口性质、考生类别代码、入学年份、联系电话、家庭地址等个数据项16综合教务管理系统422综合教务管理系统,共个指标,包括个数据项如下348⑴学生基本信息,包括学号、考生号、姓名、曾用名、性别代码、性别名称、出生日期、民族代码、民族名称、身份证件类型代码、身份证件类型名称、身份证件号、籍贯名称、电子邮箱、学院代码、学院名称、专业代码、专业名称、学生类别代码、学生类别名称、入学日期、入学年份、学生当前所在年级、班级代码、班级名称、学制、是否学分制代码、所在宿舍楼名称、所在房号等个数据项29⑵专业基本信息,包括专业、专业代码、专业名称、专业简称、ID专业英文名称、学制、状态、所属院系名称、所属院系代码等个数据项9班级基本信息,包括专业代码、专业名称、班级类别、毕业标4识、班级、创建时间、班级代码、班级名称、班级英文名称、班级简称ID等个数据项10人事管理系统
4.
2.3人事管理系统,共个指标,包括数据项如下245⑴教职工基本信息,包括职工号、姓名、性别代码、性别名称、出生日期、民族代码、民族名称、身份证件类型代码、身份证件类型名称、身份证件号、参加工作日期、来校日期、所在单位代码、所在单位名称、编制类别代码、编制类别名称、最高学历代码、最高学历名称、毕业日期、毕业学校、学位代码、学位名称、授学位日期、授予学位单位、教师资格证号、教师资格获得日期、党政职务、党政职务级别代码、党政职务级别名称、党政职务任职日期、校聘岗位名称、邮政编码、职务、报到时间、办公邮箱、手机号码等个数据项36⑵组织机构信息,包括组织机构代码、组织机构名称、组织机构简称、组织机构层级、父机构代码、父机构名称、排序、是否有效、数据同步时间等个数据项9资产管理系统
4.
2.4资产管理系统,共个指标,包括个数据项如下227在账设备信息,包括领用单位号、单位名称、校单位编号、校1单位名称、单位性质、仪器编号、仪器洛称、资产类别、国标分类号、国标分类名、分类号、型号、规格、数量、单价、计量单位、厂家、购置日期、存放地编号、存放地名称、入库时间等个数据项21⑵教职工领用资产信息,包括职工号、编号、名称、计量单位、资产类别、数量等个数据项6系统
4.
2.50A系统,共个指标,包括个数据项如下OA213公文信息,包括公文编号、公文标题、密级码、紧急程度码、1文件分类码、公文状态码、公文文号等个数据项7⑵流程审批信息,包括审批名称、发起人、提交日期、当前状态、当然环节、当前处理人等个数据项6其他系统426科研管理系统、一卡通系统、财务系统、实习与就业管理系统、档案管理系统、图书管理系统,具体指标及数据项以实际对接为准数据集成模块
4.3能够从不同类型的数据源完成米集工作,包括、
1.oracle mysql等学校业务系统常规使用的不同数据源sqlserver能够支持业务源数据的全量采集,在源头数据具有增量标识的情
2.况下,能够支持增量采集,并能够以定时任务的方式自动采集.在数据的采集中,要求实现可设置字段映射、条件过滤、自定义3规则转义等功能,满足当前灵活多变的采集需求支持图形化的数据转化与映射的工具
4..支持复杂定义,以页面的形式提供管理操作平台,管理者5ETL可以通过平台实现采集清洗的全流程管理,如查看采集结果、设置采集规则等.支持作业发生错误后,作业继续调度6ETL ETL.支持调度关联任务,并行和串行配置;支持自定义任务流程;支持7任务导出导入在调度时,除了执行规则,可以执行其他任务(存储过程、、
8.ETL SQL编码好的代码包)JAVA.支持图形化的作业调试,可设置作业在特定条件暂停9ETL ETL查看组件详细情况详细的日志输出,日志能抓取到错误发生的具体情况并记
10.录到数据库以便后续排除。