还剩8页未读,继续阅读
本资源只提供10页预览,全部文档请下载后查看!喜欢就下载吧,查找使用更方便
文本内容:
城市大数据中心数据汇聚和公共服务日常维护项目服务方案6统计部门的前置机数据库对外服务数据量以及通过接口对外提供的服务次数和数据量;7统计目录的增减清单及工单派送处理情况,对工单进行安排执行并反馈进展项目概况
1.1XX市城市大数据中心目前已经汇聚39个市级政府部门的数据资源、对外服务于37个政府部门,未来数据汇聚、数据治理、数据服务和数据开发利用工作的宽度和深度将不断加大本次XX市城市大数据中心数据汇聚和公共服务日常维护项目主要服务内容包括标准维护和贯标服务、数据治理服务、数据共享开放和应用服务、基础运维服务、综合报告服务等服务方案
1.2标准维护和贯标服务
1.
2.1根据国家、省、市发布和城市大数据中心的的标准,在日常运维工作进行维护和贯标,推动数据管理走向科学化、规范化需要维护和宣贯执行的标准包括且不限于以下标准:
1、《全省政务信息资源共享交换相关标准规范》
2、《江苏省五大基础库实施指引》
3、《XX市市数据分级分类实施指南》
4、《XX市市数据共享工作规范》
5、《城市大数据中心数据采集、更新、应用管理制度及流程》
6、《城市大数据中心数据库数据结构体系规范》
7、《城市大数据中心数据库基础数据规范》
8、《城市大数据中心数据库基础元数据规范》
9、《城市大数据中心数据库数据分类规范》
10、《城市大数据中心数据库接口开发与管理规范》
11、《城市大数据中心信息资源安全管理制度》
12、《XX市市政府数据资源库建设规范》
13、《XX市市政府数据资源数据格式规范》
14、《XX市市政府数据资源数据应用规范》
15、《XX市市政府数据资源数据对接规范》深入了解城市大数据中心现有标准规范,诊断出当前标准规范执行存在的问题,形成诊断分析结果结合工作实际,开展标准规范贯彻落实工作对工作中发现需要维护和修订的标准进行修订,完善补充全程跟踪标准执行过程,并提出改进建议,对贯标诊断结果进行督查整改,为数据规范化管理提供基础支撑数据治理服务
1.
2.2数据接入服务
1.
1.
1.1数据接入是将数据从数据源通过ETL工具汇聚到城市大数据中心,通过明确数据标准、数据来源等必要步骤,完成数据接入工作的需求分析,保障接入数据的规范性、完整性根据市级各部门数据需求和上级数据归集要求,汇聚各类数据资源、编制数据标准,在数据仓库建库建表,将数据汇聚到城市大数据中心针对数据的汇聚清单、频率、方式及数据源情况,制定数据接入实施方案数据调度服务
1.
1.
1.2数据调度服务根据不同用户、不同使用场景满足不同的数据交换需求,其服务内容包括但不限于调度任务设计、任务部署、作业调度运维服务等数据调度服务使用ETL工具进行调度任务设计,并部署到生产环境,同时为了能够满足城市大数据中心及各委办局对数据及时性及稳定性的要求,通过作业调度工具对调度任务进行监控,对中断、失败、卡死、执行时间过长的调度作业进行问题分析、定位、处理和记录,明确问题缘由,及时修复,以便后续能够避免同类问题发生数据质量服务
1.
1.
1.3数据质量服务是指为了能够满足城市大数据中心及各委办局对数据正确性和合理性的要求,结合数据运营工作实际需求,依照数据核检需求,设计符合数据标准和公共数据模型设计规范的核检规则通过核检规则对日常数据的规范性、完整性、及时性等进行检查、校验,生成数据质量记录,并对异常数据进行反馈及处置,以便业务部门能够正确、高效的应用数据针对数据清洗过程中出现的数据异常问题进行汇总,将错误数据统一放到系统委办局账户下,反馈给部门整改数据资源管理服务
1.
1.
1.4将大数据中心所有数据资源进行数据资产化管理,实现全生命周期管理数据资源管理服务包含元数据管理服务、数据标注服务元数据管理服务使用具备元数据模型设计、元数据采集、元数据分析、数据地图展现等核心功能的元数据管理工具,对元数据进一步抽象描述,方便通过全自动的方式采集到所需要的元数据同时根据元数据模型,对元数据进行录入和管理,同步维护元数据信息数据标注服务包括对结构化数据、文本数据、音频数据、视频数据、流媒体等格式进行内容释义,并对内容进行分级分类管理根据分级分类标准、数据标识的需求场景、需要标识的数据业务分类、需要标识的数据安全分类、需标注的数据范围,提升数据资产复用性和数据管理精细化程度数据共享开放和应用服务
1.
2.3据共享开放服务
1.
1.
1.1数据共享开放服务是指为促进公共数据共享和开放,完成各机关企事业单位之间信息共享,包含民生紧密相关、社会迫切需要、商业增值潜力显著的数据共享数据共享开放工作需要支撑不同的数据业务场景、服务类型等需求方通过接口能够及时进行数据查询,提升数据利用效率和能力数据共享开放服务包括接口运营服务和接口监控服务接口运营服务根据需求完成数据服务接口的配置,接口分为三类,国家接口、省厅接口、市本级接口,国家和省厅接口是通过封装接口对市本级委办局提供数据查询、单条核验等服务市本级接口封装城市大数据中心数据,对委办局提供查询、单条核验、批量核验等服务接口监控服务是指为保障接口运行的安全性和可靠性采用技术和管理方法,对接口的运行环境、运行状态进行综合管理和故障处理接口监控服务主要工作包括针对接口群进行监测分析等,具体工作内容如下监控状态通过监控界面发现异常接口;通过日志发现数据服务是否有异常故障处理针对日常运营维护发现的问题,第一时间进行故障处理和系统恢复基础库和主题库实施服务基础库建设内容包括数据编目、数据建模、元数据管理、数据整合、数据关联、数据应用等过程按照省大数据中心五大基础库建设要求,深化基础和主题库的建设和应用,配合业务部门建立分析应用场景,形成基础库和主题库的服务能力进一步提升人口综合库、法人综合库、信用信息库、电子证照库等建设水平,更好支撑各项应用按照2021年大数据中心工作要求,实施基础库和主题库建设服务,服务各相关应用部门数据查询分析服务
1.
2.
3.3根据城市大数据中心日常要求,不定期进行各维度数据的统计,并出具数据的比对结果,对特定数据集形成分析结果根据日常要求生成需求文档、数据分析报告基础运维服务L
2.4数据库运维服务
1.
2.
4.1对目前已有的70套ORACLE、6套MySQL、1套mpp数据库软件进行日常维护数据库系统运维服务包括软件更新及维护、检查并分析系统日志以排除数据库系统故障隐患、检查数据库空间的使用情况、检查数据库备份的完整性、监控数据库性能、评价应用对系统的使用情况并提出建议、实施数据库的性能调整中间件运维服务
1.
2.
4.2对目前已有的Apache Tomcat、MQ等40套中间件进行日常维护管理,提高对中间件事件的分析解决能力,确保中间件平台持续稳定运行主要工作如下
1、执行线程监控Apache Tomcat配置执行线程的空闲数量
2、JVM内存JVM内存曲线正常,能够及时的进行内存空间回收
3、JDBC连接池连接池的初始容量和最大容量应该设置为相等,并且至少等于执行线程的数量,以避免在运行过程中创建数据库连接所带来的性能消耗
4、检查日志文件是否有异常报错
5、需要检查集群的配置是否正常操作系统运维服务
1.
2.
4.3操作系统运维服务包括故障修复定期对操作系统运行状态进行检查和分析;对客户申报的操作系统故障提供远程支持,尽快修复故障优化建议针对客户当前操作系统运行情况,给出优化建议并实施,提升性能;根据客户业务发展趋势,评估操作系统当前及应有性能,提出性能建议日常维护操作系统用户管理、操作系统用户权限管理;系统账号检查;操作系统漏洞检查;操作系统日志清理故障处理故障的排除、恢复;确认故障排除、恢复的结果;日志分析、跟踪处理操作系统监控CPU检查;JOB运行检查;RAM使用率检查;性能分析;监控记录操作系统升级补丁测试;补丁安装等数据迁移和硬件存储升级服务
1.
2.
4.4对所有系统提供数据迁移技术支持,当需要迁移业务系统或设备时,提供必要的技术支持,并保证迁移后业务系统的正常运行对硬件存储升级提供技术支持,保证因存储升级涉及的数据服务正常运行和平稳切换综合报告服务按规定时间节点要求,编制以下综合报告,提交至市大数据中心
1、每月出具一份《城市大数据中心月度数据质量报告》,其中包括每月各委办局上传数据的质量情况,从数据交换量、完整性、规范性、时效性等方面对汇聚的数据进行监测检查,“人口库”、“法人库”等作为重点监测对象“月度数据质量报告”,针对部门上传的数据进行细项分析,以图表方式展示每月数据质量情况,同时对每个委办局出具细分的部门数据质量报告
2、不定期或按需对专题数据进行数据核检出具数据质量分析报告
3、运维报告服务分为周报,月份,季报,半年报,年报,每份报告编制包含以下工作1统计、汇总数据汇聚情况;2统计、汇总数据服务情况;3统计、汇总目录和门户增减情况;4统计、汇总工单派送及完成情况;5统计大数据仓库的ODS库、部门库,主题库中的人口库、法人库,电子证照库的累计数据量、周新增数据量、周实有数据量,对各委办局的周数据汇聚进行分部门统计;。