智慧城市运行管理平台数据治理服务项目方案（2023）

智慧城市运行管理平台数据治理服务项目方案

一、项目概述背景

1.当前，XX市正加快推进“智慧XX”建设，推进公共安全、公共服务、公共管理智慧化和数字经济发展，全力推动超大城市治理体系和治理能力现代化从全市层面进行统筹顶层设计，统一规划、数据、标准，加快构建‘智慧XX建设框架体系，推进数据跨部门、跨层级、跨地区汇聚融合和深度利用，为实现超大城市数字化治理夯实基础支撑因此亟需加快实现数据全面贯通对各级各类平台进行数据质量评价及规范，为全市公共数据汇聚奠定基础同时，加强与民政、公安等部门系统的对接，实现市级信息资源的充分融合政务数据治理服务需同步开展规划、建设和运营，既要能够要支撑后续“一网通办”、“一网统管”等城市级信息化项目建设以及全市数千个单位公共数据的管理运营工作又要应对由于规划、建设和运营的迭代周期非常短，且市场上没有成熟适用的产品支撑等问题，因此需要在建设中集成改进、在运营中优化需求、在规划中完善设计，不断迭代和更新而技术平台迭代和更新带来更长项目周期和更多集成风险目前传统信息化项目建设模式需要提供明确的需求范围、业务部门、建设周期和管理制度而目前政务数据项目的建设周期出现持续性、突发性和周期性并存等新情况，并且城市级大数据项目需要为全市各市级部门、各区（市）县及事业单位提供服务在这种体量下，目前政府的信息化项目建设模式和管理制度与城市级大数据项目的建设和管理需求适应匹配度不高

4、数据模型开发数据融合处理；

5、配置上线应用上线7应用建模服务应用建模服务目的是利用已有数据对优化现有业务流程，开展数据预测以及发现之前未发现的盲点，以此发现新的业务机会、新的服务模式，主要工作是指需要使用数据模型来进行预测分析、分类分析需求；根据不同的业务问题进行数学模型的建立；涉及到的主要步骤包括业务理解、数据理解、数据准备、建立模型、应用部署等步骤应用建模服务的具体工作内容应包含表9应用建模服务工作描述服务项服务描述

1、业务理解了解项目的要求和最终目的是什么并将这些目的与数据挖掘的定义以及结果结合起来；

2、数据理解启动数据的收集工作，开展数据梳理分析；收集原始数据，对数据进行装载，描绘数据，并且探索数据特征，进行简单的特征统计，检验数据的质量；

3、数据准备；涵盖了从原始粗糙数据中构建最终数据集将作为建模工具应用建模服务的分析对象的全部工作；

4、建立模型选择和使用各类建模方法，通过建造，评估模型将其参数将被校准为最为理想的值；

5、模型评估:针对建立的模型在进行最终的部署之前，开展评估工作确保模型达到目标并对有关数据挖掘结果的使用达成一致的决定；

6、应用部署模型部署上线8可视化展现服务为了借助图形化的手段和工具，以便更好的传递信息，让数据产生持久效应因此需要通过大屏可视化建设将数据中的信息以最直观易懂的方式展现出来可视化展现服务是根据业务需求，通过探索调研、原型设计、数据及接口开发、大屏前端开发等步骤，达到数据可视化展现的要求应用建模服务的具体工作内容应包含:服务项服务描述

1、需求调研沟通展示需求或迭代确认需求，形成需求文档，并根据业务场景提供展示方案；

2、原型设计明确风格需求，确认动态/静态效果设计需求，根据需求文档，出具点线图设计，根据确认的点线图设计，给出页面级高保真效果图；

3、数据及接口开发；完成数据项梳理、数据库表开发、数据指标开发（从可视化展示服务清单级至汇总级）、数据接口开发、特殊接口或数据落地形式开发；

4、大屏前端开发包括展现终端标准化触点开发、展现终端非标触点开发、前端展示组件开发、动态/动效开发、特殊动态交互、测试上线和联调交付；

5、后期维护包括基础报障，工作日常规报障和按需重点时刻保障（按次）9数据共享服务数据共享服务是根据不同用户的需求，按不同服务等级协议以及要求完成数据共享需求数据共享服务的具体工作内容应包含表11数据共享服务工作描述服务项服务描述

1、需求确认确认服务业务场景、服务类型、服务查询条件、服务返回结果等需求内容；

2、接口设计需求清单梳理，并编写接口设计文档；

3、编码开发按照服务资源开发需求，完成服务编码开发；数据共享服务描述

4、接口测试技术人员需要针对开发接口进行内部测试；

5、资源发布将测试通过的接口注册到资源交换平台发布至资源目录；

6、联调测试完成共享服务联调测试，提交测试记录4）数据开放服务

（1）数据开放服务数据开放服务是根据不同用户的需求，根据不同的服务等级协议以及需求,完成数据开放的接口开放工作数据开放服务的具体工作内容应包含服务项服务描述

1、需求确认确认服务业务场景、服务类型、服务查询条件、服务返回结果等需求内容；

2、接口设计需求清单梳理，并编写接口设计文档；

3、编码开发按照服务资源开发需求，完成服务编码开发；数据开放服务描述

4、接口测试技术人员需要针对开发接口进行内部测试；

5、资源发布将测试通过的接口注册到开放平台发布至开放目录；

6、联调测试完成开放服务联调测试，提交测试记录2数据开放运维服务数据开放运维服务主要针对热线，邮箱，新媒体，本站留言等全媒体服务开展咨询、报障受理、并对问题进行解答和处理，并对数据开放门户网站内容编辑和维护，编写门户完整活动策划及运营的方案，定期收集和分析门户运营数据表13数据开放运维服务工作描述服务项服务描述

1、网站管理当有对数据开放平台门户网站的内容维护，运营策划，运营统计有需求时，内容服务人员执行该项需求对应的工作，对网站整体进行内容运营工作；数据开放运维服务

2、问题咨询数据利用主体对开放平台有疑问提出咨询是，咨询服务人员进行解答，并且将解答内容反馈至数据利用主体5数据资产服务1作业调度运维在大数据应用场景中，一方面数据需要按照适用的场景应用将数据归集至不同的数据存储类型中；另一方面，数据也需要按照相适应的存储类型进行数据转化，以提高其访问效率，例如OLTP数据需要以链式存储，OLAP数据则需要以维度模型存储这些数据融合加工的作业是需要进行统一调度管理，避免错序、乱序导致数据质量问题的产生作业调度运维服务的具体工作内容应包含服务项服务描述

1、作业调度监控对日常数据加工、数据开放作业、分发作业的调度进行管理监控，并输出相关报告；

2、问题分析处理对中断，失败，卡死，执行时间过长的作业进作业调度运维行问题分析、定位、处理和记录并通过事后的分析，明确问题缘由，及时修复；

3、调度任务优化根据分析报告及问题处理情况，对调度任务进行优化2数据质量检查及异常处置数据质量检查是通过制定数据质量标准以及数据质量检测规则，对湖内的数据进行数据质量检查、校验，对检查出的异常数据根据规则进行反馈及处置，并跟踪处理成效完成各单位的数据质量报告，对数据质量存在的问题进行点评，制定数据质量提升方案，协同保障入湖数据高质量数据质量检查及异常处置服务工作量除与数据量有关外，也与数据需求明确程度，变更频繁度，数据结构清晰度，数据格式复杂度等业务和数据复杂度强相关基于上述情况进行抽象提取，数据质量检查及异常处置服务的具体工作内容应包含表15数据质量检查及异常处置工作描述服务项服务描述

1、标准规则设计依照数据稽核需求，设计稽核规则，确保日常数据质量的规范性，合理性，完整性，准确性；

2、问题分析处理对质量不合规的数据进行处理、检查、定位、修复和记录，并通过事后的分析，明确问题缘由，及时修复；数据质量检查及异常处置

3、质量报告整理并记录分析《数据质量报告》并提供数据质量检查日志；

4、质量提升通过数据质量问题分析及相关报告，制定质量提升方案，保证数据高质量入湖3数据资产盘点服务定期对数据资产进行盘点，检查已有数据资产的状态，发现数据资产目录与数据资产不一致的问题，更新数据资产目录信息，确保数据资产信息一致性和完整性表16数据资产盘点服务工作描述服务项服务描述

1、资产检查检查已有数据资产状态数据资产盘点服务描

2、资产发现发现数据资产目录与资产不一致述

3、资产更新更新数据资产目录信息，确保数据资产信息一致性和完整性

（4）数据资产评估服务对数据资产的数据血缘、数据权属、成本因素、价值因素等影响因子进行分析，整理出支撑数据资产价值评估技术的评估指标及权重基于梳理的评估指标,选择合适的评估模型，完成评估模型的测试、训练及调整，形成可信度较高的评估结果表17数据资产评估服务工作描述服务项服务描述

1、评估分析对数据资产的数据血缘、数据权属、成本因素、价值因素等影响因子进行分析

2、指标设计整理出支撑数据资产价值评估技术的评估指标及权数据资产评估服务描重述

3、资产评估基于梳理的评估指标，选择合适的评估模型，完成评估模型的测试、训练及调整，形成可信度较高的评估结果6）培训服务

（1）培训服务为数据运营管理控制过程有关的人员提供培训服务，以提高相关人员业务知识和技能水平，使其适应日常管理工作的需要，从而使整个服务过程和质量得到有效保证培训服务具体内容包括表18培训服务工作描述服务项服务描述培训服务

1、培训方案专业人员接到培训主管的培训计划后，根据培训的要求、方式和时间制定本次培训的具体培训方案

2、开展培训根据培训的具体的时间发出培训通知，正式开始培训

3、培训评估培训完结后对本次的培训整体、讲师分别进行评估，方便后期培训流程及方式的优化

4、培训归档培训评估后，将培训过程中的培训记录、结果、评估进行整理规定，为后面的大数据分析和个人培训档案的建立提供数据支撑7）其他服务由于数据需求的不确定性，对部分时间紧迫且无法分解为上述服务目录的需求采用人月模式提供现场技术服务，该部分服务内容可能包括方案设计、事件处置、服务管理等工作服务过程中要严格按照需求方要求开展工作，在服务一定阶段后，对于具有通用性的服务，后续随着服务目录的优化更新进行补充完善另外，数据作为信息的载体，其所含的价值具有及时性，到项目验收时可能已不能应用同时，数据服务也缺乏业界公认的计量标准、服务管理机制和绩效评估体系随着“疫情防控”、“复工复产”等突发场景驱动的数据需求越来越频繁，大量的数据需求都采用了先建设运行，后规划改进，再申报立项的方式，这就导致政府数据项目的价值时效性和工作标准性难以衡量按照XX市市政务云总体规划，目前已初步形成了全市统一的政务数据资源体系整体架构，将原来分散建设的数据资源目录管理系统、数据交换共享系统、大数据平台、公共数据开放平台等系统整合集成，新增开发数据供需管理系统，使用数据治理工具开展数据治理工作，平台具备数据资源编目、资源上传挂接、资源申请订阅、资源获取应用以及公共数据脱敏开放的全流程处理的能力向上完成与省级共享平台的单相级联，向下延伸到区县，面向区县提供管理和应用能力同时通过推进智慧XX运行管理平台建设，进一步提升我市数据资源管控能力智慧XX运行管理平台数据资源体系相关系统简介如下:序号名称功能简介XX市市公共数据1为全市各级部门开放数据提供服务开放平台建设以公民身份号码为唯一标识，集居住、婚育、就业、纳税、信用、社会保险等信息于一体的公民信息管理系统，实现数据权威、应用广泛、运行安全并覆盖全域XX市户籍人XX市市公民信息口公民信息管理系统定位于全市大数据领域信息基础设2管理系统施，构建了覆盖全市户籍人口、跨部门维度叠加的公民信息数据库，前期主要服务于政府单位之间的公民信息共享，已经成为我市发展政务大数据和大数据产业的重要支撑平台XX市市城市融合服务平台依托现有政府部门资源和成果，汇聚整合各部门提供的服务，将政务服务资源进行规范化共享、开放；分析、叠加组合服务资源，创新融合服务，为政府或部门应用系统拓宽服务渠道，提供更多专业化、多元化、XX市市市民融合3个性化的服务截止目前，平台承载服务接口4000多个服务平台其中接入服务接口3700多个，开发管道接口93个，开发融合服务接口143个；交付服务接口3000多个，服务访问量达16亿余次XX市市政务数据资作为XX市市跨部门互联互通、信息共享的桥梁和纽带，该4源交换共享平台平台利用中间件等技术在不同的应用和信息资源之间建立交换通道，实现数据资源共享XX市市政务信息5政务信息资源目录梳理、管理、数据的服务封装资源目录系统XX市市政务大数6对汇集数据的政务数据的采集、处理及共享据平台提供数据融合、加工、处理等完整的数据业务解决系统,提XX市市数据开发7供全链路、一站式、智能化的数据构建与管理平台平台XX市市数据治理服主要负责数据运营中对服务提供方、服务人员、治理任务、8费用结算等治理服务的管理务平台总体思路

2.治理运营服务一方面要求所建立的管理制度应当具备较好的可拓展性、可迭代性等特点，另一方面，要求治理运营服务能够与社会发展相适应、快速迭代，能够建立长效的治理运营服务的机制，防止管理制度的老化僵化，束缚治理运营服务的发展，以此应对政务服务涵盖的范围非常广的特点，最终能够解决如下问题以何种方式运营，运营服务的对象包括哪些，全生命周期的管理流程和规范有哪些内容，如何衡量治理运营服务绩效，如何培育和管理服务供应商等治理运营服务的应当将“集中治理，降本增效”作为总体原则，以绩效管理作为总体核心，通过快速迭代的方式来细化目标，全面规范治理运营服务中涉及的服务范围、服务内容、服务标准、服务考核，增强团队的核心能力，严控安全风险，最终形成可量化的绩效管理体系服务内容

3.利用智慧xx运行管理平台数据资源体系相关系统和工具开展以下服务L数据规划和专题分析服务对数据资源体系的战略、标准、制度进行规划和评估结合需求及数据情况开展调研，编制专题分析报告2需求对接服务对各级各部门提出的数据需求进行沟通调研，需求梳理和分析整理a数据治理服务包括结构化数据采集接入、非结构化数据采集接入、数据抽取运维、数据标注服务、数据图谱服务、数据融合加工、应用建模服务、可视化展现服务、数据共享服务4数据开放服务包括数据开放服务和数据开放运维

5.数据资产服务包括作业调度运维、数据质量检查及异常处置、数据资产盘点服务、数据资产评估服务6培训服务包括平台操作培训、数据使用培训、行业知识培训等

7.其他服务由于数据需求的不确定性，对部分时间紧迫且无法分解为上述服务目录的需求采用人月计费方式提供现场技术服务具体服务内容1数据规划和专题分析服务对数据资源体系的战略、标准、制度进行规划和评估结合需求及数据情况开展调研，编制专题分析报告表1数据规划和专题分析服务工作描述服务项服务描述

1、战略、标准、制度规划根据相关政策、国内外最佳实践和XX市实际情况进行数据资源战略、标准和制度的制数据规划和专题分定析服务

2、专题分析服务明确分析主题，针对确定的主题开展需求调研，梳理详细业务需求，结合数据情况编制专题分析报告2需求对接服务1供需对接服务根据各级各部门的应用场景智能化提升需要，协调对接市区两级部门，并完成数据需求梳理表2供需对接服务工作描述服务项服务描述

1、需求新增数据需求方明确数据需求，并提供数据需求资源清单；

2、需求沟通数据需求方操作员提交需求后，项目经理对供需对接服务数据需求进行复核，查看需求基本信息、信息项，并与需求方进行沟通，对具体业务进行理解；

3、需求受理:根据需求沟通结果，决定需求是否进行受理

4、需求分析:对需求进行分析形成需求分析报告3）数据治理服务数据治理服务通过数据资产构建、元数据管理、数据质量管理等，将部门提供的原始数据变为统

一、有序的数据资源，是后期的数据挖掘、数据分析的前提，是治理运营服务的基础数据治理服务包含数据接入、数据治理、数据分析及数据共享与开发服务，贯穿于数据从采集、归集、整合、共享到的全生命周期，通过数据分析应用服务，以“用”促“治”构造数据驱动、应用导向的数据价值挖掘体系，不断创新数据智能应用场景，实现公共数据资产化管理，开展多维数据融合，形成数据集产品的服务能力，支撑跨部门、跨层级的数据共享与开放，实现公共数据开放和社会数据融合应用,形成公共数据的良性运营生态

（1）结构化数据采集接入结构化数据采集接入工作是各单位根据履职需要或从业务系统中或手工采集业务数据，其中包括业务分析、资源目录编制、数据协议适配（数据格式定义）、资源挂载等内容并且数据采集接入服务工作量与数据需求明确程度，需求变更频繁度，数据结构清晰度，数据格式复杂度等业务强相关基于上述情况进行抽象提取,具体工作内容如下:表3结构化数据采集接入工作描述服务项服务描述

1、业务理解根据新的数据接入需求，理解数据的业务含义；结构化数据采集接入

2、数据理解根据业务含义理解，设计数据格式，如字段名称，字段长度，字段类型等；

3、目录编制；依据数据格式，编制和更新数据目录；

4、责任清单、需求清单、负面清单、开放清单编制协调根据数据情况，确认是否需要协调更新责任清单、需求清单、负面清单或开放清单；

5、数据协议适配:根据目录情况，确认数据接入方式，开发接入接口；

6、资源挂载将开发后的接口与目录进行挂载，并进行初步清洗后入湖2非结构化数据采集接入非结构化数据采集接入工作是各单位根据履职需要或从业务系统中或手工采集图片、文件等数据，其中包括业务分析、资源目录编制、数据协议适配数据格式定义、资源挂载等内容并且与数据需求明确程度，需求变更频繁度，数据结构清晰度，数据格式复杂度等业务强相关基于上述情况进行抽象提取，具体工作内容如下表4结构化数据采集接入工作描述服务项服务描述

1、业务理解根据新的数据接入需求，理解数据的业务含义；

2、数据理解根据业务含义理解，设计数据格式，如数据内容，数据类型等；

3、目录编制；依据数据格式，编制和更新数据目录；非结构化数据采集接

4、责任清单、需求清单、负面清单、开放清单编制协调根据数入据情况，确认是否需要协调更新责任清单、需求清单、负面清单或开放清单；

5、数据协议适配:根据目录情况，确认数据接入方式，开发接入接口；

6、资源挂载将开发后的接口与目录进行挂载，并进行初步清洗后入湖3数据抽取运维数据抽取运维是为后续基础数据库、主题数据库应用，数据共享交换及开放服务等提供保障，通过将挂载的数据资源不间断地抽取入湖，保障各信息系统数据及时准确地归集、汇聚，并对问题抽取数据的进行处置调整数据抽取运维的具体工作内容应包含表5数据抽取运维工作描述服务项服务描述

1、抽取规则设计针对抽取运维过程中需求发生变化的情况，需要进行数据清洗抽取规则设计；

2、日常运营维护日志分析抽取运维工作任务进行日常运维及日志分析（如平台支撑能力分析，运营服务能力分析）；数据抽取运维

3、问题排查针对抽取运维任务的问题排查，重大问题修复，缺陷代码的修改；

4、流程优化根据抽取运维任务运行情况及用户反馈，对调度任务进行流程优化4数据标注服务在后续的图像内容识别、自然语言学习、OCR识别（图片文本识别）、语音转译等AI数据服务进行应用，数据标注服务是将结构化数据、文本数据、音频数据、视频数据、流媒体等格式开展数据条目的内容释义，并开展分级分类工作数据标注服务工作量除与数据量有关外，也与数据需求明确度，变更频繁度，数据结构清晰度，数据格式复杂度等业务和数据强相关基于上述情况进行抽象提取，数据标注服务的具体工作内容应包含表6数据标注服务工作描述服务项服务描述

1、需求确认确认数据标注需求（包含分级分类标准、数据范围、需求场景等）；

2、标注规则设计根据标注需求，设计数据标注业务规则，并对数据标注服务评审不合格的规则进行整改；

3、代码编写测试按照确认的标注规则，依托大数据资源平台完成编码和脚本开发，对指定范围内的数据执行标注操作，记录标注日志;

4、标注结果确认确认标注结果，并对验收不合格的标注结果进行整改5数据图谱服务数据图谱服务是为了将智慧XX项目中跨类别的数据间关联关系以图谱形式进行呈现，方便各级各部门业务人员以图形方式对关系进行检索和查询通过对智慧XX项目的海量数据进行整理、分析和加工，挖掘XX数据资源，可为行政监督、基层、市场主体提供大数据服务；对智慧XX活动提供动态监测分析，对市场主体异常行的预警研判，对重点人群进行关注，提示可能存在的问题和风险进行技术上的支撑基于上述情况进行抽象提取，数据图谱服务的具体工作内容应包含表7数据图谱服务工作描述服务项服务描述

1、数据图谱分析进行需求明确，形成设计方案；

2、数据图谱实施开发人员根据方案进行设计开发

3、数据图谱测试试对开发人员进行图谱功能测试、压力测数据图谱服务

4、数据图谱上线数据图谱以接口或者展示层面提供对应服务6数据融合加工数据融合加工主要工作是对数据开展标准化、转译、合并、指标计算等工作，以此实现对跨层级、跨区域、跨部门、跨领域的公共数据的融合加工数据融合加工的具体工作内容应包含表8数据融合加工工作描述服务项服务描述

1、业务理解所面临的业务问题进行分析，并定义取值数据目录范围；

2、数据理解对所取值的数据目录范围进行分析，涉及的数据格式、数据数据融合加工内容进行解读；

3、数据模型设计；根据数据源的存储格式以及目标数据的访问性质进行E-R设计；。