XX市智慧城市大数据平台汇聚共享能力建设项目建设方案

市智慧城市大数据平台汇聚共享XX能力建设项目建设方案成果基础上进行开发或改造，并保持项目源代码的继承性和连贯性投标人需要完全满足以下要求继承性和连续性原则

5.1（）平台功能完善须在现有技术架构和源代码之上进行开发，即1充分继承已有代码成果，沿用原有服务接口使用方式和业务流程;（）充分继承和利用现有的软硬件资源，包括服务器、操作系统、2数据库、中间件和网络配置等内容；（）如有必要，需保证各平台现有功能模块和优化完善版本能够3并行运转；（）保证用户基于现有平台搭建的业务系统能够平滑过渡，4API并继续支持用户既有系统的稳定运行，即保持高版本对低版本的兼容性；（）各平台功能完善版本上线后，旧系统内的数据务必确保可查、5可用、可导出、可移植，不能丢失或废弃实用性和成熟性原则

5.2（）充分借鉴和吸收同类产品的优势，以实现各平台功能模块优1化完善以及平台总体性能得到提升为基本目标，有步骤、分层次地进行优化完善；（）坚持实用、经济的原则，面向实际、注重实效，合理制定2实施规划，避免一味追求先进技术和贪大求全;（）把科学的信息资源共享服务理念和先进成熟的技术手段紧3密结合起来，准确合理的实施业务流程优化；（）采用的技术手段或产品，符合当今技术发展方向和未来发展4趋势，确保系统具有较强的生命力，有长期的使用价值可靠性和可维护性原则

5.3（）建立明确的项目建设质量目标，保证新增程序代码可理解、可1测试、可修改，并建立严格的质量审查机制；（）充分考虑系统版本切换、业务系统衔接、信息安全等方面的2问题，降低系统建设和运维风险；（）新增功能服务应坚持采用模块化、结构化的程序设计思路;3（）持续改进程序设计、数据结构、接口说明、系统开发和维护4日志等文档，保证文档描述的规范性、完整性和易读性，便于理解和使用兼容性和扩展性原则

5.4（）保持前端系统与主流浏览器的兼容性，如、1IE11Chrome.Firefox.等，包括必要的兼容性测试和修改，提供支持、等新Safari HTML5CSS3标准的解决方案等；（）保持系统与旧版本的兼容性，提供等版本的兼容视图，2IE IE8保证前端系统功能的正常显示和使用；（）在满足当前应用需求的基础上，建设思路应具备适当的超前3性，保证未来系统可灵活扩展；充分遵循“标准和开放”的思想，支持业内相关标准协议和接口，4便于系统扩展和用户对接第章项目建设方案6基础共性应用支撑能力升级完善

6.1基于云化思想对基础的共性组件进行封装，完善共性组件多租户管理能力，夯实大数据平台的技术赋能，为委办局应用提供数据分析计算环境和工具资源服务能力建设

6.L1提供开放的、标准的不同形态的资源接入能力，除传统的存储资源、计算资源以外，将共性组件、服务等也纳入资源接入范围,并通过多API租户、容器化的模式将大数据平台的服务能力供给相关需求方，提升集约化水平组件服务中心模块

6.L2通过服务中心实现各类共性组件的接入、发布和管理包括服务浏览、服务订阅与退订、组件申请与授权等融合共建管理模块

6.L3通过改造数据分析挖掘工具，设计“不可见”分析环境和数据消亡机制，实现跨委办局的数据融合分析通过设计“数据沙箱”，营造“不可见”分析环境，构建训练态、生产态两态模式训练态进行模型训练，而生产态执行模型推理及运算资源监管模块

6.L4基于资源利用和供给情况，对储算资源、应用、组件工具、数据等多个维度进行监控和分析，以确保当前的资源能够发挥最大的效能针IT对共性组件服务的内容和绩效进行分析，并通过可视化大屏等方式进行展现多租户管理模块实现基于项目的多租户管理模式，并实现针对项目管理人员和技术人员的不同用户管理体系共享交换平台升级完善

6.2升级完善市共享交换平台，实现“数道”与“链道”的对接，提升市共享交换平台的服务能力包括以下功能共享交换平台和目录链的对接整合

6.

2.1构建目录链与共享交换平台联动的技术架构，按照目录链上数据申请和授权的实际情况，自动触发数据交换流程，最大限度减少人工参与实现“数道”自动获取“链道”上的数据管控信息，自动完成数据交换流程配置，并在流程启动后向目录链提供任务完成信息，实现全过程自动化提升共享交换平台服务水平622在现有文件和库表交换方式外，扩展市共享交换平台服务能力，建设针对落地数据的接口封装、发布功能，支撑各单位通过接口实现数据查询、更新和核对服务该功能应能够对、等多种不同数据库进行适配和服务封Oracle MySql装；能够实现接口调用的申请、审批、授权等管理过程，并具备调用控制等安全手段现有共享交换流程的控制信息提取623根据与目录链对接的技术要求，提取现有余个共享交换流程的7000管控信息（数据类型、两端前置机/数据库地址、更新方式等）,并按照与目录链对接标准进行打包存储，形成完整的数据交换管控信息表日志记录624上述所有数据管控、接口调用日志应对接到市大数据平台日志中XX多平台适配625市共享交换平台目前部署了包括和东方通两套产品，Fiorano DXP不排除增加或替换新产品的可能，因此，本项目中设计开发的与目录链的对接整合功能，应该能够适配多种交换平台跨网络数据共享626共享交换平台支持跨网络数据交换，实现社会企业和政府机构之间的数据共享数据治理模块升级完善

6.3在数据治理功能建设的基础上，从设计理念、技术架构、建设方法等多个方面进行优化提升，提供对委办局多租户的服务能力，支撑委办局建设基础库和主题库，提供一站式全流程数据仓库建设和数据治理工具，帮助用户建成原始层、标准层、主题层、指标层的标准数据仓库面向委办局提供基于的智能数据关联、数据主题化加工、数据探查、数据集成、AI全域数据治理、全链路自动化血缘、统一数据标准、算法开发、数据模型建设、数据开发平台等服务化支撑能力原始层数据建设模块

6.

3.1原始层数据建设是抽取源系统的基础数据，形成一个数据缓冲区源业务系统的数据可能来自不同类型的数据库以及分布式文件系统等，需要通过基础数据源将异构数据集成至大数据平台，生成原始层针对原始层的数据进行质量评估，通过完整性、准确性、唯一性、一致性、规范性、时效性等六个维度对基础数据进行质量评估，输出基础数据质量评估报告，指导源业务部门的数据质量提升标准层数据建设模块

6.

3.2基于原始层的基础数据，结合导入的基础数据标准，通过基础数据智能关联标准数据元，通过可视化界面配置基础数据清洗加工策略,按照提取、清洗、关联、比对、标识等规范流程进行数据清洗处理，实现数据标准化，生成标准层主题层数据建设模块

6.

3.3主题层数据建设以标准数据为根，通过标准牵引、聚合拉通，树立数据权威，实现“数据搬运方”到“数据赋能方”的转变将需求涉及范围内的业务对象从高度概括的概念层次归类，即划分主题域，再针对各个主题域设计实体-关系图主题层数据建设模块的数据主要面向基本事实和基本维度，在粒度上以最细的方式存储，在设计上遵循第三范式要求，属于数据中心的核心资产主题层数据建设模块主要由基础库数据模型、基础库数据血缘、基础库数据模板三大功能模块构成指标层数据建设模块

6.

3.4指标层数据建设基于主题层权威数据，结合政务创新需求，建设贴合政务需求的指标模型，为各政务应用提供服务指标层存储为特定用户预先计算好的数据，从而满足用户对性能的需求，在一定程度上缓解访问数据仓库的瓶颈指标层的特点是数据粒度较粗，数据采取星型或雪花型结构，较少保留历史数据,便于访问分析和快速查询指标模型具有面向特定用户群、合理的查询响应时间、便于扩展的特点指标层数据建设模块主要有基础库数据开发、基础库算法开发、基础库工作流三大功能模块构成数据服务接口封装工具

6.

3.5建设大数据服务接口封装工具，能够对落地市大数据管理平台的数据进行接口封装，并为各委办局提供数据接口调用服务服务模式包括数据查询服务、数据更新服务以及数据验证服务

6.

3.6适配能够对、、、多种不同数据库的类Oracle MySqlSqlServer Greenplum型进行适配和接口服务封装、数据源管理2数据源注册能够对需要封装接口服务的数据源进行注册，保证能够对数据源的数据进行安全访问，注册内容包括信息系统名称、数据库类型、服务器地址、端口号、数据库、用户名以及密码等信息IP SID数据源维护能够对已注册的数据源进行维护管理，包括数据源内容的变更、删除等、服务注册3单条服务注册针对已经接入到大数据平台的数据，可直接通过配置界面配置服务接口，包括接口基本信息、输入信息、返回信息以及返回数据类型等；如果有特殊的需求，可以通过的方式写入查询条件sql批量服务注册提供批量服务导入功能，可通过服务注册模板批量导入接口服务的配置信息服务维护能够对已注册的服务进行维护管理，包括服务内容的变更、服务停用、服务删除等、服务生成4数据查询服务通过选择的数据源以及查询服务接口的配置参数信息，自动生成数据查询服务接口，外围系统通过传入要查询数据的关键信息，如编码、数据名称等，依据权限实现返回符合规则的单条或多条数据结果数据更新服务通过选择的数据源以及更新服务接口的配置参数信息，自动生成数据更新服务接口，外围系统通过传入数据的关键信息以及区间时间，返回该区间时间的数据变化结果数据验证服务通过选择的数据源以及验证服务接口的配置参数信息，自动生成数据验证服务接口，外围系统通过传入要验证数据的信息，如编码、数据名称等，返回验证数据是否存在的结果、服务检索5可通过服务的关键字，如服务接口名称、接口类型等对服务进行快速检索，同时支持模糊搜索、服务同步6将配置好的服务接口同步到服务平台，包括接口基本信息、接口说明和调用实例接口审核人员对已经提交的注册信息进行审核，审核后可通过目录链进行发布、服务授权7需求部门通过大数据目录找到资源点击接口调用申请，申请受理和审批后，由接口封装工具进行接口访问控制、接口调用控制8通过接口封装工具定制每类接口每次访问最大调用条数，同时,用户申请时服务平台设定每天调用每类接口最大调用次数，以此来实现接口的调用控制，防范恶意调用、大批调用落地的情况，确保数据的安全性支撑市公共信用数据归集治理

6.

3.7XX支撑市公共信用数据归集治理提供数据稽核、清洗工具以及数据XX归集情况展示、稽核问题数据下载/在线修改界面、问题数据反馈数据治理工具需要实现对数据提供单位的通知功1能、问题数据修改数据治理工具提供两类修改方式，一种是批量下2载的离线修改，另一种是针对少量问题数据的在线编辑；为方便数据提供方修改，反馈的问题数据详情包括每条问题数据的稽核规则和错误内容、数据统计信息管理查看提供相应页面，支持各类人员按权3限查看数据量、数据质量等统计信息目录第1章项目背景1第2章项目总体建设内容1第3章项目已有基础情况2共性组件支撑能力现状

3.12共享交换平台现状

3.23数据治理模块现状

3.33电子证照系统现状

3.44第4章项目建设目标4第5章项目建设原则5继承性和连续性原则

5.16实用性和成熟性原则

5.26可靠性和可维护性原则

5.37兼容性和扩展性原则

5.47第6章项目建设方案8基础共性应用支撑能力升级完善

6.18资源服务能力建设

6.

1.18组件服务中心模块

6.

1.28融合共建管理模块

6.

1.38资源监管模块

6.

1.49多租户管理模块

6.

1.59共享交换平台升级完善

6.29智能搜索模块建设

6.4建设一套功能完善的智能搜索引擎，在已有数据资源库及数据资源目录相关系统基础上，通过对数据结构、链接、内容、标签、关键词密度的内容优化，为用户提供人性化和智能化的信息检索服务，使用户能够便捷高效地获取所需信息包括如下功能模块」智能搜索基础框架

6.4底层包括通用搜索引擎、高级检索、二次/渐进检索、分类检索、关联关系检索、批量比对检索、文本要素检索、历史搜索推荐、搜索结果导出、多源数据接入、系统配置等功能全文检索模块642支持根据用户查询条件全文检索相匹配的数据资源目录及文件;支持按照相关性、时间、发布部门等推荐满足条件的政策文件或数据信息资源；支持根据数据保密等级设置数据查看权限包括基础检索、模糊检索、组合检索、命名实体检索、批量检索、二次/渐进检索、同义词搜索、热词搜索等功能标签检索模块

6.

4.3支持标签抽取功能，如公文法规等文档内容的关键字词抽取，自动打标签，实现标签与文本间关系对应，同时为保证标签准确性和扩展性，支持基于检索结果标签内容的人工自定义标签支持标签检索功能，基于已抽取或自定义的标签检索对应的政策文件、数据信息等，系统智能推荐同类标签的其他关联文件和数据用户可通过标签链接再次搜索指定标签的文件数据以文搜文模块

6.

4.4支持要素提取，针对政策文件等文本，自动提取要素，如政策名称、涉及单位、执行时间、签发人等实体要素，构建关注要素与原文本的关系，打通各类数据间关联支持文本要素可视化检索，用户输入搜索诉求，系统自动解析搜索内容中的关键要素进行实体要素的组合检索，实现满足条件的政策文件、数据信息推荐语义识别与解析模块

6.

4.5支持识别搜索意图，根据用户输入内容自动识别判断输入意图类型，随着用户的不断输入，反馈的判断（的意图）类型也自动发生变化支持相关搜索自动推进，根据输入内容推荐相关的历史搜索，如高频搜索词汇、输入内容相关搜索高频词汇等智能范围检索模块

6.

4.6支持范围搜索功能，可根据输入条件和检索内容，智能匹配搜索范围和搜索字段;支持用户自行设置搜索范围，搜索范围按类型分类检索结果智能化多维展示模块

6.

4.7支持相关度智能排序，根据搜索意图、权重相关性进行结果优先排序，将用户最期望的信息优先展示；支持查询结果按照与查询关键字的相关性进行排序支持结果详情展示，通过多种检索方式展示检索结果，结果视图包含源文本内容、标签、要素等多维信息，支持检索结果导出，检索结果页面支持二次检索支持结果预览导出，支持检索结果本地化导出，支持公文法规等数据的源文件在线预览、下载数据接入模块

6.

4.8支持数据索引构建，支持常见的数据库、文本等多源数据快速接入并构建索引，根据不同需求场景提供多种接入方式，包括全量导入、增量导入、部分数据导入、部分字段导入等多种方式支持数据自动清洗，支持基于身份证号、护照号、车牌号、银行卡号、手机号等字段条件推导的能力，可人工按需指定导数过程中自动推ETL导转换；提供脏数据过滤、缺失值、不合法字符处理等基础数据自动清洗能力；支持公文法规等文档批量接入过程中自动抽取要素并构建关联支持数据在线上传，支持各类分散数据的在线上传，无需复杂的定义和模板选择，数据一旦上传即可进行检索，同时可根据不同业务需要进行数据私有或共享用户校正模块649基于自然语言识别等技术实现智能检索，支持用户对每次的检NLP索结果符合度打分、选择结果列表最符合的结果；能够自动记录用户行为，重新计算模型算法和反复校正，不断提高检索结果的精准度国产化适配完成智能搜索模块的国产化适配工作电子证照系统升级

6.5（）重新规划数据库结构，根据业务区分数据库结构，将现有的1文件规划存储到文件服务器等（）增加现有服务配置，实现多机负载集群部署，增加业务系统2的可用性（）重新规划现有电子证照系统的部署结构，实现根据业务、用3户分别提供服务，实现服务的松耦合，避免业务之间交叉影响国产化适配

6.6协助完成大数据平台相关模块已有部分和升级部分的国产化适配工作共享交换平台和目录链的对接整合

1.

1.19提升共享交换平台服务水平

1.

1.210现有共享交换流程的控制信息提取

1.

1.310日志记录

1.

1.410多平台适配

1.

1.510跨网络数据共享

1.

1.611数据治理模块升级完善

6.311原始层数据建设模块

6.

3.111标准层数据建设模块

6.

3.212主题层数据建设模块

6.

3.312指标层数据建设模块

6.

3.412数据服务接口封装工具

6.

3.513支撑市公共信用数据归集治理

6.

3.6XX15智能搜索模块建设

6.416智能搜索基础框架

6.

4.116全文检索模块

6.

4.216标签检索模块

6.

4.316以文搜文模块

6.

4.417语义识别与解析模块

6.

4.517智能范围检索模块

6.

4.617检索结果智能化多维展示模块

6.

4.718数据接入模块

6.

4.818用户校正模块

6.

4.919国产化适配

6.

4.1019电子证照系统升级

6.519国产化适配

6.619第章项目背景1按照市委市政府的统一部署以及市大数据行动计划“四梁八柱深XX地基”的总体设计思路，依据“边共享、边整合；边应用、边完善”的建设原则，我局组织系统总体组、专家咨询组进一步深化细化大数据平台总体设计，历经多轮迭代完善，经专家评审，编制形成了面向“深地基”的大数据行动计划筑基工程项目方案筑基工程项目将基于以目录链为核心的数据全流程管控机制，在充分整合和利用目录链、共享交换平台、空间平台、驾驶舱等前期已有成果的基础上,构建较为完善的大数据“汇、管、用、评、安全”全流程一体化能力体系，打造面向全网络、全流程、全集约、全通道的“四全”能力,促进数据能够依法、安全、有序、自由地流动，推动各部门业务应用系统建设模式的高效转变，支撑数字政府、数字经济、领导决策等重要工作上一个新的台阶第章项目总体建设内容2本项目作为筑基工程的一部分，主要工作内容包括一是提升大数据平台共性组件应用支撑能力，实现租户资源、工具组件的灵活分配和管理，减少通用工具的重复建设；二是实现目录链与共享交换体系联动，建立起按规则按需随时取数、汇数的技术支撑体系；三是加强对全市人、企、物的基础库建设的支撑能力，提供一站式全流程数据仓库建设和数据治理工具；四是建设一套功能完善的智能搜索引擎,在已有数据资源库及数据资源目录相关系统基础上，构建知识结构索引，支持为用户提供人性化和智能化的数据检索服务；五是升级电子证照系统，实现根据业务、用户分别提供服务，实现服务的松耦合，增加业务系统的可用性第章项目已有基础情况3市大数据平台依托共享交换平台、目录区块链以及数据治理模块XX提供了数据编目、汇聚、管理、清洗和标准化的服务支撑能力,同时提供了数据全生命周期管理和跨部门的数据融合分析工具，支撑市大数据XX应用建设共性组件支撑能力现状

3.1大数据平台已为市领导驾驶舱、商务局生活必需品分析、昌平区城市大脑等应用提供数据治理和可视化等组件服务但缺少对各类工具组件的集约化管理目前系统依赖各工具组件自身的多租户服务能力，一方面，各工具之间仅做了用户权限和日志的集成，未实现基础资源的按需申请和动态扩容；另一方面，缺少跨租户的工作流支撑能力，无法支撑委办局实施多级租户管理，完成对本部门多个大数据应用所需租户资源工具组件的灵活分配和管理共享交换平台现状

3.2市共享交换平台于年月日上线运行，承载了市大数据平台2006428的数据交换服务，构建数据汇聚能力，形成市区两级的政务信息资源共享交换体系，打破部门和行业界限，实现了政务信息资源的跨部门、跨层级共享目前共接入个市级政务部门（包括区）；支撑了余项87164800跨部门、跨层级信息的共享交换工作，交换量累计超过亿条，8272020年日均交换量万条左右，为各部门多项业务工作提供了支撑4000100市共享交换平台支持文件、数据库表的定时交换，核心功能是数据交换管理，实现交换节点之间及交换节点与交换中心之间的政务信息资源适配、转换和传输等工作，为交换过程的配置、执行、监控和管理等提供服务，包括数据交换、交换节点管理、交换流程管理和系统管理等内容未实现接口服务方式现阶段，市共享交换平台与目录链通过电子邮件实现线下任务发起和完成情况反馈，具体为，目录链上生成数据共享任务后向指定邮件地址自动发送包括资源信息、资源提供方信息、资源获取方信息在内的电子邮件，市共享交换平台运维人员收到邮件后按照邮件内容联系供需双方并进行流程配置，实施数据交换，交换完成后向目录链指定邮件地址发送任务完成反馈邮件数据治理模块现状

3.3大数据平台数据治理模块提供了数据生命周期的端到端透明化管控，对数据质量进行管控，为数据清洗和标准化提供工具支撑，具备数据清洗转换和质量稽核能力，包括数据清洗、数据转换、元数据管理、数据模型管理、数据标准管理、数据质量管理、数据资产管理等，支撑了基础数据治理项目和市人大预算联网监督系统等项目但现有数据治理模块以数据质量稽核为主，缺少对人、企、物的基础库建设支撑能力电子证照系统现状

3.4市电子证照系统部署在六里桥政务云平台政务外网区，面向政务XX外网提供电子证照的相关服务已经完成了政务外网、互联网领域电子证照应用对接共计家市电子证照系统汇聚国家类证照类，41XX348XX市地方类证照类，其中包括市住建委类证照、市药监局类证733015照、市市场监管局类证照、市司法局类证照、市规自委类证照及13107市卫健委类证照等现阶段，各委办局的电子证照版式文件在电8PDF子证照系统中存有的数量约有多万张100第章项目建设目标4一是提升大数据平台共性组件应用支撑能力，构建统一的大数据平台应用支撑能力，为委办局大数据应用提供数据分析计算的环境和工具组件，实现储算资源、共性组件的快速申请和使用，从而帮助委办局快速搭建领域大数据平台，减少通用工具的重复建设；二是实现目录链与共享交换体系联动，建立起按规则按需随时取数、汇数的技术支撑体系，将目录链和共享交换平台在运行流程上结合到一起，实现全流程自动化，发挥出的效果，同时，在文件、库表外增加接1+12口方式共享；三是加强对全市人、企、物的基础库建设的支撑能力，提供一站式全流程数据仓库建设和数据治理工具，形成多维度数据汇入、全要素数据融合、智能化权威数据认定和跨部门数据高效联动的能力，支撑委办局建设基础库和主题库，提供一站式全流程数据仓库建设和数据治理工具，支撑市公共信用数据归集治理XX四是建设一套功能完善的智能搜索引擎，提供通用搜索、高级检索、分类检索、关联关系检索、文本要素检索等多元化、深层次数据搜索功能，并在已有数据资源库及数据资源目录相关系统基础上，通过对数据结构、链接、内容、标签、关键词密度的内容优化，构建知识结构索引，支持为用户提供人性化和智能化的数据检索服务，使用户能够便捷高效地获取所需信息与知识五是升级电子证照系统，实现根据业务、用户分别提供服务，实现服务的松耦合，增加业务系统的可用性第章项目建设原则5大数据平台已积累大量用户，且用户业务系统对原有服务依赖度较高，难以承受系统再造或服务方式变更对业务系统运转产生的影响因此，项目中涉及的系统功能扩展和优化完善等工作，须在原有项目。