智慧城市大数据建设方案

1 项目概述 1.1 建设背景

在信息化时代背景下，数据资源的多寡、数据质量的高低直接 决定着各类社会主体的运作效率，数据分析应用能力也影响着 管理 者 决策 的方向，对数据的全面搜集和有效挖掘利用已经成为当今世界各国信息化建设的重要内容 。 自 2016 年以来，在《智慧 城市 顶层设计总规》的指导下，开展了业务、资源、系统、基础设施等方面的顶层设计，提出要加强数据中心建设工作，搭建数据中心辅助决策平台，进一步提升数据 整合、共享和分析 决策能力 ，并 通过数据架构体系的理论研究和 网格化社会服务信息化系统的建设，积累了大量 人、地、物、组织、房屋、地下空间 的 基础 资源数据和协同业务数据，为数据分析决策、数据共享应用奠定了数据基础。

鉴于以上背景， 提出了构建数据中心的整体规划， 整合郑州市现有数据库和系统资源， 建设统一规范的人、组织、地、物等基础信息库 ；建设各部门之间准确、完整、规范、清晰、权则结合的基础数据信息共享交换平台，实现基础数据信息高度共享和综合应用；通过基础数据和业务数据的整合集中、统一管理，为科学决策提供强大的数据支持；建立和健全数据标准规范体系和数据安全体系，建立一个统一规范、集中部署、安全规范、充分共享的基础信息数据中心。 其中数据中心平台是整体规划的重要核心系统，通过本项目建设 ， 为政务部门和社会公众提供数据共享服务， 保障决策的科学性、有效性和规范性 ，提升 管理能力和公共服务水平 。

1.2 建设目标

以现有业务系统资源 为基础， 梳理制定数据资源标范，构建人口、地点、物件、组织和经济五大资源库，实现 基础信息的集中、统一与规范管理 ，实现资源元数据及资源目录管理，提供数据对外共享服务 ， 为统计分析及决策支持提供数据支撑，为政务部门和社会公众提供基准数据服务， 保障决策的科学性、有效性和规范性 ，提升 管理能力和公共服务水平 。

2 需求分析

自 2012 年以来，经过网格化社会服务信息化工作，目前在数据资源方面已经 建成了相互关联的 人、地、物、组织、房屋、地下空间基础数据库 的建设，整合了 120 多万条基础数据，其中常驻人口 953,998 条、流动人口 220,444 条 , 境外散居人口 8,108 条、地 21,881 条，物信息 3,925 条、组织信息 31,469 条。并且，实现了人 - 户信息的 100% 关联、人 - 房信息的 80% 关联。总体上 看，初步建立起了支撑网格化社会服务管理的基础信息资源体系，同时 还完成了网格化社会服务管理基础数据的动态更新系统建设，为基础数据更新的日常化、业务化奠定了夯实基础。 在业务掌控方面， 每天动态更新的 4000 多条民情日志和社会事件信息 。

鉴于以上基础，已经具备了 建设统一规范的人、组织、地、物等基础信息库 。通过建设 数据中心平台 ，将 实现 基础信息的集中、统一与规范管理 。 本项目以 人口、地点、物件、组织和经济 数据 资源 为核心 ， 结合现有数据资源梳理元数据及数据资源规范， 建设 统一的数据 资源 库， 提供 数据资源 管理 和 对外数据 共享服务的 两方面 技术支撑 。

3 总体方案 概述 3.1 总体 设计

3.1.1 总体 架构

本 项目应按数据中心建设的 总体要求 ，以 构建权威、完整 、准确的 数据 资源库 为核心，以数据 标准规范、数据管理和共享服务 为重点，充分挖掘 数据的应用价值 和服务效能 ，进行整体优化设计和 资源库 建设 。

从资源的管理生命 周期及数据 加工过程视角 来看 ，项目的总体架构 分数据提供层、 数据整合层、数据资源层、数据应用层和应用访问层 。 数据提供层 ： 现有系统已积累的 数据资源，如网格系统数据库。

数据整合层：对分散在各个系统的数据源进行提取、清洗、整合，完成数据的汇总、校核和质量检查，存在问题的数据向数据源反馈。

数据资源层：存放整合后数据资源，作为对外提供服务的 核心生产 库。 资源应用层： 提供数据管理和数据共享服务应用，可以对资源元数据、资源目录进行管理，对外提供数据接口服务。

应用门户层：提供 web 应用平台和在线服务接口，提供系统数据的访问。

3.1.2 技术架构

本 项目 是一个以数据 管理 和数据 服务为核心的，技术要求高 的大型应用系统，系统的设计既要切实保证整个系统的安全性，同时也要确保系统的开放性、可扩展性、先进性和跨平台性，以满足用户对复杂业务逻辑可定制和可管理的个性化开发需求。根据架构设计的总体技术路线，本方案将采用基于分布式组件技术的多层应用体系结构、模块化的设计方法的技术架构。

系 统技术架构遵循 J2EE 标准，以成熟的技术平台解决方案为基础进行开发，客户端基于 RIA 富客户端开发，应用服务共分为 Action 、 IABO 、 ALBO 、 DAO 四层，其中 Actio 层为统一代理。

3.1.3 数据架构

数据架构设计将达到如下两个目标：

1 、为将来的数据设计提供确实可行的依据。

2 、从总体上进行分析，避免数据设计中出现的盲目行为。 在进行本系统的设计时，遵循以下基本原则：

● 高性能：数据中心数据库的特点是计算量大，因此在设计中必须保证满足系统的业务需求，做到高性能，因此在硬件和软件选型方面需进行多方面的考虑。集中运算、集中存储、统一备份：保证系统的安全性。

● 优化系统结构：按照任务的特点对硬件资源进行选择和系统的架构。 ● 系统的可靠性和安全性：系统必须是具有大很强的可靠性，并且充分考虑到安全防范措施。

● 系统的可管理性：系统必须是可管理的，而且管理粒度必须达到一定程度，以减少维护工作量。

● 系统的可扩展性：保护用户的投资，保证系统的可扩展能力。

3.1.4 部署方案

系统运行环境， 考虑配置 采用集群模式 。其拓扑图如下：

3.2 安全设计

本系统 将按照信息系统安全 等级保护 3 级要求 进行建设 ，定级模式的组合 （ A3S3G3 ）， 要求按照《信息系统安全等级保护基本要求 》及《信息系统等级保护安全设计技术要求》 等相关国家标准，进行 项目建设 。

3.2.1 数据库安全保障

数据库安全和日志服务是两个相互关联的过程。数据库中数据的保护一方面通过应用程程序的完整全面来避免系统维护人员和业务科室人员不直接操作数据库中的表，另一方面就是现在基于 C/S/S 和 B/S/S 系统架构下，把数据库的直接操作封闭在应用层，来加强保护，还 有一个是就通过日志来保护，通过日志一方面保证操作的可追踪性，另一方面保证操作的可逆性。在此说明系统上如何通过日志服务进行数据保护的。

对 需要日志跟踪的表设定为日志，在表空间和用户下自动建立该表的对应的日志表，保护对该表的所有插入、修改、删除历史住处，基本信息和原表相同，但加入：

USERID ——操作员编号 pkg_a_comm 。 Fun_A_GetUserID(); TRANSNO ——交易发起流水号 pkg_a_comm 。 Fun_A_GetTransID()

交易发起时，对此操作员产生一个流水号，保证在这次交易过程中所有修改的表都使用同一个流水号，便于完整的按操作事务方式的恢复； BTRANSNO ——冲正交易流水号（如下图的更新方式） OPTDATE ——修改日期 OPTTYPE ——修改类型

通过日志引擎把所有的对该表的操作前结果保存在日志表中，因为整个日志跟踪是基于数据库操作的，所以无论是系统管理员直接的数据库操作还是操作员通过应用程序操作的数 据库，都能完整的保存操作痕迹和回退方法。

3.2.2 应用系统安全设计

3.2.2.1 应用系统安全设计策略

展现平台采用安全的 WEB 应用的 B/S/S 三层结构，取消了客户机直接访问数据库服务器的可能。为最大程度地保证系统安全，结合三层结构的特点及本系统的实际需求，设计了 \" 三横三纵 \" 的网状安全方案。 \" 三横 \" 是指用户表示层验证、业务逻辑层验证、数据服务层验证； \" 三纵 \" 是指安全传输、安全审计、限时限地安全访问。 1 、用户表示层验证

用户表示层验证主要包括两方面内容：第一、用户身份认证；第二、数据合法性验证。用户身份认证主要是解决 \" 用户能否接入系统？用户能看到什么？用户能操作什么？ \" ；数据合法性验证主要是解决“如何保证用户提交的数据都是合法的？”。下面分别加以描述： ● 用户身份认证

（ 1 ）用户身份认证是应用安全的关键，因为多级业务管理模式下用户属于哪级的哪个经办机构或管理机构决定了其所能操作的功能的范围及业务数据的范围，同时用户身份是功能授权的基础。

（ 2 ）预留利用基于证书的用户身份认证进一步保障系统的安全。

（ 3 ）采用多级功能权限管理，上级机构为下级机构授权，每级机构可以将自身拥有的权限授予本级用户或下级机构。

（ 4 ）功能权限分为功能授予的权限与功能使用的权限，功能授予权限表示拥有者可以将该功能授予他人，功能使用权限表示拥有者可以使用该功能。用户只能看到自己所在角色组所拥有的菜单。

（ 5 ）对不同业务、不同操作设置不同的安全级别和操作权限，并配合制定相应的使用管理制度。 ● 数据合法性验证

（ 1 ）我公司的多层框架系统采用自主版权的统一企业应用平台作为开发支撑平台，企业平台提供了所有常用界面层控件，这些控件本身具备录入校验功能。 （ 2 ）我公司在多层系统开发中遵循一个约定：尽量将数据合法性验证在界面层完成，只 有必须拿到业务逻辑层才能完成验证的数据才会到中间层再处理。也就是说 \" 要将非法数据扼杀在摇篮里 \" ，从而减少系统不必要的压力，提高系统的业务办理效率。 2 、业务逻辑层验证

业务逻辑层验证主要包括两方面：第一是由系统统一处理的，对经过加密和签名的数据项进行统一的解密和签名验证处理；第二是各业务环节自行处理的业务约束边界的处理，如黑名单是否地方局已经解锁等。 ● 安全审计

利用数据库的审计功能记录什么人在什么时间做了什么事，对于安全级别比较高的数据在日志做要做 \" 密印处理 \" ，防止操作者抵赖，提高操作者的责任心。 3.2.2.2 应用系统安全层次 1 、身份认证

用户在前台界面必须键入其用户名以及口令来证明其是否是合法的用户，只有合法的用户才能登录到应用系统。 2 、多级权限控制

系统有很多的功能模块组成，即使对合法用户，也不能操作所有的模块，而是根据用户的工作部门、工作性质授予相应的功能模块；

对同样的数据可以设置不同的操作权限：查询权限、录入权限、审核权限、审批权限；

3 、应用逐级授权机制

本系统权限设计支持逐级授权，上级可以向下一级授予上级拥有的权限，并且下一级不能看见上一级的数据，而上一级可以看见下一级的数据，这样的逐级授权机制满足业务经办要求。 4 、应用系统日志

日志管理跟踪记录用户登录系统的信息，操作的业务模块以及操作的重要库表的信息，包括用户名称、操作的模块，对重要库表的操作类型（增、删、改）、字段操作前和操作后的数值等。通过日志管理，在发生误操作时可以方便的进行回退处理，而且也可以跟踪一些业务操作员的违规操作。 3.2.2.3 应用软件权限设计

应用软件权限管理包括模块级权限、数据级权限和操作级权限。 1 、模块级权限

模块级权限可以通过角色实现上级权限控制，下级权限需要从上级权限获取权限。当调整上级权限时，自动实现对下级权限的调整，换句话就是说当从上次权限中取消一个权限时，下级权限中也同样被取消相同的权限。 2 、数据级权限

数据级权限通过对域的控制来实现。这里讲的“域”实际上是数据域的概念。首先通过对数据域的定义将数据按照域的不同划分成不同的范围，当某操作员被分配属于该域时，该操作人员就获得了该数据域的数据操作权限，该操作员不能对其他数据域中的数据进行操作。 3 、操作级权限

● 操作级权限通过对模块中操作按钮进行按照功能 ID 进行定义来控制，系统功能 ID 按照权限可以分为插入、更新、删除、查询四个级别。在 B/S/S 架构中，业务操作员对应功能 ID 的获得通过权限管理中对应模块级功能 ID 的控制来进行。当操作员登录系统时，获得对应功能 ID 列表，并保存在本地 Cache 中。当操作员对相应模块进行操作时，系统检查对应功能 ID 级别以判断对此模块的操作权限。通过操作级权限的控制，系统中所有数据都可以通过权限进行控制，实现所有数据都可以查询、修改、删除，减少后台人员在数据库中手工修改数据 。

4 建设任务 4.1 数据资源规范

以现有业务系统数据资源为基础，提取每类资源的数据指标， 按人口 、地点、物件、组织和经济分类整理，分析合并形成业务元数据，整理元数据名称、类型、长度、数据单位、来源部门、备注说明等数据项 。

结合元数据及现有业务系统的数据结构，对每类数据资源进行分析，抽取形成业务资源对象基本模型和业务主题模型，细化具体模型对象的指标名称、指标类型、指标长度、计量单位、代码标识符及备注等属性。

4.2 五大资源 库

1、 人口库，依托人口规范模型 构建人口资源库，管理包括 常住人口、流动人口、散居社会境外人员 在内的所有人员基本信息和业务主题信息 。 2、 地点库 ，依托地点规范模型构建地点资源库，管理社会管理区域内需要关注的重要场所、部位等地点 位置 。

3、 物件库，依托物件规范模型构建物件资源库，管理社会管理区域 内需要关注的 重要设施、物品等物件信息。

4、 组织库，依托组织规范模型构建组织资源库，管理从事市场活动的经济组织、机关事业单位、街道社区组织、社会团体等组织信息。

5、 经济库，依托宏观经济规范模型构建经济资源库，管理以统计经济信息为基础的金融、税收、统计等经济数据 。

4.3 数据资源管理

根据数据资源的业务类型、来源部门等度对数据资源进行灵活编目，实现数据资源的有效管理，包括资源分类、元数据、数据集、资源目录、数据查询等功能 。

4.4 共享服务管理

提供在线和离线接口形式，对外提供人、地、物、组织、经济信息的共享服务 。

5 系统测试方案 5.1 系统测试任务

根据对招标文件的理解以及其他 数据中心项目 经验， 公司 认为本项目测试任务按项目阶段共分为四部分：

1 、开发阶段测试：在系统开发阶段，我公司将首先完成系统的自测工作，包括 UI 测试、功能测试、性能测试、安全性测试等工作内容；

2 、单元验收阶段测试：在该阶段测试加入用户参与，并在搭建的测试环境下完成相关单项验收测试任务；

3 、系统集成阶段测试：该阶段测试由我公司配合用户共同完成，该阶段测试任务主要包括集成测试、性能测试、安全性测试等，在该阶段会进行大量的回归测试；

4 、验收阶段测试：验收测试是部署之前的最后一个测试操作。验收测试的目的是确保各项工作准备就绪，并且可以让最终用户将其用于执行软件的既定功能和任务。

5.2 系统测试目标

1 、确保功能完整。

通过测试确保系统所实现的功能达到其设计规范并满足用户需求，确保核心业务流程的正确性，确保功能模块的完整性。 2 、确保系统可用。

通过测试修改来降低用户学习、操作和理解系统的难度，如安装简单方便、容易使用、界面友好等； 3 、确保系统可靠。

通过测试系统在规定时间和条件下所能维持其正常的功能操作、性能水平的程度，来确保系统运行的可靠性。 4 、提高系统性能。

通过测试系统实现各功能所需的计算机资源（包括内存大小、 CPU 占用时间等）的有效程度，来改进提高系统性能。 5 、检查系统容量。

通过测试系统的接受力、容纳或吸收的能力、及各项功能的最大量或最大限度（如系统能承受多少并发用户访问、系统可以承受的人数等），来检查系统所能容纳的最大量、所能表现的最大值。 6 、量化系统指标。

系统的某些特性（含当前状态和理想状态），可以通过一些量化的数据指标来描述。系统测试的目的之一就是获取这些数据指标，通过具体的数值来评价整个性能体系。

7 、强化可维护性。

通过测试当环境改变或软件发生错误时，进行相应修改所做努力的简易程度，来界定可维护性的高低水平。这项测试重点在于强化可维护性，提高系统灵活性，对于经历周期性更改的产品或快速开发的产品很重要。 8 、确保高兼容性。

兼容性是指软件从一个计算机系统或环境移植到另一个系统或环境的容易程度，或者是一个系统和外部条件共同工作的容易程度。兼容性表现在多个方面，如系统的软件和硬件的兼容性、软件的不同版本的系统、数据的兼容性。高兼容性是系统生命力的重要特征之一。

9 、测试可扩展性。

可扩展性是指将来功能增加、系统扩充的难易程度或能力。通过测试可扩展性，来界定系统设计框架的优劣程度，解除用户后顾之忧。

5.3 主要 指标性能

在 业务 网环境下通过压力测试考察各关键业务功能点在较大并发业务量的情况下的平均业务响应时间，以及系统的资源消耗情况。通过分析压力测试所得到的数据来确定系统的瓶颈或者不能接收的性能点，来获得系统能提供的最大的服务级别，并对系统中性能表现不理想的功能模块与代码进行进一步的分析与定位，以便找到并排除系统的性能瓶颈。 系统

平均响应速度

简单操作平均响应时间 复杂操作平均响应时间 容量和吞吐量

性能测试内容

信息浏览操作平均响应时间 2 秒 左右 小于 5 秒

简单并发操作用户数

性能指标 小于 2 秒

5 0人 左右

5.4 测试分类和测试方法

5.4.1 功能性测试

功能测试是验收测试中的主要内容。该系统建设项目功能测试要包含以下项目：单个模块的查询等操作；数据的输入与输出；数据处理操作；基础数据定义的精度；计算的准确性，如各种指标是否准确；数据共享能力；身份验证和权限管理；报表的打印输出等等。 功能测试要注意以下几点：

第一，测试项目的输入域要全面。要有合法数据的输入，也要有非法数据的输入。如，在测试基础数据的定义时，若规定是数字，则既要输入数字进行测试，也要输入字母、空格等非数字进行测试。数字包含整数、负数、小数，因而还要输入这些不同的数字验证数字的精度。

第二，划分等价类，提高测试效率。在考虑测试域全面性的基础上，要划分等价类，选择有代表意义的少数用例进行测试，提高测试效率。 第三，要适时利用边界值进行测试。 第四，重复递交相同的事务。

第五，不按照常规的顺序执行功能操作。

第六，执行正常操作，观察输出结果的异常性。如，删除某条记录对排序的影响；执行流程审批后，单据的状态是否改变。

5.4.2 性能测试

性能测试主要测试软件的运行速度和对资源的消耗。通过调整该系统建设项目所依赖的软硬件配置、网络拓扑结构、用户数、数据量和服务请求数来测试软件的移植性、运行速率、稳定性和可靠性。 可 借助 LoadRunner 之类的企业级自动化测试工具来辅助测试，通过极限测试来分析评估软件性能。

5.4.3 界面测试

该系统界面要符合现行标准和用户习惯。软件企业可以形成自己的特色，但要确保整个软件风格一致。界面测试要从友好性、易操作性、美观性、布局合理、分类科学、标题描述准确等方面入手。 界面测试要重点掌握以下几点：

第一，背景和前景的颜色是否协调，颜色反差是否用得恰当。

第二，软件得图标、按钮、对话框等外观风格是否一致，美观效果所要求的屏幕分辨率。

第三，窗口元素的布局是否合理，并保持一致。 第四，各种字段标题的信息描述是否准确。

第五，快捷键、按钮、鼠标等操作在软件中是否一致。

第六，窗口及报表的显示比例和格式是否能适应用户的预期需求。 第七，误操作引起的错误提示是否友好、是否易于理解。 第八，活动窗口和被选中的记录是否高亮显示。 第九，是否有帮助信息，菜单导航能否正常执行。 第十，检查一些特殊域和特殊控件能否运行。

5.4.4 兼容性测试

通过硬件兼容性测试、软件兼容性测试和数据兼容性测试来考察软件的跨平台、可移植的特性。 该系统 兼容性 测试应注意以下几点： 第一，根据系统的可移植性，选择不同操作系统。

第二，选择不同层次的硬件配置和软件配置，一般选用最低、中等和最高三种配置进行测试，验证系统对软硬件环境的 兼容 性。

第三， 用不同版本的不同浏览器、分辨率、操作系统分别进行测试不同操作系统、浏览器、分辨率和各种运行软件等各种条件的组合测试 。

5.4.5 文档测试

文档是软件的重要组成部分，也是软件质量保证和软件配置管理的重要内容。文档测试主要通过评审的方式检查文档的完整性、准确性、一致性、可追溯性和可理解性。系统至少要具备需求定义、开发设计、测试评审、项目管理、用户应用这五类文档，具体而言，应包含 GB8567-88 中规定的 14 种软件文档。 在文档测试时，要特别注意以下几点：

第一，确定文档的重要性和项目文档需求，比如，在验收阶段，用户文档 ( 用户手册、操作手册、维护手册文件 ) 显得特别重要，需要认真评审。 第二，检验文档完整性，主要是文档的种类和内容的完整性。

第三，检验文档的一致性和可追溯性，主要是：软件的设计描述是否按照需求定义进行展开的；应用程序是否与设计文档的描述一致；用户文档是否客观描述应用程序的实际操作；关于同一问题的描述是否存在不同的说法。

第四，检验文档的准确性，主要是文档的描述是否准确，有无歧义，文字表达是否存在错误。

第五，检验文档的可理解性，主要审核文档是否针对特定的读者群体，表达是否详细。

5.5 测试工具

为了保障测试质量，提高测试效率，我公司在测试过程中，广泛的应用国际上主流的测试工具，一般而言，我们将测试工具分为白盒测试工具、黑盒测试工具、性能测试工具、测试管理工具等几个大类 ，本项目仅采用性能测试工具 。

5.5.1 性能测试工具

我公司使用的性能测试工具为 MercuryInteractive 公司的 LoadRunner ，

LoadRunner 是一种适用于各种体系架构的自动负载测试工具，它能预测系统行为并优化系统性能。 LoadRunner 的测试对象是整个企业的系统，它通过模拟实际用户的操作行为和实行实时性能监测，来帮助您更快的查找和发现问题。

6 实施进度安排 6.1 进度目标

工期紧任务重是本项目的一个突出特点，为保证项目的工期和工程质量，我公司将结合国内一些大型信息化项目的建设经验，提供丰富的业务原型供用户参考，保证在要求的工期内完成系统的开发测试和系统上线实施，系统上线后，进行系统上线试运行，在试运行的时间里，将根据用户的使用反馈信息，对系统功能进行提升和完善，待试运行完成后，对项目进行验收。