随着信息社会的发展，越来越多的信息被数据化，尤其是伴随着Internet的发展，数据呈爆炸式增长，存储技术将成为一个新的热点，而基于Internet的应用如电子商务、电子邮件和客户关系管理（CRM）等将成为存储服务的主要市场，因为他们都需要对大量数据的快速访问。从智慧城市的建设与存储服务的发展趋势来看，一方面，智慧城市的建设对数据存储量的需求会越来越大，另一方面，智慧城市的发展对数据的有效管理提出了更高的要求。
数据挖掘是人工智能、机器学习、数据库技术等多学科相结合的产物，是由计算机通过相关算法从储存于各种存储设备中的海量数据中发现以前未知的、具有潜在应用价值的信息或模式的技术。数据存储与数据仓库技术的发展与数据挖掘有着密切的关系，数据仓库的发展是促进数据挖掘越来越热的原因之一，但数据仓库并不是数据挖掘的先决条件，因为有很多数据挖掘可直接从操作数据源中挖掘信息。
数据挖掘技术帮助人们从储存在各种存储设备中的海量数据中获取隐含的、有价值的信息，其应用将会渗透到智慧政府、智慧交通、智慧教育、智慧社区等多个方面和领域，为智慧城市的建设和发展提供重要的技术支持。
3.1数据存储的基本方式
数据存储是数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储介质上。数据存储要命名，这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据，表现出动态数据的特征；数据存储反映系统中静止的数据，表现出静态数据的特征。
信息技术的应用目前已逐渐从信息查询、数据传送走向网络环境中的海量数据存储、数据挖掘和决策信息支持，因此数据存储的高可靠性和高可管理性，正日益成为企业信息化进程中的一个关键环节。就数据存储的存储方式而言，比较常见的主要有DAS、NAS和SAN等三种。
3.1.1直接附加存储
DAS（Direct Attached Storage———直接连接存储）是指将存储设备通过SCSI接口或光纤通道直接连接到一台计算机上。当服务器在地理上比较分散、很难通过远程连接进行互联时，直接连接存储是比较好的解决方案。直接连接存储也可帮助企业继续保留已有的传输速率并不很高的网络系统。DAS这种存储方式与普通的PC存储架构一样，外部存储设备都是直接挂接在服务器内部总线上，数据存储设备是整个服务器结构的一部分。DAS存储方式主要适用以下环境：
1.小型网络。因为网络规模较小，数据存储量小，且也不是很复杂，采用这种存储方式对服务器的影响不会很大，并且这种存储方式也十分经济，适合拥有小型网络的企业用户。
2.地理位置分散的网络。虽然企业总体网络规模较大，但在地理分布上很分散，通过SAN或NAS在它们之间进行互联非常困难，此时各分支机构的服务器也可采用DAS存储方式，这样可以降低成本。
3.应用服务器。在一些特殊应用服务器上，如微软的集群服务器或某些数据库使用的原始分区，均要求存储设备直接连接到应用服务器。
3.1.2网络附加存储
网络正成为主要的信息处理模式，需要存储的数据大量增加，数据作为取得竞争优势的战略性资产其重要性也在增加，是目前发展的趋势。NAS就是网络连接存储，即将存储设备通过标准的网络拓扑结构（例如以太网），连接到一群计算机上。它的重点在于帮助工作组和部门级机构解决迅速增加存储容量的需求。这种方法从两方面改善了数据的可用性。第一，即使相应的应用服务器不再工作了，仍然可以读出数据。第二，简易服务器本身不会崩溃，因为它避免了引起服务器崩溃的首要原因，即应用软件引起的问题。另外，NAS产品是真正即插即用的产品，其设备的物理位置非常灵活。NAS方式则全面改进了以前低效的DAS存储方式。它采用独立于服务器，单独为网络数据存储而开发的一种文件服务器来连接所存储设备，自形成一个网络。这样数据存储就不再是服务器的附属，而是作为独立网络节点而存在于网络之中，可由所有的网络用户共享。
NAS的优点：
1.真正的即插即用。NAS是独立的存储节点存在于网络之中，与用户的操作系统平台无关，真正的即插即用。
2.存储部署简单。NAS不依赖通用的操作系统，而是采用一个面向用户设计的，专门用于数据存储的简化操作系统，内置了与网络连接所需要的协议，因此使整个系统的管理和设置较为简单。
3.位置非常灵活。
4.容易且成本低。
NAS数据存储方式是基于现有的企业Ethernet而设计的，按照TCP／IP协议进行通信，以文件的I／O方式进行数据传输。
NAS的缺点：
1.性能较低；
2.可靠度不高。
3.1.3存储区域网络
1991年，IBM公司在S／390服务器中推出了ESCON（Enterprise System Connection）技术，它是基于光纤介质，最大传输速率达17MB／s的服务器访问存储器的一种连接方式。在此基础上，乐后又进一步推出了功能更强的ESCON Director（FC SWitch），构建了一套最原始的SAN系统。SAN（存储区域网络）通过光纤通道连接到一群计算机上，在该网络中提供了多主机连接，但并非通过标准的网络拓扑，并且通过同一物理通道支持广泛使用的SCSI和IP协议。
它的结构允许任何服务器连接到任何存储阵列，这样不管数据置放在哪里，服务器都可直接存取所需的数据。SAN解决方案是从基本功能剥离出存储功能，所以运行备份操作就无需考虑它们对网络总体性能的影响。这个方案也使得管理及集中控制实现简化，特别是对于全部存储设备都集群在一起的时候。
1.SAN的支撑技术
SAN的支撑技术是光纤通道（FC Fibre Channel）技术，它是ANSI为网络和通道I／O接口建立的一个标准集成。FC技术支持HIPPI、IPI、SCSI、IP、ATM等多种高级协议，其最大特性是将网络和设备的通信协议与传输物理介质隔离开，这样多种协议可在同一个物理连接上同时传送。
2.SAN的硬件基础设施及其构成
SAN的硬件基础设施是光纤通道，用光纤通道构建的SAN由以下三个部分组成：
（1）存储和备份设备：包括磁带、磁盘和光盘库等。
（2）光纤通道网络连接部件：包括主机总线适配卡、驱动程序、光缆、集线器、交换机、光纤通道和SCSI间的桥接器
（3）应用和管理软件：包括备份软件、存储资源管理软件和存储设备管理软件。
3.SAN的优势
SAN存储方式创造了存储的网络化，而存储网络化顺应了计算机服务器体系结构网络化的趋势。SAN的优势主要体现在以下几个方面：
（1）网络部署容易。
（2）高速存储性能。因为SAN采用了光纤通道技术，所以它具有更高的存储带宽，存储性能明显提高。SAn的光纤通道使用全双工串行通信原理传输数据，传输速率高达1062.5Mb／s。
（3）良好的扩展能力。由于SAN采用了网络结构，扩展能力更强。光纤接口提供了10公里的连接距离，这使得实现物理上分离，不在本地机房的存储变得非常容易。
3.2数据存储的管理维护技术
确保所有数据能够得到可靠备份，及时进行灾难恢复是存储管理的核心任务。此外存储管理还须具备以下一些基本功能，如改进系统和应用I／O性能及存储管理能力，提高数据和应用系统的高可用性，减少由于各种原因中断数据存取或者应用系统宕机的时间，实现技术有分级存储管理（HSM）、ClusterServer（集群服务器）等。
3.2.1存储管理的基础工具
存储管理的基础工具主要有Volume Manager和File System，它们都工作在操作系统一级，可实现集群与故障恢复、自动管理、备份与HSM以及基于浏览器的远程管理等。两者有机结合后，利用双方特有的对磁盘和数据的管理能力，能给企业的系统提供尽可能高的性能、可用性及可管理性。
1.Volume Manager工具
Volume Manager工具可以识别和分析存储访问模式，它通过复杂的磁盘配置能均衡I／O负载，在不影响应用的同时能够优化应用数据的布局，还可将数据条形散放到多个物理盘上以提高性能，同时还具有在不中断应用的情况下，识别和消除性能瓶颈的能力，从而增强系统和应用的性能。另外，Volume Manager在减少系统中断时间、增加数据完整性等方面也有不俗表现，它允许对磁盘进行在线的管理和更改配置，减少对系统产生极大影响的停机时间，同时利用冗余技术提高数据可用性，防止数据被丢失和破坏。
2.File System
File System是一个非常重要的可快速恢复的日志式文件系统，它能在不间断数据访问的条件下，对文件作在线备份，并在系统重启或崩溃前允许访问数据并恢复文件，从而大大提高用户和管理员的生产效率。File System在系统崩溃前还能将未完成的数据记录在一个事件日志中，利用恢复程序重现，从而保持了数据的完整性。
3.2.2数据存储备份技术
存储备份技术并不仅仅指数据的简单备份，还包括内容及备份的管理等多方面，包括硬件备份和软件备份两大类，而真正意义的存储备份更强调软件的备份。从国际范围看，以美国为首的发达国家都非常重视数据存储备份技术，而且将其充分利用，服务器与备份设备的连接已经达到60％以上。在国内，只有不到15％的服务器连有备份设备，这就意味着85％以上的服务器中的数据面临着随时有可能遭到全部破坏的危险。根据3M公司的调查，对于市场营销部门来说，恢复数据至少需要19天，耗资17000美元；对于财务部门来说，这一过程至少需要21天，耗资19000美元；而对于工程部门来说，这一过程将延至42天，耗资达98000美元。这些统计数字表明，提供可靠的数据存储保证是至关重要的，而有效的手段是采取数据备份技术。一般来说，最需要备份的总是那些数据对业务十分关键的企业，如银行的数据保存账户信息、电信的数据用于计费，还有罪犯数据、军事数据等。随着网络应用的扩展和深化，数据总是越来越多，备份介质加速增长。有时为了数据的安全性，还要将备份数据送到异地保存。因此，如何自动地备份数据、管理数据备份，在进行灾难恢复时能够准确、快速地找到数据，就构成了存储管理的重要内容。
数据存储备份技术所用到的硬件技术主要是磁带机技术，软件技术主要有通用和专用备份软件技术等，本书主要从软件技术方面加以讨论。
1.备份软件技术
备份软件技术在整个数据存储备份过程中具有相当的重要性，因为它不仅关系到是否支持磁带的各种先进功能，而且在很大程度上决定着备份的效率。最好的备份软件不一定就是操作系统所提供的备份功能，很多厂商都提供了许多专业的备份软件。专业备份软件能通过优化数据传输率，即可以自动以较高的传输率进行数据传输，不仅能缩短备份时间、提高数据存储备份速度，而且对磁带机设备本身也有好处。另外，专业备份软件还支持新磁带机技术，如HP的TapeAlert技术，差不多所有主流专业备份软件均提供支持。
2.集群架构技术
集群通常用于加强应用软件的可用性与可扩展性。某些集群架构技术会加入单一系统印象的概念，可从单点以单一系统的方式来管理多台计算机。集群服务器可支持多达上百台互相连接的服务器，结合为松散结合的单位来执行作业，保护彼此的应用软件免于故障。由于集群服务器可完全整合应用软件服务架构，因此可建置高效的应用软件执行环境，即使整个系统出现故障，终端计算机都还可以使用几乎所有的应用软件。
集群服务器软件包括引擎、编译器、负载计算器、代理、指令与图形化系统管理接口等组件。集群化运算环境的最大优势是其卓越的数据处理能力。原则上任何类型的多重主机架构存储设备，包括直接连接的磁盘，都可以用来当作集群数据存储设备。为求得最大的系统可用性，最适合使用拥有多重主机存取路径的容错或高可用性存储子系统。
