登陆注册
13518700000012

第12章 数据存储与数据挖掘(4)

1.多媒体数据库

音频、图像、视频等多媒体数据已逐渐成为信息领域的重要表现形式。音频、视频的数据量很大,要从多媒体数据中找出所需要的数据和信息有一定的困难。目前,对多媒体数据的处理往往局限于存取、编辑、集成、快进快退等基本操作上,对多媒体信息的检索一般依据文件标识、关键字等进行,局限性很大。基于内容的多媒体检索,通过实例的查询方式,检索相似图像、音频、视频信息,已成为研究的热点,基于内容的音频、视频信息的聚类、分类、相似性查询等数据挖掘技术正在兴起。

2.空间数据库

空间数据库存储了大量与空间有关的数据,例如地图,预处理后的遥感或医学图像数据,以及VLSI芯片设计数据等:空间数据库有许多与关系数据库不同的特征。空间数据库包含了拓扑或距离信息,通常按复杂的、多维的空间索引结构组织数据,其访问是通过空间数据的访问方法,常用空间推理、地理计算和空间知识表示技术。空间数据挖掘是指在空间数据库中非显式存在的知识、空间关系或其他意义的模式等的提取,它需要综合数据挖掘和空间数据库技术。目前在GIS中得到广泛的应用,空间数据挖掘的方法主要有归纳方法、聚集方法、统计信息网格算法(STING)以及空间聚集和特征邻近关系采掘等。

3.文本数据库

一般认为,数据挖掘的大部分研究主要针对结构化的数据,如关系的、事务的数据川。然而在现实世界中,可获取的大邻分信息存储在文本数据库中,由新闻、论文、书籍、数字图书馆、电子邮件消息等各种数据源的大量文档组成。文本数据库中存储的数据一般是半结构化的数据,也可能包含大量的非结构化的成分。传统的信息检索技术已不适应日益增加的大量文本数据处理的需要,而用户需要知道不同文档的比较,以及文档的重要性和相关性排列,或需要找出多文档的模式或趋势。文本挖掘不仅仅是把统计模型应用到数据文件上,而且是揭示文本集合之间的联系。特别地,联机文本挖掘指把网上的文本数据仔细搜寻一遍并从中获得一些信息,目前是通过互联网的搜索和文本分析方法实现。

4.Web数据库

Web数据库是Web和数据库技术的有机结合,是一个庞大而复杂的数据库,其存储数据的最大特点就是半结构化。Web上的每一个站点就是一个数据源,每一站点的信息和组织都不一样,形成了一个巨大的异构数据库环境。Web数据挖掘技术首要解决半结构化数据源模型和半结构化数据模型的查询与集成问题,这就必须要有一个模型来清晰地描述Web上的数据。针对Web上的数据半结构化的特点,寻找一个半结构化的数据模型是解决问题的关键所在,另外,还需要一种半结构化模型抽取技术,即自动地从现有数据中抽取半结构化模型的技术。XML可看作一种半结构化的数据模型描述语言,将XML的文档描述与关系数据库中的属性一一对应起来,实施精确地查询与模型抽取。显然,面向Web的数据挖掘比一般的数据挖掘要复杂得多。

3.4.4数据挖掘的方法

1.神经网络方法

神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题,因此近年来越来越受到人们的关注。典型的神经网络模型主要分3大类:以感知机、bp反向传播模型、函数型网络为代表的,用于分类、预测和模式识别的前馈式神经网络模型;以hopfield的离散模型和连续模型为代表的,分别用于联想记忆和优化计算的反馈式神经网络模型;以art模型、koholon模型为代表的,用于聚类的自组织映射方法。神经网络方法的缺点是“黑箱”性,人们难以理解网络的学习和决策过程。

2.遗传算法

遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法,是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其他模型结合等性质使得它在数据挖掘中被加以应用。

sunil已成功地开发了一个基于遗传算法的数据挖掘工具,利用该工具对两个飞机失事的真实数据库进行了数据挖掘实验,结果表明遗传算法是进行数据挖掘的有效方法之一。遗传算法的应用还体现在与神经网络、粗集等技术的结合上。如利用遗传算法优化神经网络结构,在不增加错误率的前提下,删除多余的连接和隐层单元;用遗传算法和bp算法结合训练神经网络,然后从网络提取规则等。但遗传算法的算法较复杂,收敛于局部极小的较早收敛问题尚未解决。

3.决策树方法

决策树是一种常用于预测模型的算法,它通过将大量数据有目的分类,从中找到一些有价值的,潜在的信息。它的主要优点是描述简单,分类速度快,特别适合大规模的数据处理。最有影响和最早的决策树方法是由quinlan提出的著名的基于信息熵的id3算法。它的主要问题是:id3是非递增学习算法;id3决策树是单变量决策树,复杂概念的表达困难;同性间的相互关系强调不够;抗噪性差。针对上述问题,出现了许多较好的改进算法,如schlimmer和fisher设计了id4递增式学习算法;钟鸣,陈文伟等提出了ible算法等。

4.粗集方法

粗集理论是一种研究不精确、不确定知识的数学工具。粗集方法有几个优点:不需要给出额外信息;简化输入信息的表达空间;算法简单,易于操作。粗集处理的对象是类似二维关系表的信息表。目前成熟的关系数据库管理系统和新发展起来的数据仓库管理系统,为粗集的数据挖掘奠定了坚实的基础。但粗集的数学基础是集合论,难以直接处理连续的属性。而现实信息表中连续属性是普遍存在的。因此连续属性的离散化是制约粗集理论实用化的难点。现在国际上已经研制出来了一些基于粗集的工具应用软件,如加拿大regina大学开发的kddr;美国kansas大学开发的lers等。

5.覆盖正例排斥反例方法

它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子,到反例集合中逐个比较。与字段取值构成的选择子相容则舍去,相反则保留。按此思想循环所有正例种子,将得到正例的规则(选择子的合取式)。比较典型的算法有michal-ski的aq11方法、洪家荣改进的aq15方法以及他的ae5方法。

同类推荐
  • 巧学出纳有窍门

    巧学出纳有窍门

    本书共分为7章,讲解了出纳工作必备的会计知识、出纳应具备的职业技能,并通过实例阐述了现金的收支及管理,介绍了管理银行账户和进行银行结算,以及企业相关的工商税务实务问题。
  • 超给力的经济学:改变你生活和工作的经济学笔记

    超给力的经济学:改变你生活和工作的经济学笔记

    工作中我们处处与经济打交道,生活中时时刻刻与经济发生着联系。我们需要了解经济学常识并善于使用一些经济学原理,让工作更加井井有条,让生活更加有滋有味。如果你希望在工作和生活中掌握主动、步步为营,那么请翻开这本书,在经济学的指引下获得更完美的工作和生活。
  • 矿业权交易操作实务

    矿业权交易操作实务

    本书从矿业权出让、转让的现场交易和网上交易两方面叙述了整个矿业权招标、拍卖、挂牌交易过程。详细列出了每个阶段、每个环节的操作方法和文本式样。可使初始接触矿业权的人士尽快了解矿业权交易操作,也可供经常接触矿业权的人士参考。
  • 酒店经营管理

    酒店经营管理

    酒店经营管理策略。酒店业是旅游业的重要组成部分,是我国开放以来发展最迅速、国际化程度最高并将持续发展的朝阳产业。本书内容涉及:酒店概念、酒店管理基础、前厅服务管理方法、客房服务与管理实践、餐饮服务与实践、康乐中心及其服务管理、酒店营销管理、酒店理财管理、酒店人力资源管理等内容。
  • 中国贸易救济问题研究

    中国贸易救济问题研究

    本书对中国贸易救济制度进行了探索性的分析和尝试性的研究。全书分为上、下两篇:上篇为中国贸易救济现状与问题研究,介绍中国反倾销、反补贴和保障措施制度的现状及对策;下篇为中国贸易救济的比较与对策研究,对中国贸易救济制度进行了国际比较和内部比较,探讨中国贸易救济制度的发展对策。
热门推荐
  • 三国之大汉天下

    三国之大汉天下

    吾闻天下之大义,当混为一。昔有康、虞,今有强汉。明犯强汉者,虽远必诛!一位中华民族的优秀特种兵在执行任务后离奇晕倒,醒来却发现穿越到了汉末群雄割据的时代,附身在刘表长子刘琦身上。既然来了,就没打算活着回去。再兴汉室,传我华夏文明!愿我大汉处处有陈汤,愿人人都可以成为我大汉的冠军侯。
  • 虚之幻想

    虚之幻想

    这是阿虚为了拯救春日,拯救SOS团走上次元之旅。收集奇迹的力量,缔结羁绊的约定之幻想物语。以上!都是套路,实际上这是一本穿越在动漫之间的幻想文,从普通的『LoveLive!』到『型月』、『幻想乡』……三观端正,节操满满,吾辈之祈愿乃是世界和平!
  • 一晚情深:冷面总裁太危险

    一晚情深:冷面总裁太危险

    在江城人人都知道我慕安然是一个笑话,五年前和家人恩断义绝嫁了凤凰男老公,五年后却因为凤凰男老公出轨闺蜜小三而离婚,不过让我身败名裂的不是因为被出轨离婚,而是我的凤凰男老公在酒店将我捉奸在床,我作为过错方被净身出户。后来我又结过一次婚,对方倒是门当户对,可是我在婚礼即将开始的时候做了落跑新娘。再后来被人拍到我和江城最有权势的男人叶非墨在一起,身份竟然是情妇……情节虚构,请勿模仿
  • 越过时光

    越过时光

    5岁的女主颜雨墨本在一场车祸中身亡,却意外获得元素能力,获得能力的她为复仇开始不断努力。。。。。。
  • 只为工作找方法,不为执行找借口

    只为工作找方法,不为执行找借口

    借口是执行的路障,方法则是工作的利器。没有什么比阅读一本关怀心灵、激励行动、创新思维、智慧工作的书更美妙的事情了,希望每位读者都能体会到这种成功的喜悦和激动。
  • 新本郑氏周易

    新本郑氏周易

    本书为公版书,为不受著作权法限制的作家、艺术家及其它人士发布的作品,供广大读者阅读交流。汇聚授权电子版权。
  • 腹黑恶少萌千金

    腹黑恶少萌千金

    “安梓然,你喜欢我吗?”顾少流将手环绕着安梓然的腰,在她耳边轻声说道。“不喜欢,顾少流,我不喜欢你!”“为什么?”“因为我对你的喜欢早已成了爱!”
  • 微静若挧之离陌

    微静若挧之离陌

    第一次见面她重重的摔倒他坏坏的问“需要帮忙吗?”他强制性每天放学和她一起走。在她失忆后他故意惹怒她最后她说“云峥你过分了”在她被人夺取清白临近绝望的边缘中,云峥你在哪?在她被朋友背叛,亲人离去伤痕累累也能说出“不管是以前的秦雨若还是现在的秦雨若她都喜欢云峥呐”在她跪在地上看着白床单心如死灰她哭着丢了所有“云峥,如果可以重来,如果时间有限,我想和你在一起”
  • 仙魔之巅

    仙魔之巅

    辗转凡尘千万年,道成平踏仙魔巅。为她,执三千仙魔命,掌亿万众生缘……
  • 启门

    启门

    天地,本是牢笼,在无限流水的循环世界里面,我们还能坐什么?