数据挖掘中的数据预处理技术有哪些，它们分别适用于哪些场合

发布网友 发布时间：2022-03-23 14:39

我来回答

共2个回答

懂视网 时间：2022-03-23 19:01

有四种数据预处理技术：

　　

　　1、数据清理。空缺值处理、格式标准化、异常数据清除、错误纠正、重复数据的清除。

　　

　　2、数据集成。将多个数据源中的数据结合起来并统一存储，建立数据仓库的过程实际上就是数据集成。

　　

　　3、数据变换。平滑、聚集、规范化、最小 最大规范化等。

　　

　　4、数据归约。维归（删除不相关的属性（维））、数据压缩（PCA，LDA，SVD、小波变换）、数值归约（回归和对数线形模型、线形回归、对数线形模型、直方图）。

　　

　　现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提高数据挖掘的质量产生了数据预处理技术。 数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。数据清理例程通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。主要是达到如下目标：格式标准化，异常数据清除，错误纠正，重复数据的清除。数据挖掘时往往数据量非常大，在少量数据上进行挖掘分析需要很长的时间，数据归约技术可以用来得到数据集的归约表示，它小得多，但仍然接近于保持原数据的完整性，并结果与归约前结果相同或几乎相同。

热心网友 时间：2022-03-23 16:09

一、数据挖掘工具分类数据挖掘工具根据其适用的范围分为两类：专用挖掘工具和通用挖掘工具。专用数据挖掘工具是针对某个特定领域的问题提供解决方案，在涉及算法的时候充分考虑了数据、需求的特殊性，并作了优化。对任何领域，都可以开发特定的数据挖掘工具。例如，IBM公司的AdvancedScout系统针对NBA的数据，帮助教练优化战术组合。特定领域的数据挖掘工具针对性比较强，只能用于一种应用；也正因为针对性强，往往采用特殊的算法，可以处理特殊的数据，实现特殊的目的，发现的知识可靠度也比较高。通用数据挖掘工具不区分具体数据的含义，采用通用的挖掘算法，处理常见的数据类型。通用的数据挖掘工具不区分具体数据的含义，采用通用的挖掘算法，处理常见的数据类型。例如，IBM公司Almaden研究中心开发的QUEST系统，SGI公司开发的MineSet系统，加拿大SimonFraser大学开发的DBMiner系统。通用的数据挖掘工具可以做多种模式的挖掘，挖掘什么、用什么来挖掘都由用户根据自己的应用来选择。二、数据挖掘工具选择需要考虑的问题数据挖掘是一个过程，只有将数据挖掘工具提供的技术和实施经验与企业的业务逻辑和需求紧密结合，并在实施的过程中不断的磨合，才能取得成功，因此我们在选择数据挖掘工具的时候，要全面考虑多方面的因素，主要包括以下几点：(1)可产生的模式种类的数量：分类，聚类，关联等(2)解决复杂问题的能力(3)操作性能(4)数据存取能力(5)和其他产品的接口三、数据挖掘工具介绍：1.QUESTQUEST是IBM公司Almaden研究中心开发的一个多任务数据挖掘系统，目的是为新一代决策支持系统的应用开发提供高效的数据开采基本构件。系统具有如下特点：提供了专门在大型数据库上进行各种开采的功能：关联规则发现、序列模式发现、时间序列聚类、决策树分类、递增式主动开采等。各种开采算法具有近似线性计算复杂度，可适用于任意大小的数据库。算法具有找全性，即能将所有满足指定类型的模式全部寻找出来。为各种发现功能设计了相应的并行算法。2.MineSetMineSet是由SGI公司和美国Standford大*合开发的多任务数据挖掘系统。MineSet集成多种数据挖掘算法和可视化工具，帮助用户直观地、实时地发掘、理解大量数据背后的知识。MineSet有如下特点：MineSet以先进的可视化显示方法闻名于世。支持多种关系数据库。可以直接从Oracle、Informix、Sybase的表读取数据，也可以通过SQL命令执行查询。多种数据转换功能。在进行挖掘前，MineSet可以去除不必要的数据项，统计、集合、分组数据，转换数据类型，构造表达式由已有数据项生成新的数据项，对数据采样等。操作简单、支持国际字符、可以直接发布到Web。3.DBMinerDBMiner是加拿大SimonFraser大学开发的一个多任务数据挖掘系统，它的前身是DBLearn。该系统设计的目的是把关系数据库和数据开采集成在一起，以面向属性的多级概念为基础发现各种知识。DBMiner系统具有如下特色：能完成多种知识的发现：泛化规则、特性规则、关联规则、分类规则、演化知识、偏离知识等。综合了多种数据开采技术：面向属性的归纳、统计分析、逐级深化发现多级规则、元规则引导发现等方法。提出了一种交互式的类SQL语言——数据开采查询语言DMQL。能与关系数据库平滑集成。实现了基于客户/服务器体系结构的Unix和PC（Windows/NT）版本的系统。4.IntelligentMiner由美国IBM公司开发的数据挖掘软件IntelligentMiner是一种分别面向数据库和文本信息进行数据挖掘的软件系列,它包括IntelligentMinerforData和IntelligentMinerforText。IntelligentMinerforData可以挖掘包含在数据库、数据仓库和数据中心中的隐含信息,帮助用户利用传统数据库或普通文件中的结构化数据进行数据挖掘。它已经成功应用于市场分析、诈骗行为监测及客户联系管理等；IntelligentMinerforText允许企业从文本信息进行数据挖掘，文本数据源可以是文本文件、Web页面、电子邮件、LotusNotes数据库等等。5.SASEnterpriseMiner这是一种在我国的企业中得到采用的数据挖掘工具，比较典型的包括上海宝钢配矿系统应用和铁路部门在春运客运研究中的应用。SASEnterpriseMiner是一种通用的数据挖掘工具，按照"抽样--探索--转换--建模--评估"的方法进行数据挖掘。可以与SAS数据仓库和OLAP集成，实现从提出数据、抓住数据到得到解答的"端到端"知识发现。6.SPSSClementineSPSSClementine是一个开放式数据挖掘工具，曾两次获得英国*SMART创新奖，它不但支持整个数据挖掘流程，从数据获取、转化、建模、评估到最终部署的全部过程，还支持数据挖掘的行业标准--CRISP-DM。Clementine的可视化数据挖掘使得"思路"分析成为可能，即将集中精力在要解决的问题本身，而不是局限于完成一些技术性工作（比如编写代码）。提供了多种图形化技术，有助理解数据间的关键性联系，指导用户以最便捷的途径找到问题的最终解决法。7.数据库厂商集成的挖掘工具SQLServer2000包含由Microsoft研究院开发的两种数据挖掘算法：Microsoft决策树和Microsoft聚集。此外，SQLServer2000中的数据挖掘支持由第三方开发的算法。Microsoft决策树算法：该算法基于分类。算法建立一个决策树，用于按照事实数据表中的一些列来预测其他列的值。该算法可以用于判断最倾向于单击特定标题（banner）或从某电子商务网站购买特定商品的个人。Microsoft聚集算法：该算法将记录组合到可以表示类似的、可预测的特征的聚集中。通常这些特征可能是隐含或非直观的。例如，聚集算法可以用于将潜在汽车买主分组，并创建对应于每个汽车购买群体的营销活动。，SQLServer2005在数据挖掘方面提供了更为丰富的模型、工具以及扩展空间。包括：可视化的数据挖掘工具与导航、8种数据挖掘算法集成、DMX、XML/A、第三方算法嵌入支持等等。OracleDataMining(ODM)是Oracle数据库10g企业版的一个选件，它使公司能够从最大的数据库中高效地提取信息并创建集成的商务智能应用程序。数据分析人员能够发现那些隐藏在数据中的模式和内涵。应用程序开发人员能够在整个机构范围内快速自动提取和分发新的商务智能—预测、模式和发现。ODM针对以下数据挖掘问题为Oracle数据库10g提供支持：分类、预测、回归、聚类、关联、属性重要性、特性提取以及序列相似性搜索与分析(BLAST)。所有的建模、评分和元数据管理操作都是通过OracleDataMining客户端以及PL/SQL或基于Java的API来访问的，并且完全在关系数据库内部进行。IBMIntelligentMiner通过其世界领先的独有技术，例如典型数据集自动生成、关联发现、序列规律发现、概念性分类和可视化呈现，它可以自动实现数据选择、数据转换、数据发掘和结果呈现这一整套数据发掘操作。若有必要，对结果数据集还可以重复这一过程，直至得到满意结果为止。现在，IBM的IntelligentMiner已形成系列，它帮助用户从企业数据资产中识别和提炼有价值的信息。它包括分析软件工具----IntelligentMinerforData和IBMIntelligentMinerforText，帮助企业选取以前未知的、有效的、可行的业务知识----如客户购买行为，隐藏的关系和新的趋势，数据来源可以是大型数据库和企业内部或Internet上的文本数据源。然后公司可以应用这些信息进行更好、更准确的决策，获得竞争优势。