预处理常用的方法有哪些?

发布网友 发布时间：2022-04-23 09:56

我来回答

共6个回答

懂视网 时间：2022-04-24 09:20

统计数据的预处理包括描述及探索性分析、缺失值处理、异常值处理、数据变换技术、信度与效度检验、宏观数据诊断等六大类。

　　

　　数据预处理（data preprocessing）是指在主要的处理以前对数据进行的一些处理。如对大部分地球物理面积性观测数据在进行转换或增强处理之前，首先将不规则分布的测网经过插值转换为规则网的处理，以利于计算机的运算。另外，对于一些剖面测量数据，如地震资料预处理有垂直叠加、重排、加道头、编辑、重新取样、多路编辑等。现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提高数据挖掘的质量产生了数据预处理技术。数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。数据的预处理是指对所收集数据进行分类或分组前所做的审核、筛选、排序等必要的处理。

热心网友 时间：2022-04-24 06:28

一、混凝－絮凝

混凝是指向水中投加一定剂量的化学药剂，这些化学药剂在水中发生水解，和水中的胶体粒子互相碰撞，发生电性中和，产生吸附、架桥和网捕作用，从而形成大的絮体颗粒，并从水中沉降，起到了降低颗粒悬浮物和胶体的作用。

二、介质过滤

介质过滤是指以石英砂或无烟煤等为介质，使水在重力或压力下通过由这些介质构成的床层，而水中的的颗粒污染物质则被介质阻截，从而达到与水分离的过程。粒状介质过滤基于“过滤－澄清”的工作过程去除水中的颗粒、悬浮物和胶体。

工业水处理

在工业用水处理中，预处理工序的任务是将工业用水的水源——地表水、地下水或城市自来水处理到符合后续水处理装置所允许的进水水质指标，从而保证水处理系统长期安全、稳定地运行，为工业生产提供优质用水。

预处理的对象主要是水中的悬浮物、胶体、微生物、有机物、游离性余氯和重金属等。这些杂质对于电渗析、离子交换、反渗透、钠滤等水处理装置会产生不利的影响。

热心网友 时间：2022-04-24 07:46

预处理常常指的是数据预处理，数据预处理常用处理方法为：数据清洗、数据集成。

1、数据清洗

数据清洗是通过填补缺失值，平滑或删除离群点，纠正数据的不一致来达到清洗的目的。简单来说，就是把数据里面哪些缺胳膊腿的数据、有问题的数据给处理掉。

总的来讲，数据清洗是一项繁重的任务，需要根据数据的准确性、完整性、一致性、时效性、可信性和解释性来考察数据，从而得到标准的、干净的、连续的数据。

（1）缺失值处理

实际获取信息和数据的过程中，会存在各类的原因导致数据丢失和空缺。针对这些缺失值，会基于变量的分布特性和变量的重要性采用不同的方法。

若变量的缺失率较高（大于80％），覆盖率较低，且重要性较低，可以直接将变量删除，这种方法被称为删除变量；若缺失率较低（小于95％）且重要性较低，则根据数据分布的情况用基本统计量填充（最大值、最小值、均值、中位数、众数）进行填充，这种方法被称为缺失值填充。

对于缺失的数据，一般根据缺失率来决定“删”还是“补”。

（2）离群点处理

离群点（异常值）是数据分布的常态，处于特定分布区域或范围之外的数据通常被定义为异常或噪声。我们常用的方法是删除离群点。

（3）不一致数据处理

实际数据生产过程中，由于一些人为因素或者其他原因，记录的数据可能存在不一致的情况，需要对这些不一致数据在分析前进行清理。例如，数据输入时的错误可通过和原始记录对比进行更正，知识工程工具也可以用来检测违反规则的数据。

2、数据集成

随着大数据的出现，我们的数据源越来越多，数据分析任务多半涉及将多个数据源数据进行合并。数据集成是指将多个数据源中的数据结合、进行一致存放的数据存储，这些源可能包括多个数据库或数据文件。

在数据集成的过程中，会遇到一些问题，比如表述不一致，数据冗余等，针对不同的问题，下面简单介绍一下该如何处理。

（1）实体识别问题

在匹配来自多个不同信息源的现实世界实体时，如果两个不同数据库中的不同字段名指向同一实体，数据分析者或计算机需要把两个字段名改为一致，避免模式集成时产生的错误。

（2）冗余问题

冗余是在数据集成中常见的一个问题，如果一个属性能由另一个或另一组属性“导出”，则此属性可能是冗余的。

（3）数据值的冲突和处理

不同数据源，在统一合并时，需要保持规范化，如果遇到有重复的，要去重。

数据预处理的方法有哪些．中琛魔方大数据分析平台表示在实践中，我们得到的数据可能包含大量的缺失值、异常值等，这对数据分析是非常不利的。此时，我们需要对脏数据进行预处理，以获得标准、干净和连续的数据，这些数据可以用于数据分析、数据挖掘等。

数据审核的内容主要包括以下四个方面：

1、准确性审核。主要是从数据的真实性与精确性角度检查资料，其审核的重点是检查调查过程中所发生的误差。

2、适用性审核。主要是根据数据的用途，检查数据解释说明问题的程度。具体包括数据与调查主题、与目标总体的界定、与调查项目的解释等是否匹配。

3、及时性审核。主要是检查数据是否按照规定时间报送，如未按规定时间报送，就需要检查未及时报送的原因。

4、一致性审核。主要是检查数据在不同地区或国家、在不同的时间段是否具有可比性。

热心网友 时间：2022-04-24 09:21

1、浸提法：

浸提法又称浸泡法。用于从固体混合物或有机体中提取某种物质，所采用的提取剂，应既能大量溶解被提取的物质，又要不破坏被提取物质的性质。

2、溶剂萃取法：

溶剂萃取法用于从溶液中提取某一组分，利用该组分在两种互不相溶的试剂中分配系数的不同，使其从一种溶液中转移至另一种溶剂中，从而与其他组分分离，达到分离和富集的目的。

3、盐析法

向溶液中加入某种无机盐，使溶质在原溶剂中的溶解度大大降低，而从溶液中沉淀析出，这种方法叫做盐析。如在蛋白质溶液中加入大量的盐类(硫酸铵)，特别是加入重金属盐，使蛋白质从溶液中沉淀出来。

4、萃取法

萃取是利用相似相溶原理，通过系统中不同组分在溶剂中有不同的溶解度来分离混合物的单元操作，根据所提取的组分的不同，可分为浸提法（固—液萃取法）和萃取法（液—液萃取法）。萃取法（液—液萃取法）：利用被提取组分在互不相溶的两溶剂中分配系数不同而达到分离。

5、减压浓缩法  

有些待测组分对热不稳定，在较高温度下容易分解，采用减压浓缩，降低了溶剂的沸点，既可迅速浓缩至所需体积，又可避免被测物分解。

常用的减压浓缩装置为全玻减压浓缩器，又称K-D浓缩器，这种仪器是一种常用的减压蒸馏装置，此法具有浓缩温度低、速度快、损失少以及容易控制所需要体积的特点，适合对热不稳定被测物提取液的浓缩，特别适用于农药残留分析中样品溶液的浓缩。此外，还可用作溶剂的净化蒸馏之用。

热心网友 时间：2022-04-24 11:12

预处理的方法很多，主要有预沉、混凝、澄清、过滤、软化、消毒等。用这些方法预处理之后，可以使水的悬浮物（浑浊度）、色度、胶体物、有机物、铁、锰、暂时硬度、微生物、挥发性物质、溶解的气体等杂质除去或降低到一定的程度。

热心网友 时间：2022-04-24 13:20

　溶剂提取法
同一溶剂中，不同物质具有不同的溶解度。利用混合物中各物质溶解度的不同将混合物组分完全或部分分离的过程称为萃取，也称提取。常用方法有以下几种。
(一)浸提法
浸提法又称浸泡法。用于从固体混合物或有机体中提取某种物质，所采用的提取剂，应既能大量溶解被提取的物质，又要不破坏被提取物质的性质。为了提高物质在溶剂中的溶解度，往往在浸提时加热。如用索氏抽提法提取脂肪。提取剂是此类方法中重要因素，可以用单一溶剂，也可以用混合溶剂。
(二)溶剂萃取法
溶剂萃取法用于从溶液中提取某一组分，利用该组分在两种互不相溶的试剂中分配系数的不同，使其从一种溶液中转移至另一种溶剂中，从而与其他组分分离，达到分离和富集的目的。通常可用分液漏斗多次提取达到目的。若被转移的成分是有色化合物，可用有机相直接进行比色测定，即萃取比色法。萃取比色法具有较高的灵敏度和选择性。如双硫腙法测定食品中的铅含量。此法设备简单、操作迅速、分离效果好，但是成批试样分析时工作量大。同时，萃取溶剂常易挥发，易烧．且有毒性，操作时应加以注意。

盐析法
向溶液中加入某种无机盐，使溶质在原溶剂中的溶解度大大降低，而从溶液中沉淀析出，这种方法叫做盐析。如在蛋白质溶液中加入大量的盐类(硫酸铵)，特别是加入重金属盐，使蛋白质从溶液中沉淀出来。
在进行盐析工作时，应注意溶液中所加入的物质的选择。它应是不会破坏溶液中所要析出的物质，否则达不到盐析提取的目的。

化学分离法
(一)磺化法和皂化法
这是处理油脂或脂肪样品时经常使用的方法。例如，残留农药分析和脂溶性维生素测定中，油脂被浓硫酸磺化，或被碱皂化，由疏水性变成亲水性，使油脂中需检测的非极性物质能较容易地被非极性或弱极性溶剂提取出来。
(二)沉淀分离法
沉淀分离法是利用沉淀反应进行分离的方法。在试样中加入适当的沉淀剂,使被测组分沉淀下来，或将干扰组分沉淀除去，从而达到分离的目的。
(三)掩蔽法
利用掩蔽剂与样液中的干扰成分作用，使干扰成分转变为不干扰测定的状态，即被掩蔽起来。运用这种方法，可以不经过分离干扰成分的操作而消除其干扰作用，简化分析步骤，因而在食品分析中应用十分广泛，常用于金属元素的测定。

色层分离法
色层分离法又称色谱分离法，是一种在载体上进行物质分离的方法的总称。根据分离原理的不同，可分为吸附色谱分离、分配色谱分离和离子交换色谱分离等。此类方法分离效果好，近年来在食品分析中应用得越来越广泛。色层分离不仅分离效果好，而且分离过程往往也就是鉴定的过程。本法常用于有机物质的分析测定。
(一)吸附色谱分离
吸附色谱分离法利用聚酰胺、硅胶、硅藻土、氧化铝等吸附剂，经过活化处理后，具有适当的吸附能力，可对被测组分或干扰组分进行选择性的吸附而达到分离的目的。比如：食品中色素的测定，可将样品溶液中的色素经吸附剂吸附(其他杂质不被吸附)，经过过滤、洗涤，再用适当的溶剂解吸，得到比较纯净的色素溶液。吸附剂可以直接加入样品中吸附色素，也可将吸附剂装入玻璃管制成吸附柱或涂布成薄层板使用。
(二)分配色谱分离
分配色谱分离法根据两种不同的物质在两相中的分配比不同进行分离的，两相中一相是流动的，称为流动相；另一相是固定的，称为固定相。当溶剂渗透于固定相中并向上渗透时，分配组分就在两相中进行反复分配，进而分离。例如：多糖类样品的纸上层析，样品经酸水解处理，中和后制成试液，在滤纸上进行点样，用苯酚一1％氨水饱和溶液展开，苯胺邻苯二酸显色剂显色，于105℃加热数分钟，可见不同色斑：戊醛糖(红棕色)、己醛糖(棕褐色)、己酮糖(淡棕色)、双糖类(黄棕色)的色斑。
(三)离子交换色谱分离
离子交换色谱分离法是利用离子交换剂与溶液中的离子之间所发生的交换反应来进行分离的方法。根据被交换离子的电荷分为阳离子交换和阴离子交换。该法可用于从样品溶液中分离待测离子，也可从样品溶液中分离干扰组分。分离操作可将样液与离子交换剂一起混合振荡或将样液缓缓通过事先制备好的离子交换柱，则被测离子与交换剂上的H+或OH-发生交换，被测离子或干扰组分上柱，从而将其分离。例如：可以利用离子交换色谱分离法制备无氨水、无铅水及分离比较复杂的样品。

浓缩法
食品样品经提取、净化后，有时净化液的体积较大，被测组分的浓度太低，会影响最后结果的测定。此时需要对被测样液进行浓缩，以提高被测成分的浓度。常用的方法有常压浓缩和减压浓缩两种。
(一)常压浓缩法
常压浓缩法只能用于待测组分为非挥发性的样品试液的浓缩，否则会造成待测组分的损失。操作可采用蒸发皿直接挥发。如果溶剂需要回收，则可用一般蒸馏装置或旋转蒸发器。该法操作简便、快速，是常用的方法。
(二)减压浓缩法
减压浓缩法主要用于待测组分为热不稳定性或易挥发的样品净化液的浓缩，其样品净化液的浓缩需采用K—D浓缩器。浓缩时，水浴加热并抽气减压，以便浓缩在较低的温度下进行，且速度快，可减少被测组分的损失。食品中有机磷农药的测定(如甲胺磷、乙酰甲胺磷)多采用此法浓缩样品净化液。