成都平台网站建设公司,网站建设的基本特点,免费职业技能培训网,网站备案有什么用1.1 什么是数据挖掘
从大量数据中挖掘出隐含的、未知的、对决策有潜在价值的关系、模式和趋势#xff0c;并用这些知识和规则建立用于决策支持的模型#xff0c;提供预测性决策支持的方法、工具和过程#xff0c;这就是数据挖掘。
是统计学、数据库技术、人工智能技术的结…1.1 什么是数据挖掘
从大量数据中挖掘出隐含的、未知的、对决策有潜在价值的关系、模式和趋势并用这些知识和规则建立用于决策支持的模型提供预测性决策支持的方法、工具和过程这就是数据挖掘。
是统计学、数据库技术、人工智能技术的结合。
1.2 数据挖掘的基本任务
利用分类与预测、聚类分析、关联规则、时序模式、偏差检测、智能推荐等方法帮助企业提取数据中蕴含的商业价值提高企业的竞争力。
1.3 数据挖掘建模过程
定义挖掘目标
数据取样
数据探索
数据质量分析
检查是否存在脏数据——不符合要求以及不能直接进行相应分析的数据
缺失值、异常值、不一致的值、重复数据、含特殊符号的数据
数据特征分析
分布分析、对比分析、统计量分析、周期性分析、贡献度分析、相关性分析
统计量分析
集中趋势均值、中位数
离中趋势方差、四分位间距
贡献度分析
帕累托法则/28定律同样的投入放在不同的地方会产生不同的效益一个企业80%的利润通常来自20%最畅销的产品。
数据预处理
数据清洗删除原始数据集中的无关数据、重复数据平滑噪音数据筛选掉与挖掘主题无关的数据 处理缺失值、异常值。缺失值可用拉格朗日插值法和牛顿插值法进行填补
数据集成将多个数据源合并存放在一个一致的数据存储如数据仓库中的过程在数据集成时 由于数据源的表达形式不一样有可能不匹配要考虑实体识别问题和属性冗余问题从而将源 数据在最低层上加以提炼、转换和集成。
数据变换简单函数变换、规范化、连续属性离散化、属性构造、小波变换。 有时简单的对数变换或者差分运算就可以将非平稳序列转换成平稳序列。 小波变换在信号处理、图像处理、语音处理、模式识别、量子物理领域得到广泛应用。
数据规约属性规约—列角度—减少维度、数值规约—行角度—减少数据量。
挖掘建模
分类、聚类、关联规则、时序模式、智能推荐
模型评价
