数据挖掘总结（职业篇）

数据分析微信公众号datadw——关注你想了解的，分享你需要的。

前面对数据挖掘相关资源等等进行了总结。但是，很多人不明白学习数据挖掘以后干什么，这个问题也经常被问到。记得刚学数据挖掘的时候，有一个老师说学数据挖掘有什么用，你以后咋找工作。当时听了，觉得很诧异，不知道他为何有此一问。数据挖掘在国外是一份很不错的工作。我喜欢数据挖掘，因为它很有趣。很高兴以后就从事这方面的工作啦。写论文之余，也考虑一下数据挖掘工程师的职业规划。以下是从网上找的一些相关资料介绍,和即将走上数据挖掘岗位或是想想这方面发展的朋友共享：

BI职业发展方向：数据分析师---商业分析师--管理者

但是在每个公司，可能有不同的发展方向，但是大致上是从数据挖掘工程师起步。

DMFighter：

数据挖掘从业人员工作分析

1.数据挖掘从业人员的愿景：

数据挖掘就业的途径从我看来有以下几种，（注意：本文所说的数据挖掘不包括数据仓库或数据库管理员的角色）。

A：做科研(在高校、科研单位以及大型企业，主要研究算法、应用等)

B：做程序开发设计（在企业做数据挖掘及其相关程序算法的实现等）

…… …… 余下全文

深入浅出谈数据挖掘

段 勇

编者的话：本文对数据挖掘概念的产生，数据挖掘与常规数据分析的主要区别，所能解决的几大类问题和所应用的领域都有着非常清晰的论述。作者在此篇文章中认为数据挖掘最重要的要素是分析人员的相关业务知识和思维模式。丰富的业务知识是设计有效的相关变量的必要条件，而分析人员的思维模式从另外一个方面也保障了设计变量的结构化和完整性。所以我们在掌握丰富的业务知识同时，如果能够按照正确的思维模式去思考问题，将会发现解决问题并不是很困难的。

一、 数据挖掘的本质

一般来说，比较狭义的观点认为数据挖掘区别于常规数据分析的关键点在于：数据挖掘主要侧重解决四类问题：分类、聚类、关联、预测（关于这四类问题后文会详细阐述），而常规数据分析则侧重于解决除此之外的其他数据分析问题：如描述性统计、交叉报表、假设检验等。

让我们来看一个例子：某移动运营商想了解目前彩铃业务的发展现状如何？解决这个问题的方法就是常规的数据分析，通过描述性统计和交叉报表，可以知道目前彩铃业务的用户数、普及率、收入情况？不同品牌用户间的情况和差异？不同消费水平用户间的情况和差异……。这样的分析主要解决了企业过去发生了什么以及存在什么问题；如果该运营商希望建立一个模型（或者规则），从没有使用彩铃的用户群中找出一部分用户作为彩铃营销活动的目标用户，如通过短信或者外呼的方式告知用户可以免费试用彩铃一个月。解决这个问题则需要使用数据挖掘的方法，如通

…… …… 余下全文

正如柏拉图所说：需要是发明之母。随着信息时代的步伐不断迈进，大量数据日积月累。我们迫切需要一种工具来满足从数据中发现知识的需求！而数据挖掘便应运而生了。正如书中所说：数据挖掘已经并且将继续在我们从数据时代大步跨入信息时代的历程中做出贡献。

1、数据挖掘

数据挖掘应当更正确的命名为：“从数据中挖掘知识”，不过后者显得过长了些。而“挖掘”一词确是生动形象的！人们把数据挖掘视为“数据中的知识发现（KDD）”的同义词，而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤！

由此而产生数据挖掘的定义：从大量数据中挖掘有趣模式和知识的过程！数据源包括数据库、数据仓库、Web、其他信息存储库或动态地流入系统的数据。作为知识发现过程，它通常包括数据清理、数据集成、数据变换、模式发现、模式评估和知识表示六个步骤。

数据挖掘处理数据之多，挖掘模式之有趣，使用技术之大量，应用范围之广泛都将会是前所未有的；而数据挖掘任务之重也一直并存。这些问题将继续激励数据挖掘的进一步研究与改进！

2、数据分析

数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

…… …… 余下全文

1.【p26 1.3】

假设你是BigUniversity的软件工程师，任务是设计一个数据挖掘系统，分析学校课程数据库。该数据库包括如下信息：每个学生的姓名、地址和状态（例如本科生或研究生）所修课程以及他们的GPA（平均积分点）。描述你要选取的结构。该结构的每个成分的作用是什么。 答：该数据挖掘结构应该包括以下几个主要成分：

（1）一个数据库、数据仓库或其它信息库，它由一系列包含学生和课程信息的数据库、数据仓库、电子表格、或其它信息库组成。

（2）一个数据库或数据仓库服务器，它根据用户的数据挖掘请求获取相关的数据。

（3）一个知识库，它包含领域知识，用于指导搜索或评估结果模式的兴趣度。例如，知识库可能包含概念层次结构和元数据（例如，描述来自多个异构数据源的数据）。

（4）一个数据挖掘引擎，它由一系列负责分类、关联、聚类分析、演变和偏差分析的功能模块组成。

（5）一个模式评估模块，它与数据挖掘模块串联工作，采用兴趣度的方法，将搜索重心投注在兴趣模式上。

（6）一个图形用户界面，它为用户提供对数据挖掘系统的交互式途径。

2.【p63 2.4】

中列数是最大值和最小值的平均数。

…… …… 余下全文

一、数据挖掘

数据挖掘是运用计算机及信息技术,从大量的、不完全的数据集中获取隐含在其中的有用知识的高级过程。Web 数据挖掘是从数据挖掘发展而来,是数据挖掘技术在Web 技术中的应用。Web 数据挖掘是一项综合技术,通过从

Internet 上的资源中抽取信息来提高Web 技术的利用效率,也就是从Web 文档结构和试用的集合中发现隐含的模式。

数据挖掘涉及的学科领域和方法很多，有多种分类法。

（1）根据挖掘对象分：关系数据库、面向对象数据库、空间数据库、时序数据库、DNA 数据库、多媒体数据库、异质数据库、遗产数据库以及Web数据库等；

（2）根据挖掘方法分：机器学习方法、统计方法、神经网络方法和数据库方法等；

a. 机器学习方法可细分为：归纳学习方法（决策树、规则归纳等）、基于范例学习、遗传算法等。

b.统计方法可细分为：回归分析（多元回归、自回归等）、判别分析（贝叶斯判别、费歇尔判别、非参数判别等）、聚类分析（系统聚类、动态聚类等）、探索性分析（主元分析法、相关分析法等）等。

c. 神经网络方法可细分为：前向神经网络（BP 算法等）、自组织神经网络（自组织特征映射、竞争学习等）等。

…… …… 余下全文

数据挖掘功能的特点及主要挖掘方法

一、数据挖掘功能的特点及主要挖掘方法

数据挖掘的目标是从数据库中发现隐含的、有意义的知识，主要有以下几类功能：

(1)概念描述

概念描述又称数据总结，其目的是对数据进行浓缩，给出它的综合描述，或者将它与其它对象进行对比。通过对数据的总结，可以实现对数据的总体把握。最简单的概念描述就是利用统计学中的传统方法，计算出数据库中各个数据项的总和、均值、方差等，或者利用OLAP(0n Line Processing，联机分析处理技术)实现数据的多维查询和计算，或者绘制直方图、折线图等统计图形。

(2)关联分析

关联分析就是从大量数据中发现项集之间有趣的关联或相关联系。随着大量数据不停地收集和存储，许多业界人士对于从他们的数据库中挖掘关联规则越来越感兴趣。从大量商务事务记录中发现有趣的关联关系，可以帮助许多商务决策的制定。

关联分析的主要方法有Apriori算法、AprioriTid算法、FP-growth算法等。

(3)分类和预测

分类和预测是两种数据分析形式，可以用于提取描述重要数据类的模型或预测数据未来的趋势。就是研究已分类资料的特征，分析对象属性，据此建立一个分类函数或分类模型，然后运用该模型计算总结出的数据特征，将其他未经分类或新的数据分派到不同的组中。计算结果通常简化为几个离散值，常用来对资料作筛选工作。分类和预测的应用十分广泛， 例如，可以建立一个分类模型，对银行的贷款客户进行分类，以降低贷款的风险；也可以通过建立分类模型，对工厂的机器运转情况进行分类，用来预测机器故障的发生。

…… …… 余下全文

数据挖掘面试题总结[转] 1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？

方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。

s 遍历文件a，对每个url求取

件（记为，然后根据所取得的值将url分别存储到1000个小文）中。这样每个小文件的大约为300M。

）。这样处 s 遍历文件b，采取和a相同的方式将url分别存储到1000各小文件（记为

理后，所有可能相同的url都在对应的小文件（

有相同的url。然后我们只要求出1000对小文件中相同的url即可。 ）中，不对应的小文件不可能

s 求每对小文件中相同的url时，可以把其中一个小文件的url存储到hash_set中。然后遍历另一个小文件的每个url，看其是否在刚才构建的hash_set中，如果是，那么就是共同的url，存到文件里面就可以了。

方案2：如果允许有一定的错误率，可以使用Bloom filter，4G内存大概可以表示340亿bit。将其中一个文件中的url使用Bloom filter映射为这340亿bit，然后挨个读取另外一个文件的url，检查是否与Bloom filter，如果是，那么该url应该是共同的url（注意会有一定的错误率）。

…… …… 余下全文

数据挖掘一些面试题总结（Data Mining）

摘录一段

企业面对海量数据应如何具体实施数据挖掘，使之转换成可行的结果/模型？

首先进行数据的预处理，主要进行数据的清洗，数据清洗，处理空缺值，数据的集成，数据的变换和数据规约。

请列举您使用过的各种数据仓库工具软件（包括建模工具，ETL工具，前端展现工具，OLAP Server、数据库、数据挖掘工具）和熟悉程度。

ETL工具：Ascential DataStage ，IBM warehouse MANAGER、Informatica公司的PowerCenter、Cognos 公司的DecisionStream

市场上的主流数据仓库存储层软件有：SQL SERVER、SYBASE、ORACLE、DB2、TERADATA 请谈一下你对元数据管理在数据仓库中的运用的理解。

元数据能支持系统对数据的管理和维护，如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说,在数据仓库系统中，元数据机制主要支持以下五类系统管理功能：

（１）描述哪些数据在数据仓库中；

（２）定义要进入数据仓库中的数据和从数据仓库中产生的数据；

…… …… 余下全文