大数据挖掘需要学习哪些技术大数据的工作
发布网友
发布时间：2022-04-22 08:26
共3个回答
热心网友
时间：2022-04-06 15:33
处理大数据需要一个综合、复杂、多方位的系统，系统中的处理模块有很多，而数据挖掘技术以一个的身份存在于处理大数据的整个系统之中，与其他模块之间相辅相成、协调发展。在大数据时代中，数据挖掘技术的地位是无可比拟的。
数据挖掘的基本流程
在正式讲数据挖掘知识清单之前，我先和你聊聊数据挖掘的基本流程。
数据挖掘的过程可以分成以下 6 个步骤。
商业理解：数据挖掘不是我们的目的，我们的目的是更好地帮助业务，所以第一步我们要从商业的角度理解项目需求，在这个基础上，再对数据挖掘的目标进行定义。
数据理解：尝试收集部分数据，然后对数据进行探索，包括数据描述、数据质量验证等。这有助于你对收集的数据有个初步的认知。
数据准备：开始收集数据，并对数据进行清洗、数据集成等操作，完成数据挖掘前的准备工作。
模型建立：选择和应用各种数据挖掘模型，并进行优化，以便得到更好的分类结果。
模型评估：对模型进行评价，并检查构建模型的每个步骤，确认模型是否实现了预定的商业目标。
上线发布：模型的作用是从数据中找到金矿，也就是我们所说的“知识”，获得的知识需要转化成用户可以使用的方式，呈现的形式可以是一份报告，也可以是实现一个比较复杂的、可重复的数据挖掘过程。数据挖掘结果如果是日常运营的一部分，那么后续的监控和维护就会变得重要。
数据挖掘的十大算法
为了进行数据挖掘任务，数据科学家们提出了各种模型，在众多的数据挖掘模型中，国际权威的学术组织 ICDM （the IEEE International Conference on Data Mining）评选出了十大经典的算法。
按照不同的目的，我可以将这些算法分成四类，以便你更好的理解。
分类算法：C4.5，朴素贝叶斯（Naive Bayes），SVM，KNN，Adaboost，CART
聚类算法：K-Means，EM
关联分析：Apriori
连接分析：PageRank
1. C4.5
C4.5 算法是得票最高的算法，可以说是十大算法之首。C4.5 是决策树的算法，它创造性地在决策树构造过程中就进行了剪枝，并且可以处理连续的属性，也能对不完整的数据进行处理。它可以说是决策树分类中，具有里程碑式意义的算法。
2. 朴素贝叶斯（Naive Bayes）
朴素贝叶斯模型是基于概率论的原理，它的思想是这样的：对于给出的未知物体想要进行分类，就需要求解在这个未知物体出现的条件下各个类别出现的概率，哪个最大，就认为这个未知物体属于哪个分类。
3. SVM
SVM 的中文叫支持向量机，英文是 Support Vector Machine，简称 SVM。SVM 在训练中建立了一个超平面的分类模型。如果你对超平面不理解，没有关系，我在后面的算法篇会给你进行介绍。
4. KNN
KNN 也叫 K 最近邻算法，英文是 K-Nearest Neighbor。所谓 K 近邻，就是每个样本都可以用它最接近的 K 个邻居来代表。如果一个样本，它的 K 个最接近的邻居都属于分类 A，那么这个样本也属于分类 A。
5. AdaBoost
Adaboost 在训练中建立了一个联合的分类模型。boost 在英文中代表提升的意思，所以 Adaboost 是个构建分类器的提升算法。它可以让我们多个弱的分类器组成一个强的分类器，所以 Adaboost 也是一个常用的分类算法。
6. CART
CART 代表分类和回归树，英文是 Classification and Regression Trees。像英文一样，它构建了两棵树：一棵是分类树，另一个是回归树。和 C4.5 一样，它是一个决策树学习方法。
7. Apriori
Apriori 是一种挖掘关联规则（association rules）的算法，它通过挖掘频繁项集（frequent item sets）来揭示物品之间的关联关系，被广泛应用到商业挖掘和网络安全等领域中。频繁项集是指经常出现在一起的物品的集合，关联规则暗示着两种物品之间可能存在很强的关系。
8. K-Means
K-Means 算法是一个聚类算法。你可以这么理解，最终我想把物体划分成 K 类。假设每个类别里面，都有个“中心点”，即意见领袖，它是这个类别的核心。现在我有一个新点要归类，这时候就只要计算这个新点与 K 个中心点的距离，距离哪个中心点近，就变成了哪个类别。
9. EM
EM 算法也叫最大期望算法，是求参数的最大似然估计的一种方法。原理是这样的：假设我们想要评估参数 A 和参数 B，在开始状态下二者都是未知的，并且知道了 A 的信息就可以得到 B 的信息，反过来知道了 B 也就得到了 A。可以考虑首先赋予 A 某个初值，以此得到 B 的估值，然后从 B 的估值出发，重新估计 A 的取值，这个过程一直持续到收敛为止。
EM 算法经常用于聚类和机器学习领域中。
10. PageRank
PageRank 起源于论文影响力的计算方式，如果一篇文论被引入的次数越多，就代表这篇论文的影响力越强。同样 PageRank 被 Google 创造性地应用到了网页权重的计算中：当一个页面链出的页面越多，说明这个页面的“参考文献”越多，当这个页面被链入的频率越高，说明这个页面被引用的次数越高。基于这个原理，我们可以得到网站的权重划分。
最后
算法可以说是数据挖掘的灵魂，也是最精华的部分。这 10 个经典算法在整个数据挖掘领域中的得票最高的，后面的一些其他算法也基本上都是在这个基础上进行改进和创新。今天你先对十大算法有一个初步的了解，你只需要做到心中有数就可以了。
热心网友
时间：2022-04-06 16:51
数据挖掘需要学习的内容有：
1、编程语言。
2、大数据处理框架。
3、数据库知识。
4、数据结构与算法。
5、机器学习/深度学习。
6、统计学知识。
以上就是数据挖掘需要学习的内容。数据挖掘技术渗透在大数据时代的方方面面，数据挖掘是一个交叉学科，不仅设计编程和计算机学科，还涉及生活中的多个领域，在我们的生活和工作中无处不在。
如果你对大数据工程有浓厚的兴趣，推荐CDA数据分析师课程。课程以项目调动学员数据挖掘实用能力的场景式教学为主，在讲师设计的业务场景下由讲师不断提出业务问题，再由学员循序渐进思考并操作解决问题的过程中，帮助学员掌握真正过硬的解决业务问题的数据挖掘能力。这种教学方式能够引发学员的思考及主观能动性，学员掌握的技能知识可以快速转化为自身能够灵活应用的技能，在面对不同场景时能够自由发挥。点击预约免费试听课。
热心网友
时间：2022-04-06 18:26
首先
我由各种编程语言的背景——matlab,R,java,C/C++,python,网络编程等
我又一定的数学基础——高数，线代，概率论，统计学等
我又一定的算法基础——经典算法，神经网络，部分预测算法，群智能算法等
但这些目前来讲都不那么重要，但慢慢要用到
Step 1：大数据理论，方法和技术
大数据理论——啥都不说，人家问你什么是大数据时，你能够讲到别人知道什么是大数据
大数据方法——然后别人问你，那怎么实现呢？嗯，继续讲：说的是方法（就好像归并排序算法：分，并）。到目前外行人理解无障碍
大数据技术——多嘴的人继续问：用的技术。
这阶段只是基础，不涉及任何技术细节，慢慢看慢慢总结，积累对“大数据”这个词的理解。
Step 2：大数据思维
Bang~这是继Step 1量变发展而来的质变：学了那么久“大数据”，把你扔到制造业，你怎么办？
我想，这就是“学泛”的作用吧，并不是学到什么具体东西，而是学到了对待事物的思维。
----------------------------------------------------------------------
以下阶段我还没开始=_=，不好误导大家
Step 3：大数据技术基础
Step 4：大数据技术进阶
Step 5：打实战
Step 6：大融合
