数据科学25大面试题及其答案详细分析 _数据科学面试题

文章图片
下面列出了数据科学面试常见问题解答。
1)你对” 数据科学” 一词有什么了解？

数据科学是一个多学科领域, 它将统计, 数据分析, 机器学习, 数学, 计算机科学和相关方法结合在一起, 以理解数据并解决复杂的问题。
数据科学是对大量数据的深入研究, 并从原始, 结构化和非结构化数据中找到有用的信息。
数据科学类似于数据挖掘或大数据技术, 后者处理大量数据并从数据中提取见解。
它使用各种工具, 功能强大的编程, 科学的方法和算法来解决与数据相关的问题。

2)数据科学, 机器学习和人工智能之间有什么区别？
数据科学, 机器学习和人工智能是计算机科学的三个相关且最令人困惑的概念。下图显示了AI, ML和数据科学之间的关系。

文章图片
以下是区分这三个术语的一些要点：

Data Science	Artificial Intelligence	Machine Learning
人工智能是计算机科学的一个分支, 它构建可以模仿人脑的智能机器。	机器学习是计算机科学的一个分支, 它使机器能够自动从数据中学习。
人工智能是一个广阔的领域, 范围从自然语言处理到深度学习。	机器学习是人工智能的子集, 也是数据科学的一部分。
人工智能的目标是制造智能机器。	机器学习的目标是允许机器自动从数据中学习。
人工智能创造了智能机器来解决复杂的问题。	机器学习使用数据和训练模型来解决一些特定问题。

3)讨论线性回归？

线性回归是基于监督学习的流行机器学习算法之一, 用于了解输入和输出数值变量之间的关系。
它应用了回归分析, 这是一种预测建模技术, 可以找到因变量和自变量之间的关系。
它显示了自变量和因变量之间的线性关系, 因此称为线性回归算法。
线性回归用于预测连续的数值变量, 例如销售/天数, 温度等。
它可以分为两类：
1. 简单线性回归
2. 多元线性回归

如果我们谈论简单的线性回归算法, 那么它显示了变量之间的线性关系, 可以使用下面的方程式和图来理解。

y=mx + c

文章图片
4)区分监督学习和无监督学习？
监督学习和无监督学习是机器学习的类型。
监督学习：
监督学习基于监督概念。在监督学习中, 我们使用样本数据训练我们的机器学习模型, 并基于该训练数据预测模型的输出。
无监督学习：
无监督学习没有任何监督概念。因此, 在无监督的学习机中学习无需任何监督。在无监督学习中, 我们提供未标记, 分类或分类的数据。
以下是有监督和无监督学习之间的一些主要区别：

先生	监督学习	Unsupervised learning
在监督学习中, 机器使用训练数据在监督中学习。	在无监督学习中, 机器无需任何监督即可学习。
监督学习使用标记数据来训练模型。	无监督学习使用未标记的数据来训练模型。
它使用已知的输入数据以及相应的输出。	它使用未知数据而没有任何对应的输出。
它可以分为分类和回归算法。	可以将其分为聚类和关联算法。
它比无监督学习更复杂的计算。	它比监督学习的计算复杂度低。
它提供了更准确和可靠的输出。	它提供的可靠性和准确性较低。
它还可以使用离线数据分析。	它使用实时数据分析。

5)通过偏差, 方差折衷, 你了解什么？
当我们使用监督式机器学习算法时, 该模型将从训练数据中学习。该模型始终尝试最好地估计输出变量(Y)和输入变量(X)之间的映射函数。目标函数的估计可能会生成预测误差, 该误差主要可分为偏差误差和方差误差。这些错误可以解释为：

偏差误差：偏差是由于过度简化了机器学习算法而引入模型的预测误差。它是预测输出与实际输出之差。偏差有两种：
- 高偏差：如果建议的预测值与实际值有很大差异, 则称为高偏差。由于高偏差, 算法可能会错过输入特征与目标输出之间的相关关系, 这被称为欠拟合。
- 低偏差：如果建议的预测值与实际值相差不大, 则称为低偏差。
方差错误：如果机器学习模型在训练数据集上表现良好, 但在测试数据集上表现不佳, 则发生方差。也可以将其定义为模型对训练数据集的小波动敏感的误差。高方差会导致机器学习模型过度拟合, 这意味着算法会将噪声以及数据中的基本模式引入模型。

偏差偏差权衡：
在机器学习模型中, 我们总是尝试具有低偏差和低方差, 并且

如果我们尝试增加偏差, 则方差减小
如果我们尝试增加方差, 则偏差会减小。

因此, 试图获得最佳偏差和方差称为偏差方差折衷。我们可以使用下面给出的牛眼图定义它。存在四种偏差和方差的情况：

文章图片

如果存在低偏差和低方差, 则预测输出通常会接近所需输出。
如果存在低偏差和高方差, 则该模型不一致。
如果存在高方差和低偏差, 则模型是一致的, 但预测结果与实际输出相差甚远。
如果存在高偏差和高方差, 则模型将不一致, 并且预测值与实际值也有很大差异。这是偏差和方差的最坏情况。

6)定义朴素贝叶斯？
朴素贝叶斯(Naive Bayes)是一种流行的用于预测建模的分类算法。它是一种基于贝叶斯定理的有监督的机器学习算法。
处理大型数据集时, 使用朴素贝叶斯算法很容易建立模型。它由两个词组成：朴素和贝叶斯, 朴素表示要素彼此无关。
用简单的话来说, 我们可以说” 朴素贝叶斯分类器假定一个类中存在的特征在统计上独立于其他特征。”
7)什么是SVM算法？
SVM代表支持向量机。它是一种监督的机器学习算法, 用于分类和回归分析。
它是标签数据的一部分, 是监督学习的一部分。支持向量机算法的目标是在N维空间中构造一个超平面。超平面是一条分界线, 用于区分两个不同类别的对象, 也称为决策边界。
如果只有两个不同的类, 则称为二进制SVM分类器。二进制SVM分类器的示意性示例如下。

文章图片
最接近另一个类别的一个类别的数据点称为支持向量。
SVM分类器有两种类型：

线性SVM分类器：一种分类器, 我们可以通过画一条线(即超平面)将对象集分为各自的组, 称为线性SVM分类器。
非线性SVM分类器：非线性SVM分类器适用于无法通过单行分为两类的对象。

根据误差函数, 我们可以将SVM模型分为四类：

分类SVM类型1
分类SVM Type2
回归SVM类型1
回归SVM类型1

8)你对正态分布了解什么？

如果给定数据在钟形曲线的中心值周围分布而没有任何左或右偏差, 则称为正态分布。它也称为钟形曲线, 因为它看起来像钟形曲线。
正态分布具有平均值, 一半的数据位于曲线的左侧, 一半的数据位于曲线的右侧。
在概率论中, 正态分布也称为高斯分布, 用于概率分布。
它是一种概率分布函数, 用于查看给定范围内的数据分布。
正态分布具有两个重要参数：平均值(μ)和标准偏差(σ)。

文章图片
9)讲解强化学习。

强化学习是机器学习的一种类型, 其中代理与环境互动并通过其行为和结果进行学习。每做一个好动作, 他都会得到积极的回报, 而每做一个不好的动作, 他都会得到消极的回报。考虑下图：

文章图片

强化学习中的主体的目标是最大化积极的回报。
在强化学习中, 没有为任务明确地编程算法, 而是在没有任何人工干预的情况下从经验中学习。
增强学习算法与监督学习算法不同, 因为没有任何训练数据集提供给该算法。因此, 该算法会自动从经验中学习。

10)p值是什么意思？

p值是概率值, 用于确定假设检验中的统计显着性。
假设检验用于检查无效假设(要求)的有效性。
可以使用p值表或统计软件来计算p值。
p值介于0和1之间。主要有两种情况：
- (p值< 0.05)：较小的p值表示反对原假设的有力证据, 因此我们可以拒绝原假设。
- (p值> 0.05)：较大的p值表示反对原假设的证据不充分, 因此我们认为原假设是正确的。

11)区分回归算法和分类算法？
分类和回归都是机器学习中的监督学习算法, 并且使用相同的训练数据集概念进行预测。两种算法之间的主要区别在于, 回归算法中的输出变量为” 数值” 或” 连续” , 而在” 分类” 算法中, 输出变量为” 分类” 或” 离散” 。
回归算法：回归算法是将输入变量x映射到一些实数(例如百分比, 年龄等)。或者, 如果需要的输出是连续的, 可以说使用了回归算法。线性回归是回归算法的著名示例。
回归算法用于天气预报, 人口增长预测, 市场预测等。
分类算法：分类算法是关于将输入变量x与离散数量的标签(例如, 真或假, 是或否, 雌雄等)进行映射。或者如果需要的输出是离散的, 可以说使用了分类算法标签。逻辑回归和决策树是分类算法的流行示例。分类算法用于图像分类, 垃圾邮件检测, 身份欺诈检测等。
12)在Python和R中, 哪种是最适合文本分析的语言？
R和Python都是适用于文本分析的语言, 但是首选语言是Python, 因为：

Python具有Pandas库, 通过它我们可以轻松使用数据结构和数据分析工具。
Python对所有类型的文本分析都执行快速执行。

13)你对L1和L2正则化方法了解什么？
正则化是一种降低模型复杂性的技术。当我们在数据集中拥有大量特征时, 它有助于解决模型中的过拟合问题。正则化通过向目标函数添加惩罚项来控制模型的复杂性。
有两种主要的正则化方法：
L1正则化：

L1正则化方法也称为套索正则化。 L1正则化将惩罚项添加到误差函数, 其中惩罚项是权重的绝对值之和。
它通过为不重要的特征提供0权重, 为重要的特征提供非零权值来执行特征选择。
它给出如下：

文章图片

这里

文章图片

这里,

文章图片
16)什么是ROC曲线？
ROC曲线代表接收器工作特征曲线, 该曲线图表示在所有分类阈值下二进制分类器模型的性能。曲线是针对不同阈值点的真实阳性率(TPR)与阳性阳性率(FPR)的图。
17)解释决策树算法, 它与随机森林算法有何不同？

决策树算法属于监督学习, 它解决了机器学习中的分类和回归问题。
决策树使用具有叶子, 决策节点以及节点之间的链接的树型结构来解决问题。每个节点代表一个属性或特征, 树的每个分支代表决策, 每个叶子代表结果。
决策树算法通常模仿人类的思维, 因此与其他分类算法相比, 它易于理解。

决策树和随机森林算法之间的区别：

决策树算法	随机森林算法
随机森林算法是各种决策树的组合, 基于每个树输出的平均值给出最终输出。
随机森林通过平均几棵树的预测来减少过拟合问题的机会。
该算法比较复杂。
它给出了更准确的结果。

18)解释术语” 数据仓库” 。
数据仓库是一个系统, 用于分析和报告从操作系统和不同数据源收集的数据。数据仓库在商业智能中起着重要的作用。
在数据仓库中, 数据是根据决策支持系统的需要从各种来源中提取, 转换(清理和集成)的, 并存储到数据仓库中。
分析后存在于数据仓库中的数据不会更改, 最终用户可以直接使用它或进行数据可视化。
数据仓库的优势：

数据仓库使数据更具可读性, 因此, 可以使用各种图表, 趋势, 图表等轻松回答战略性问题。
数据仓库使数据分析和操作更快, 更准确。

19)通过群集你了解什么？
聚类是将数据点划分为多个组的方法, 这样一个组内的数据点比其他组的数据点彼此更相似。这些组称为群集, 因此, 群集内的相似度很高, 群集之间的相似度较小。
聚类技术用于各种领域, 例如机器学习, 数据挖掘, 图像分析, 模式识别等。
数据科学25大面试题及其答案详细分析

文章图片
聚类是机器学习中的一种监督学习问题。它可以分为两种类型：

硬聚类
软聚类

20)如何确定k均值聚类算法中的聚类数量？
在k均值聚类算法中, 聚类的数量取决于k的值。
21)区分K均值聚类和分层聚类吗？
K均值聚类和分层聚类都是机器学习算法。以下是这两种群集之间的一些主要区别：

K-means clustering	层次聚类
层次集群显示集群之间的层次关系或父子关系。
在层次集群中, 我们不需要集群数量的先验知识, 我们可以根据需要进行选择。
层次集群无法更好地处理大数据。
层次聚类的时间复杂度为O(n2)(聚类)。

22)你对Ensemble Learning了解什么？
在机器学习中, 集成学习是将几种不同的基础模型组合在一起以生成一个更好的预测模型的过程。通过组合所有预测, 集成学习可提高模型的稳定性。
集成学习的概念是各种弱学习者聚在一起成为一个强学习者。集成方法有助于减少方差和偏差误差, 从而导致实际值和预测值产生差异。集成学习还可以用于选择最佳功能, 数据融合, 纠错, 增量学习等。
以下是两种流行的合奏学习技术：

套袋：
Bootstrap聚合称为Bagging, 这是一种强大的集成方法。 Bagging是Bootstrap技术的一种应用, 用于创建诸如决策树之类的高机器学习算法。它从原始数据集中获取各种采样数据集, 并训练每个数据集以增加模型方差。下图可以很容易地理解装袋的概念：

文章图片

提升：
Boosting是机器学习的顺序集成方法。它有助于利用模型之间的依赖性, 并且主要减少机器学习算法中的偏差和方差。这是一种迭代技术, 可根据先前的分类调整数据集中实例的权重。如果实例的分类错误, 则会增加该实例的权重。简而言之, 它将弱学习者转变为强学习者。有时, 增强训练的准确性要比装袋更好, 但也可能导致训练数据过拟合。增强的常见类型是Adaboost。

文章图片
23)说明Box Cox转换吗？
Box-Cox转换是一种统计技术, 可以将非正态因变量转换为正态形状。我们通常需要正态分布的数据以用于各种统计分析工具, 例如控制图, Cp / Cpk分析和方差分析。如果数据不是正态分布的, 我们需要确定非正态性的原因, 并需要采取必要的措施使数据正常。因此, 为了使数据正常并将非正常因变量转换为正常形状, 使用了Box Cox转换技术。
24)A / B测试的目的是什么？
A / B测试是一种比较网页的两个版本以确定哪个网页版本比另一个网页的性能更好的方法。这是一种统计假设检验, 它确定网页的任何更改以增加策略的结果。
25)数据科学与数据分析有何不同？
当我们处理数据科学时, 还有其他各种术语也可以用作数据科学。数据分析就是其中之一。数据科学和数据分析都处理数据, 但是区别在于它们如何处理数据。因此, 为清除数据科学与数据分析之间的混淆, 给出了一些区别：
数据科学：
数据科学是一个广义术语, 用于处理结构化, 非结构化和原始数据。它包括与数据相关的所有内容, 例如数据分析, 数据准备, 数据清理等。
数据科学并不专注于回答特定查询。相反, 它专注于探索大量数据, 有时是以非结构化的方式。
数据分析：
数据分析是对原始数据进行分析以得出结论和有意义的见解的过程。为了从数据中获取见解, 数据分析涉及算法和机械过程的应用。
数据分析基本上集中于推理, 这是从观察中得出结论的过程。
数据分析主要专注于回答特定的查询, 并且在重点关注时也表现更好。

工作/人力资源面试问题

JavaScript面试问题

Java OOP面试问题

JSP面试问题

休眠面试问题

SQL面试题

Android面试题

MySQL面试问题

数据科学是一个多学科领域, 用于深入研究数据并从中找到有用的见解。
数据科学并不是人工智能和机器学习的精确子集, 但它使用ML算法进行数据分析和未来预测。
数据科学的目标是从原始数据中找到隐藏的模式。
数据科学从数据中发现有意义的见解, 以解决复杂的问题。
1.
2.
3.
【数据科学25大面试题及其答案详细分析】4.
5.
6.
7.
决策树算法是一种树状结构, 用于解决分类和回归问题。
决策树可能会出现过拟合问题。
它基于人类思维, 因此更易于理解。
与随机森林算法相比, 它给出的结果精度较低。
K-均值聚类是一种简单的聚类算法, 其中将对象划分为聚类。
在k均值聚类中, 我们需要先验知识k才能定义有时可能很困难的聚类数。
与分层聚类相比, K均值聚类可以更好地处理大数据。
K均值的时间复杂度为O(n)(线性)。
面试技巧
公司面试问题与程序
Java基础面试问题
Servlet面试问题
春季面试问题
PL / SQL面试问题
Oracle面试问题
jQuery面试问题