Python综合基础及机器学习面试题

前言

本篇文章多为问答式解析，若对相关信息存在异议，感谢在评论区进行指正。

问答式-python基础

1. 列举 Python 中的基本数据类型？

答： Python3 中有六个标准的数据类型：

字符串（String）、

数字（Digit）、

列表（List）、

元组（Tuple）、

集合（Sets）、

字典（Dictionary）。

2. 如何区别可变数据类型和不可变数据类型？

答：从对象内存地址方向来说

可变数据类型：在内存地址不变的情况下，值可改变（列表和字典是可变类型，但是字典中的 key 值必须是不可变类型）

不可变数据类型：内存改变，值也跟着改变。（数字，字符串，布尔类型，都是不可变类型）可以通过 id() 方法进行内存地址的检测。

3.字符串大小写问题关于英文字符串的大小写转换问题，可以通过几个函数实现？

答：四种

(1)首字母大写

a ='hello,zHong yUan GoNg!!'

print(a.title())

(2)全部大写

print(a.upper())

(3)全部小写

print(a.lower())

(4)首个单词的首字母大写

print(a.capitalize())

输出结果为：

Hello,Zhong Yuan Gong!!

HELLO,ZHONG YUAN GONG!!

hello,zhong yuan gong!!

Hello,zhong yuan gong!!

4. 如何检测字符串中只含有数字?

答：可以通过 isdigit 方法，例子如下

s1 = "12223".isdigit()

print(s1)

s2 = "12223a".isdigit()

print(s2)

结果如下：

#True

#False

5. 将字符串"ilovechina"进行反转的方法写出来

答：s1 = "ilovechina"[：：-1] print(s1)

6. Python 中的字符串格式化方式你知道哪些？

答：%s，format，fstring(Python3.6 开始才支持，现在推荐的写法)

例子如下：

(1)通过位置格式化

print('hello, '.format('zhong', 'yuan', 'gong'))

(2)通过key填充

print('hello,,my name is !!'.format(name='tom', self='sir'))

(3)通过数组的下标填充

n=['tom', 'sir']

print('hello,,my name is !!'.format(n=1))

(4)通过字典的key填充，键名不加引号

m={'name': 'tom', 'self': 'sir'}

print('hello,,my name is !!'.format(m=m))

上面输出结果都是：

hello,tom,my name is sir!!

7.有一个字符串开头和末尾都有空格，比如“ adabdw ”，要求写一个函数把这个字符串的前后空格都去掉。

答：因为题目要是写一个函数所以我们不能直接使用 strip，不过我们可以把它封装到函数啊

def strip_function(s1)：

return s1.strip()

s1 = " adabdw "

print(strip_function(s1))

8.说出你知道能删除字符串中的空格集中函数

答：c =' hello world !!! '

(1)去掉字符串开头和末尾的空格

print(c.strip())

(2)去掉字符串左边的空格

print(c.lstrip())

(3)去掉字符串右边的空格

print(c.rstrip())

(4)去掉字符串中所有的空格

print(c.replace(' ',''))

输出依次为：

hello world !!!

helloworld!!!

注意：这里不要把strip函数和split函数搞混了，前者是删除字符串中指定的字符，默认为空格，后者是用指定的字符分割字符串，默认也是空格

9. 一个编码为 GBK 的字符串 s，要将其转成 UTF-8 编码的字符串，应如何操作？

答：

#转换字符串编码

s='hello,zhongyuan university,你很好！'

print(s.encode('utf-8'))

10.单引号、双引号、三引号的区别？

答：单引号和双引号是等效的，如果要换行，需要符号(\),三引号则可以直接换行，并且可以包含注释

如果要表示Let’s go 这个字符串

单引号：s4 = ‘Let\’s go’

双引号：s5 = “Let’s go”

s6 = ‘I realy like“python”!’

这就是单引号和双引号都可以表示字符串的原因了

11.如何在Python中管理内存？

(1)python中的内存管理由Python专用堆空间管理。所有Python对象和数据结构都位于私有堆中。程序员无权访问此私有堆。python解释器代替了它。

(2)Python对象的堆空间分配是由Python的内存管理器完成的。核心API允许访问一些工具，以便程序员进行编码。

(3)Python还具有一个内置的垃圾收集器，该垃圾收集器回收所有未使用的内存，并使其可用于堆空间。

12.什么是python模块？命名Python中一些常用的内置模块？

回答：Python模块是包含Python代码的文件。此代码可以是函数类或变量。Python模块是包含可执行代码的.py文件。

一些常用的内置模块是：

操作系统

系统

数学

随机

资料时间

JSON格式

13.什么是Python中的类型转换？举例说明

回答：类型转换是指将一种数据类型转换为另一种数据类型。

int（）–将任何数据类型转换为整数类型

float（）–将任何数据类型转换为float类型

ord（）–将字符转换为整数

hex（）–将整数转换为十六进制

oct（）–将整数转换为八进制

tuple（）–此函数用于转换为元组。

set（）–此函数在转换为set后返回类型。

list（）– 此函数用于将任何数据类型转换为列表类型。

dict（）– 此函数用于将顺序（键，值）的元组转换为字典。

str（）– 用于将整数转换为字符串。

14.什么是init？

回答：__init__是Python中的方法或构造函数。创建类的新对象/实例时，将自动调用此方法以分配内存。所有类都具有__init__方法。

这是一个如何使用它的例子。

输出：

XYZ

20000

15. [::-1}是做什么的？

Ans：[::-1]用于反转数组或序列的顺序。

例如：

输出：array（'i'，[5，4，3，2，1]）

[::-1]重印有序数据结构（例如数组或列表）的反向副本。原始数组或列表保持不变。

16.您如何在Python中将列表项随机化？

答：请看下面的例子：

以下代码的输出如下。

[“Flying”，“Keep”，“Blue”，“High”，“ The”，“Flag”]

17.range和xrange有什么区别？

回答：就功能而言，在大多数情况下，xrange和range完全相同。它们都提供了一种生成整数列表供您使用的方法，但是您可以随意使用。唯一的区别是range返回一个Python列表对象，而x range返回一个xrange对象。

这意味着xrange在运行时实际上不会像range那样生成静态列表。它通过一种称为yield的特殊技术根据需要创建值。该技术与一种称为生成器的对象一起使用。这意味着，如果您有一个非常庞大的范围，您想生成一个列表，例如十亿，则使用xrange函数。

如果您有一个真正的内存敏感系统（例如正在使用的手机），则尤其如此，因为range将使用尽可能多的内存来创建整数数组，这可能导致内存错误并使您的崩溃程序。这是一个渴望记忆的野兽。

18.Python中help()和dir()函数的用法是什么？

回答：Help（）和dir（）这两个函数均可从Python解释器访问，并用于查看内置函数的合并转储。

(1)Help（）函数：help（）函数用于显示文档字符串，还可以帮助您查看与模块，关键字，属性等有关的帮助。

(2)Dir（）函数：dir（）函数用于显示定义的符号。

19.解释Python中“ re”模块的split()，sub()，subn()方法。

回答：为了修改字符串，Python的“ re”模块提供了3种方法。他们是：

(1)split()–使用正则表达式模式将给定的字符串“拆分”为列表。

(2)sub()–查找所有正则表达式模式匹配的子字符串，然后将其替换为其他字符串

(3)subn()–它类似于sub()，还返回新字符串以及替换的数目。

20.什么是负索引，为什么要使用它们？

回答：Python中的序列已编入索引，并且由正数和负数组成。正数使用“ 0”作为第一个索引，使用“ 1”作为第二个索引，过程继续进行。

负数的索引从代表序列中最后一个索引的“ -1”开始，而倒数第二个索引则是“ -2”，并且该序列像正数一样向前发展。

负索引用于从字符串中删除所有换行符，并允许字符串除以S [：-1]给出的最后一个字符外。负索引还用于显示索引以正确的顺序表示字符串。

21.Python是否具有OOps概念？

回答：Python是一种面向对象的编程语言。这意味着可以通过创建对象模型在python中解决任何程序。但是，Python既可以作为过程语言，也可以作为结构语言。

22.深层复制和浅层复制有什么区别？

回答：创建新实例类型时，将使用浅表复制，并将其复制的值保留在新实例中。浅复制用于复制参考指针，就像复制值一样。这些引用指向原始对象，并且在类的任何成员中所做的更改也会影响其原始副本。浅拷贝允许更快地执行程序，并且取决于所使用的数据大小。

深度复制用于存储已复制的值。深层复制不会将引用指针复制到对象。它引用一个对象，并存储其他对象指向的新对象。在原始副本中所做的更改不会影响使用该对象的任何其他副本。由于为每个被调用的对象制作了某些副本，因此深层复制会使程序的执行速度变慢。

问答式-机器学习

1：协方差和相关性有什么区别？

　　答：相关性是协方差的标准化格式。协方差本身很难做比较。例如：如果我们计算工资（￥）和年龄（岁）的协方差，因为这两个变量有不同的度量，所以我们会得到不能做比较的不同的协方差。为了解决这个问题，我们计算相关性来得到一个介于-1和1之间的值，就可以忽略它们各自不同的度量。

2：你认为把分类变量当成连续型变量会得到一个更好的预测模型吗？

　　答：为了得到更好的预测，只有在分类变量在本质上是有序的情况下才可以被当做连续型变量来处理。

3：“买了这个的客户，也买了.....”亚马逊的建议是那种算法的结果？

　　答：这种推荐引擎的基本想法来源于协同过滤。协同过滤算法考虑用于推荐项目的“用户行为”。他们利用的是其他用户的购物行为和针对商品的交易历史记录，评分，选择和购物信息。针对商品的其他用户的行为和偏好用来推荐项目（商品）给新用户。在这中情况下，项目（商品）的特征是未知的。

4：在K-means或者KNN，我们是用欧氏距离来计算最近的邻居之间的距离，为什么不用曼哈顿距离？

　　答：我们不用曼哈顿距离，因为它只计算水平或者垂直距离，有维度的限制。另一方面，欧氏距离可以用于任何空间的距离计算问题。因为，数据点可以存在于任何空间，欧式距离是更可行的选择。例如：想象一下国际象棋棋盘，象或者车所有的移动的由曼哈顿距离计算的，因为他们是在各自的水平和垂直方向做的运动。

5：为什么朴素贝叶斯如此“朴素”？

　　答：因为它假定所有的特征在数据集中的作用是同样重要和独立的。正如我们所知，这个假设在现实世界中是很不真实的，因此说朴素贝叶斯真的很“朴素”。

6：我们知道校正R2或者F值是用来评估线性回归模型的，那么用什么来评估逻辑回归模型？

　　答：我们可以使用以下方法：

　　1，由于逻辑回归是用来预测概率的，我们可以用AUC-ROC曲线以及混淆矩阵来确定其性能。

　　2，此外，在逻辑回归中类似于校正R2 的指标是AIC。AIC是对模型系数数量惩罚模型的拟合度量。因此，我们更偏爱有最小的AIC的模型。

　　3，空偏差指的是只有截距项的模型预测的响应。数值越低，模型越好。残余偏差表示由添加自变量的模型预测的响应。数值越低，模型越好。

7：真阳性率和召回有什么关系？写出方程式。

　　答：真阳性率 == 召回他们有共同的公式（TP/（TP+FN））

8：你是怎么理解偏差方差的平衡的？

　　答：从数学的角度来看，任何模型出现的误差可以分为三个部分。分别是：

　　偏差误差在量化平均水平之上，预测值跟实际值相差多远时有用。高偏差误差意味着我们的模型表现不太好，因为没有抓到重要的趋势。而另一方面，方差量化了在同一个观察上进行的预测是如何彼此不同的。高方差模型会过度拟合你的训练集，而在训练集以外的数据上表现很差。

9：给你一个有1000列和1百万行的训练数据集，这个数据集是基于分类问题的。经理要求你来降低该数据集的维度以减少模型计算时间，但是你的机器内存有限，你会怎么做？（你可以自由做各种实际操作假设。）

　　答：你的面试官应该非常了解很难在有限的内存上处理高纬的数据，以下是你可以使用到的方法：

　　1，由于我们的RAM很小，首先要关闭机器上正在运行的其他程序，包括网页浏览器等，以确保大部分内存可以使用。

　　2，我们可以随机采样数据集。这意味着，我们可以创建一个较小的数据集，比如有1000个变量和30万行，然后做计算。

　　3，为了降低维度，我们可以吧数值变量和分类变量分开，同时删掉相关联的变量，对于数据变量，我们将使用相关性分析；对于分类变量，我们可以用卡方检验。

　　4，另外，我们还可以使用PAC，并挑选可以解释在数据集中有最大偏差的成分。

　　5，利用在线学习算法，如VowpalWabbit（在Python中可用）是一个不错的选择。

　　6，利用Stochastic GradientDescent（随机梯度下降法）建立线性模型也很有帮助。

　　7，我们也可以用我们对业务的理解来估计个预测变量对响应变量的影响的大小。但是，这是一个主观的方法，如果没有找到有用的预测变量可能会导致信息的显著丢失。

10：全球平均温度的上升导致世界各地的海盗数量减少，这是否意味着海盗的数量减少引起气候变化？

　　答：不能够这样说，这是一个“因果关系和相关性”的经典案例。全球平均温度和海盗数量之间有可能有相关性，但基于这些信息，我们不能说因为全球平均气温的上升而导致了海盗的消失。我们不能断定海盗的数量减少是引起气候变化的原因，因为可能有其他因素（潜伏或混杂因素）影响这一现象。

11：给你一个数据集，这个数据集有缺失值，且这些缺失值分布在高中值有1一个标准偏差的的范围内，百分之多少的数据不会受到影响？为什么？

　　答：大约有32%的数据将不会受到缺失值的影响。因为，由于数据分布在中位数附近，让我们先假设这是一个正态分布。我们知道，在一个正态分布中，约有68%的数据位于跟平均值（或者众数，中位数）1个标准差范围内，那么剩下的约32%的数据是不受影响的。因此，约有32%的数据将不受缺失值的影响。

12：有监督学习和无监督学习的区别

　　有监督学习：对具有标记的训练样本进行学习，以尽可能对训练样本集外的数据进行分类预测。（LR，SVM，BP，RF，GBDT）

　　无监督学习：对未标记的样本进行训练学习，比发现这些样本中的结构知识。（KMeans，DL）

13：正则化

　　答：正则化是针对过拟合而提出的，以为在求解模型最优的是一般优化最小的经验风险，现在在该经验风险上加上模型复杂度这一项（正则化项是模型参数向量的范数），并使用一个rate比率来权衡模型复杂度比以往经验风险的权重，如果模型复杂度越高，结构化的经验风险会越大，现在的目标就变为了结构经验风险的最优化，可以防止模型训练过度复杂，有效的降低过拟合的风险。

　　奥卡姆剃刀原理：能够很好的解释已知数据并且十分简单才是最好的模型。

14：线程分类器与非线性分类器的区别以及优劣

　　答：如果模型是参数的线性函数，并且存在线性分类面，那么就是线性分类器，负责不是。　　常用的线性分类器有:LR ,贝叶斯分类，单层感知器，线性回归

　　常见的非线性分类器：决策树，RF，GBDT，多层感知机

　　SVM两种都有（看线性核还是高斯核）

　　线性分类器速度快，编程方便，但是可能拟合效果不会很好

　　非线性分类器编程复杂，但是效果拟合能力强

15：介绍卷积神经网络，和 DBN 有什么区别？

　　卷积神经网络的特点是卷积核，CNN中使用了权共享，通过不断的上采用和卷积得到不同的特征表示，采样层又称为pooling层，基于局部相关性原理进行亚采样，在减少数据量的同时保持有用的信息。DBN是深度信念网络，每一层是一个RBM，整个网络可以视为RBM堆叠得到，通常使用无监督逐层训练，从第一层开始，每一层利用上一层的输入进行训练，等各层训练结束之后再利用BP算法对整个网络进行训练。

16：采用 EM 算法求解的模型有哪些，为什么不用牛顿法或梯度下降法？

　　用EM算法求解的模型一般有GMM或者协同过滤，k-means其实也属于EM。EM算法一定会收敛，但是可能收敛到局部最优。由于求和的项数将随着隐变量的数目指数上升，会给梯度计算带来麻烦。

17：用 EM 算法推导解释 Kmeans。

　　k-means算法是高斯混合聚类在混合成分方差相等，且每个样本仅指派一个混合成分时候的特例。注意k-means在运行之前需要进行归一化处理，不然可能会因为样本在某些维度上过大导致距离计算失效。k-means中每个样本所属的类就可以看成是一个隐变量，在E步中，我们固定每个类的中心，通过对每一个样本选择最近的类优化目标函数，在M步，重新更新每个类的中心点，该步骤可以通过对目标函数求导实现，最终可得新的类中心就是类中样本的均值。

18：用过哪些聚类算法，解释密度聚类算法。

　　k-means算法，聚类性能的度量一般分为两类，一类是聚类结果与某个参考模型比较(外部指标)，另外是直接考察聚类结果(内部指标)。后者通常有DB指数和DI，DB指数是对每个类，找出类内平均距离/类间中心距离最大的类，然后计算上述值，并对所有的类求和，越小越好。类似k-means的算法仅在类中数据构成簇的情况下表现较好，密度聚类算法从样本密度的角度考察样本之间的可连接性，并基于可连接样本不断扩展聚类蔟得到最终结果。

　　DBSCAN(density-based spatial clustering of applications with noise)是一种著名的密度聚类算法，基于一组邻域参数进行刻画，包括邻域，核心对象(邻域内至少包含个对象)，密度直达(j由i密度直达，表示j在i的邻域内，且i是一个核心对象)，密度可达(j由i密度可达，存在样本序列使得每一对都密度直达)，密度相连(xi,xj存在k,i,j均有k可达)，先找出样本中所有的核心对象，然后以任一核心对象作为出发点，找出由其密度可达的样本生成聚类蔟，直到所有核心对象被访问过为止。

19：聚类算法中的距离度量有哪些？

　　聚类算法中的距离度量一般用闽科夫斯基距离，在p取不同的值下对应不同的距离，例如p=1的时候对应曼哈顿距离，p=2的情况下对应欧式距离，p=inf的情况下变为切比雪夫距离，还有jaccard距离，幂距离(闽科夫斯基的更一般形式),余弦相似度，加权的距离，马氏距离(类似加权)作为距离度量需要满足非负性，同一性，对称性和直递性，闽科夫斯基在p>=1的时候满足读来那个性质，对于一些离散属性例如{飞机，火车，轮船}则不能直接在属性值上计算距离，这些称为无序属性，可以用VDM(Value Diffrence Metrix)，属性u上两个离散值a,b之间的VDM距离定义为

　　其中表示在第i个簇中属性u上a的样本数，样本空间中不同属性的重要性不同的时候可以采用加权距离，一般如果认为所有属性重要性相同则要对特征进行归一化。一般来说距离需要的是相似性度量，距离越大，相似度越小，用于相似性度量的距离未必一定要满足距离度量的所有性质，例如直递性。比如人马和人，人马和马的距离较近，然后人和马的距离可能就很远。

20：解释贝叶斯公式和朴素贝叶斯分类。

　　贝叶斯公式

最小化分类错误的贝叶斯最优分类器等价于最大化后验概率。

　　基于贝叶斯公式来估计后验概率的主要困难在于，条件概率是所有属性上的联合概率，难以从有限的训练样本直接估计得到。朴素贝叶斯分类器采用了属性条件独立性假设，对于已知的类别，假设所有属性相互独立。这样，朴素贝叶斯分类则定义为

　　如果有足够多的独立同分布样本，那么可以根据每个类中的样本数量直接估计出来。在离散情况下先验概率可以利用样本数量估计或者离散情况下根据假设的概率密度函数进行最大似然估计。朴素贝叶斯可以用于同时包含连续变量和离散变量的情况。如果直接基于出现的次数进行估计，会出现一项为0而乘积为0的情况，所以一般会用一些平滑的方法，例如拉普拉斯修正，

21：TF-IDF是什么？

　　TF指Term frequecy,代表词频,IDF代表inverse document frequency,叫做逆文档频率，这个算法可以用来提取文档的关键词，首先一般认为在文章中出现次数较多的词是关键词，词频就代表了这一项，然而有些词是停用词，例如的，是，有这种大量出现的词，首先需要进行过滤，比如过滤之后再统计词频出现了中国，蜜蜂，养殖且三个词的词频几乎一致，但是中国这个词出现在其他文章的概率比其他两个词要高不少，因此我们应该认为后两个词更能表现文章的主题，IDF就代表了这样的信息，计算该值需要一个语料库，如果一个词在语料库中出现的概率越小，那么该词的IDF应该越大，一般来说TF计算公式为(某个词在文章中出现次数/文章的总词数)，这样消除长文章中词出现次数多的影响，IDF计算公式为log(语料库文章总数/(包含该词的文章数)+1)。将两者乘乘起来就得到了词的TF-IDF。传统的TF-IDF对词出现的位置没有进行考虑，可以针对不同位置赋予不同的权重进行修正，注意这些修正之所以是有效的，正是因为人观测过了大量的信息，因此建议了一个先验估计，人将这个先验估计融合到了算法里面，所以使算法更加的有效。

22：文本中的余弦距离是什么，有哪些作用？

　　余弦距离是两个向量的距离的一种度量方式，其值在-1~1之间，如果为1表示两个向量同相，0表示两个向量正交，-1表示两个向量反向。使用TF-IDF和余弦距离可以寻找内容相似的文章，例如首先用TF-IDF找出两篇文章的关键词，然后每个文章分别取出k个关键词(10-20个)，统计这些关键词的词频，生成两篇文章的词频向量，然后用余弦距离计算其相似度。

文末：感谢指正。