算法面试题（一）-- 统计学习与模式识别面试题

题目：

答案解析：

第一部分：

1.统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，又称为统计机器学习；

特点：以计算机为平台；以数据为对象；以方法为中心；以概率论、统计学、信息论以及最优化理论等为理论依托；目的是实现对数据的预测和分析；

三要素：模型、策略、算法；

3.特征选择：基于两个问题：1如何评价一组特征是否有效；2寻优算法

特征提取：其实就是特征变换，通过一个线性变换将高维特征映射到低维空间，说白了就是降维变换

4.好的特征标准：数量多，辨别能力好，局部性好，准确性，速度快

当前流行的图像特征：fast sift surf BRISK Harris ORB MSER

5.回归和分类区别：当待识别的对象变量是连续的，就是一个回归问题；反之就是一个分类问题

联系：都属于监督学习；

举例：房价与尺寸和房间数的关系，如果房价是连续量，就需要线性回归；反之如果房价取特殊的离散量（house和department），就是一个两类分类问题；

6.决策树的优点：简单，既可以处理连续数值特征，也可以处理离散非数值特征；决策时不需要判别函数，只需要确定树结构的每一层节点特征；

决策树步骤：

1）计算所有样本的熵不纯度；

2）计算候选特征划分的样本熵不纯度；

3）计算每一个候选特征的信息增益或信息增益率；

4）确定根节点特征；

5）同上依次确定出每一层的节点，直到叶节点；

CART算法：思想与ID3和C4.5相同，最大的不同在于，CART在每个节点都采用二分法，即每个节点都只有两个子节点，最后构成的是二叉树；CART就可以用于分类问题也可以用于回归；

第二部分

1.SVD可以获取另一个方向上的主成分，而PCA只能获得单个方向上的主成分；SVD计算伪逆；通过SVD可以得到PCA相同的结果，但是SVD通常比直接使用PCA更稳定；SVD一般是用来诊断两个场的相关关系的，而PCA是用来提取一个场的主要信息的（即主分量）。两者在具体的实现方法上也有不同，SVD是通过矩阵奇异值分解的方法分解两个场的协方差矩阵的（两个场的维数不同，不对称），而PCA是通过Jacobi方法分解一个场的协方差矩阵（T'*T).

PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。

LDA，就是Fisher判别分析，基本和PCA是一对双生子，它们之间的区别就是PCA是一种unsupervised的映射方法而LDA是一种supervised映射方法，都可以实现降维，但是LDA是将高维映射到一维；

2.AdaBoost基本思想：融合多个弱分类器，来提高分类器的分类性能；

3.稀疏表达的意义在于降维，但这个降维并非局限于节省空间；在模式识别问题中，往往需要大量的先验知识，而稀疏性是其中最主要的一种先验知识，这一洗属性使得许多病态问题变得不在病态，得以让算法进行下去；另外一种理解就是稀疏表达比较简单，奥卡姆剃刀定律中说过，如果两个模型的解释力相同，选择较简洁的那个，而稀疏表达正好满足这一定律。

现实问题中，很多问题都是稀疏的或近似成稀疏的，如：

1）DL中提取特征；

2）小波变换；

3）模式识别中的特征选择和特征提取；

如有疏漏和错误，还望大神补充指正。。

算法面试题（一）-- 统计学习与模式识别面试题相关推荐

深度学习试题_深度学习秋招面试题集锦（一）
这部分的面试题包含C++基础知识.python基础.概率相关.智力题相关.算法相关以及深度学习相关.后续还会不断补充,欢迎大家查阅! C++后台开发面试常见问题汇总 Q1 : C++虚函数表剖析. A ...
66 道前端算法面试题附思路分析助你查漏补缺
大家好,我是漫步. 今天来分享一篇干货,前端关于算法的分析不多,下文列举了66道前端算法面试题,希望对你有所帮助. 作者:Eno_Yao https://segmentfault.com/a/1190 ...
程序员应该掌握的经典算法面试题
不忘初心,方得始终.何谓"初心"?初心便是在深度学习.人工智能呼风唤雨的时代,对数据和结论之间那条朴素之路的永恒探寻,是集前人之大智,真诚质朴求法向道的心中夙愿. 没有最好的分类器 ...
腾讯NLP算法面试题整
大家好,这里是面经酱- 今天来帮大家梳理网上公开面经中提到的腾讯NLP算法岗相关面试题,欢迎在面经酱(www.mjj666.cn) 搜索最新面经,有其他公司.岗位的面经梳理需求请留言哦- 编程&am ...
[Z]谷歌（Google）算法面试题
谷歌(Google)算法面试题 1.谷歌面试题:给定能随机生成整数 1 到 5 的函数,写出能随机生成整数 1 到 7 的函数. 回答:此题的关键是让生成的 1 到 7 的数出现概率相同. 只要我们可 ...
200 道算法面试题集锦！Python 实现，含华为、BAT 等校招真题！
点击上方"AI有道",选择"置顶"公众号重磅干货,第一时间送达春招临近,无论是要找工作的准毕业生,还是身在职场想要提升自己的程序员,提升自己的算法内功心法. ...
常见的js算法面试题收集，es6实现
1.js 统计一个字符串出现频率最高的字母/数字 let str = 'asdfghjklaqwertyuiopiaia'; const strChar = str => {let string ...
prim算法_历时两月，终拿字节跳动offer，算法面试题分享「带答案」
欢迎关注专栏<Java架构筑基>--专注于Java技术的研究与分享! Java架构筑基zhuanlan.zhihu.com Java架构筑基--专注于Java技术的研究与分享! 后续文章 ...
java面笔试_java笔试手写算法面试题大全含答案
java笔试手写算法面试题大全含答案 1.统计一篇英文文章单词个数. public class WordCounting { public static void main(String[] args ...

算法面试题（一）-- 统计学习与模式识别面试题

算法面试题（一）-- 统计学习与模式识别面试题相关推荐

最新文章

热门文章