服务热线:

栏目导航
重点案例
联系我们
服务热线
电话:
邮箱:
地址:
当前位置:官网首页 > 新闻动态 > 行业动态 >
NLP中文面试学习资料:面向算法面试,理论代码俱全,登上GitHub趋势榜
作者: 发布日期:2019-09-25

原标题:NLP中文面试学习资料:面向算法面试,理论代码俱全,登上GitHub趋势榜

鱼羊 发自 凹非寺

量子位 报道 | 公众号 QbitAI

一年一度的秋招已经悄悄来临,征战在求职路上的你,准备好了吗?

工欲善其事,必先利其器。

这里有一份NLP面试大全,全中文教学,囊括机器学习及NLP算法面试中常考的知识点,还有算法实战代码,实乃算法工程师求职路上,必备良品。

宜入门,亦宜复习。还登上了GitHub趋势榜。

学习目录

这份学习资料分为机器学习、深度学习和NLP三个部分。

机器学习有16节:

深度学习有8节:

展开全文

NLP有8节:

都是由浅入深,干货十足。

事不宜迟,一起来看看具体该如何食用这份学习大餐吧。

以机器学习的第一节线性回归为例。

在每一节的一开始都有该节的内容目录,详尽列举了这一节中都有哪些知识点,新手可以按部就班地学习,而倘若你只是想在面试开始前再巩固一下知识点,就可以哪里不熟点哪里了。

基础到什么是线性、非线性:

进一步到损失函数如何计算,过拟合、欠拟合如何解决:

再到应用场景:

没有多余的废话,尽是知识要点。拿着这样一份重点笔记有针对性地学习、复习,岂不爽哉?

光看理论记不住?放心,每一节的文末都有配套的课后习题,边学边练,事半功倍。

课后习题不仅包括题目、数据和代码实现,项目作者还结合自身的经验,把整个解题的思路完整呈现了出来,可以参考学习。

比如机器学习入门中的经典题房价预测。

题目是:

从给定的房屋基本信息以及房屋销售信息等,建立一个回归模型预测房屋的销售价格。

测试数据主要包括3000条记录,13个字段,跟训练数据不同的是测试数据并不包括房屋销售价格,学员需要通过由训练数据所建立的模型以及所给的测试数据,得出测试数据相应的房屋销售价格预测。

从给定的房屋基本信息以及房屋销售信息等,建立一个回归模型预测房屋的销售价格。

测试数据主要包括3000条记录,13个字段,跟训练数据不同的是测试数据并不包括房屋销售价格,学员需要通过由训练数据所建立的模型以及所给的测试数据,得出测试数据相应的房屋销售价格预测。

脑子一团浆糊不知道从何着手?

可以参考一下作者的思路:

1、选择合适的模型,比如这里,选择多元线性回归模型。

2、对缺失的值进行补齐操作,可以使用均值的方式补齐数据,使得准确度更高。

3、数据的取值一般跟属性有关,为了提高预测的准确度,需统一数据维度进行计算,方法有特征缩放和归一法等。

#读取数据

housing = pd.read_csv( 'kc_train.csv')

target=pd.read_csv( 'kc_train2.csv') #销售价格

t=pd.read_csv( 'kc_test.csv') #测试数据

#数据预处理

housing.info #查看是否有缺失值

#特征缩放

fromsklearn.preprocessing importMinMaxScaler

minmax_scaler=MinMaxScaler

minmax_scaler.fit(housing) #进行内部拟合,内部参数会发生变化

scaler_housing=minmax_scaler.transform(housing)

scaler_housing=pd.DataFrame(scaler_housing,columns=housing.columns)

4、调用模型库进行训练。

#选择基于梯度下降的线性回归模型

fromsklearn.linear_model importLinearRegression

LR_reg=LinearRegression

#进行拟合

LR_reg.fit(scaler_housing,target)

#使用均方误差用于评价模型好坏

fromsklearn.metrics importmean_squared_error

preds=LR_reg.predict(scaler_housing) #输入数据进行预测得到结果

mse=mean_squared_error(preds,target) #使用均方误差来评价模型好坏,可以输出mse进行查看评价值

#绘图进行比较

plot.figure(figsize=( 10, 7)) #画布大小

num= 100

x=np.arange( 1,num+ 1) #取100个点进行比较

plot.plot(x,target[:num],label= 'target') #目标取值

plot.plot(x,preds[:num],label= 'preds') #预测取值

plot.legend(loc= 'upper right') #线条显示位置

plot.show

5、使用测试数据进行目标函数预测输出,观察结果是否符合预期。或者通过画出对比函数进行结果线条对比。

当然,最后都会附上参考答案。

NLP部分也是一样的节奏,比如全局向量词嵌入(GloVe)。

先说明概念:

GloVe的全称叫Global Vectors for Word Representation,它是一个基于全局词频统计(count-based & overall statistics)的词表征(word representation)工具,它可以把一个单词表达成一个由实数组成的向量,这些向量捕捉到了单词之间一些语义特性,比如相似性(similarity)、类比性(analogy)等。我们通过对向量的运算,比如欧几里得距离或者cosine相似度,可以计算出两个单词之间的语义相似性。

GloVe的全称叫Global Vectors for Word Representation,它是一个基于全局词频统计(count-based & overall statistics)的词表征(word representation)工具,它可以把一个单词表达成一个由实数组成的向量,这些向量捕捉到了单词之间一些语义特性,比如相似性(similarity)、类比性(analogy)等。我们通过对向量的运算,比如欧几里得距离或者cosine相似度,可以计算出两个单词之间的语义相似性。

再详述实现步骤:

1、构建共现矩阵。

2、词向量和共现矩阵的近似关系。

3、构造损失函数。

4、训练GloVe模型。

还分析了一番GloVe与LSA(Latent Semantic Analysis,潜在语义分析)、Word2Vec(词嵌入)的比较。

LSA(Latent Semantic Analysis)是一种比较早的count-based的词向量表征工具,它也是基于co-occurance matrix的,只不过采用了基于奇异值分解(SVD)的矩阵分解技术对大矩阵进行降维,而我们知道SVD的复杂度是很高的,所以它的计算代价比较大。还有一点是它对所有单词的统计权重都是一致的。而这些缺点在GloVe中被一一克服了。

而word2vec最大的缺点则是没有充分利用所有的语料,所以GloVe其实是把两者的优点结合了起来。从这篇论文给出的实验结果来看,GloVe的性能是远超LSA和word2vec的,但网上也有人说GloVe和word2vec实际表现其实差不多。

LSA(Latent Semantic Analysis)是一种比较早的count-based的词向量表征工具,它也是基于co-occurance matrix的,只不过采用了基于奇异值分解(SVD)的矩阵分解技术对大矩阵进行降维,而我们知道SVD的复杂度是很高的,所以它的计算代价比较大。还有一点是它对所有单词的统计权重都是一致的。而这些缺点在GloVe中被一一克服了。

而word2vec最大的缺点则是没有充分利用所有的语料,所以GloVe其实是把两者的优点结合了起来。从这篇论文给出的实验结果来看,GloVe的性能是远超LSA和word2vec的,但网上也有人说GloVe和word2vec实际表现其实差不多。

最后,还是附上代码实现。

One More Thing

面向面试,重点明确,这份资源实在火。连外国友人都来求英文版了。

虽然有部分章节还在施工中,还是很值得Mark一下啊~

传送门:

https://github.com/NLP-LOVE/ML-NLP

作者系网易新闻·网易号“各有态度”签约作者

榜单征集!三大奖项,锁定AI Top玩家

2019中国人工智能年度评选启幕,领航企业、商业突破人物、最具创新力产品3大奖项,欢迎优秀的AI公司报名参与!

AI社群 | 与优秀的人交流

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「好看」吧 !



Copyright © 2018 开户送2开户送2-开户送28体验金 All Rights Reserved备案号:
电话:邮箱:
地址:技术支持:
开户送2-开户送28体验金