Pyspark特征工程--MinHashLSH

MinHashLSH

class pyspark.ml.feature.MinHashLSH(inputCol=None, outputCol=None, seed=None, numHashTables=1)

Jaccard 距离的 LSH 类

输入可以是密集或稀疏向量，但如果是稀疏的，则效率更高。例如 Vectors.sparse(10, [(2, 1.0), (3, 1.0), (5, 1.0)]) 表示空间中有 10 个元素。该集合包含元素 2、3 和 5。此外，任何输入向量必须至少有 1 个非零索引，并且所有非零值都被视为二进制“1”值

model.approxNearestNeighbors(dataset, key, numNearestNeighbors, distCol=‘distCol’):

给定一个大数据集和一个项目，大约找到与该项目最近距离的 k 个项目。如果 outputCol 缺失，该方法将转换数据；如果 outputCol 存在，它将使用它。这允许在必要时缓存转换后的数据。

参数 :

dataset - 用于搜索键的最近邻居的数据集。

key – 表示要搜索的项目的特征向量。

numNearestNeighbors – 最近邻居的最大数量。

distCol – 输出列，用于存储每个结果行与键之间的距离。如果未指定，则使用“distCol”作为默认值。

返回:

一个数据集，最多包含最接近键的 k 个项目。添加一列“distCol”以显示每行与键之间的距离。

model.approxSimilarityJoin(datasetA, datasetB, threshold, distCol=‘distCol’):

连接两个数据集以近似找到距离小于阈值的所有行对。如果 outputCol 缺失，该方法将转换数据；如果 outputCol 存在，它将使用它。这允许在必要时缓存转换后的数据.

参数:

datasetA – 要加入的数据集之一。

datasetB - 要加入的另一个数据集。

threshold – 行对距离的阈值。

distCol – 用于存储每对行之间距离的输出列。如果未指定，则使用“distCol”作为默认值。

返回:

一个包含行对的连接数据集。原始行位于“datasetA”和“datasetB”列中，并添加了“distCol”列以显示每对之间的距离。

01.初始化

from pyspark.sql import SparkSession
spark = SparkSession.builder.config("spark.Driver.host","192.168.1.4")\.config("spark.ui.showConsoleProgress","false")\.appName("MaxAbsScaler").master("local[*]").getOrCreate()

02.创建数据

from pyspark.ml.linalg import Vectors
from pyspark.sql.functions import col
data = [(0, Vectors.sparse(6, [0, 1, 2], [1.0, 1.0, 1.0]),),(1, Vectors.sparse(6, [2, 3, 4], [1.0, 1.0, 1.0]),),(2, Vectors.sparse(6, [0, 2, 4], [1.0, 1.0, 1.0]),)]
df = spark.createDataFrame(data, ["id", "features"])
df.show()
df.head(3)

输出结果：

+---+--------------------+
| id|            features|
+---+--------------------+
|  0|(6,[0,1,2],[1.0,1...|
|  1|(6,[2,3,4],[1.0,1...|
|  2|(6,[0,2,4],[1.0,1...|
+---+--------------------+[Row(id=0, features=SparseVector(6, {0: 1.0, 1: 1.0, 2: 1.0})),Row(id=1, features=SparseVector(6, {2: 1.0, 3: 1.0, 4: 1.0})),Row(id=2, features=SparseVector(6, {0: 1.0, 2: 1.0, 4: 1.0}))]

03.MinHashLSH转换

from pyspark.ml.feature import MinHashLSH
mh = MinHashLSH(inputCol="features", outputCol="hashes", seed=12345)
model = mh.fit(df)
model.transform(df).show()
model.transform(df).head(3)

输出结果：

+---+--------------------+----------------+
| id|            features|          hashes|
+---+--------------------+----------------+
|  0|(6,[0,1,2],[1.0,1...|[[6.17966841E8]]|
|  1|(6,[2,3,4],[1.0,1...|[[1.33824602E8]]|
|  2|(6,[0,2,4],[1.0,1...|[[9.10790854E8]]|
+---+--------------------+----------------+[Row(id=0, features=SparseVector(6, {0: 1.0, 1: 1.0, 2: 1.0}), hashes=[DenseVector([617966841.0])]),Row(id=1, features=SparseVector(6, {2: 1.0, 3: 1.0, 4: 1.0}), hashes=[DenseVector([133824602.0])]),Row(id=2, features=SparseVector(6, {0: 1.0, 2: 1.0, 4: 1.0}), hashes=[DenseVector([910790854.0])])]

04.构造另一个数据

data2 = [(3, Vectors.sparse(6, [1, 3, 5], [1.0, 1.0, 1.0]),),(4, Vectors.sparse(6, [2, 3, 5], [1.0, 1.0, 1.0]),),(5, Vectors.sparse(6, [1, 2, 4], [1.0, 1.0, 1.0]),)]
df2 = spark.createDataFrame(data2, ["id", "features"])
df2.show()

输出结果：

+---+--------------------+
| id|            features|
+---+--------------------+
|  3|(6,[1,3,5],[1.0,1...|
|  4|(6,[2,3,5],[1.0,1...|
|  5|(6,[1,2,4],[1.0,1...|
+---+--------------------+

05.查看approxNearestNeighbors属性

key = Vectors.sparse(6, [1, 2], [1.0, 1.0])
model.approxNearestNeighbors(df2, key, 1).show()

输出结果：

+---+--------------------+----------------+-------------------+
| id|            features|          hashes|            distCol|
+---+--------------------+----------------+-------------------+
|  5|(6,[1,2,4],[1.0,1...|[[6.17966841E8]]|0.33333333333333337|
+---+--------------------+----------------+-------------------+

06.查看approxSimilarityJoin结果

model.approxSimilarityJoin(df, df2, 0.6, distCol="JaccardDistance").select(col("datasetA.id").alias("idA"),col("datasetB.id").alias("idB"),col("JaccardDistance")).show()

输出结果：

+---+---+---------------+
|idA|idB|JaccardDistance|
+---+---+---------------+
|  0|  5|            0.5|
|  1|  4|            0.5|
+---+---+---------------+

Pyspark特征工程--MinHashLSH相关推荐

推荐算法工程笔记：PySpark特征工程入门总结
PySpark Feature Tool 1. 数据准备我们定义了一些测试数据,方便验证函数的有效性:同时对于大多数初学者来说,明白函数的输入是什么,输出是什么,才能更好的理解特征函数和使用特征: ...
pyspark特征工程常用方法（一）
本文记录特征工程中常用的五种方法:MinMaxScaler,Normalization,OneHotEncoding,PCA以及QuantileDiscretizer 用于分箱原有数据集如下图: 1 ...
Pyspark特征工程--NGram
NGram class pyspark.ml.feature.NGram(n=2, inputCol=None, outputCol=None) 将输入的字符串数组转换为 n-gram 数组的特征转换 ...
【推荐系统】特征工程技巧（kaggle比赛技巧、tx的做法）
内容总结前面6点均是常见的特征工程基础知识,第7点时kaggle比赛中常用特征交叉.特征筛选等技巧,第8点从特征提取(数值型.类别型.embedding特征).特征选择(过滤式.封装式.嵌入式).特 ...
pyspark做movielens推荐模型特征工程
重磅推荐专栏: <Transformers自然语言处理系列教程> 手把手带你深入实践Transformers,轻松构建属于自己的NLP智能应用! 前面文章讲了如何使用pyspark做特征工 ...
Pyspark让pandas特征工程代码在集群上飞起来——天猫复购率baseline
Pyspark让pandas特征工程代码在集群上飞起来--天猫复购率baseline 环境与数据准备导包创建spark应用第一种特征工程方式:pyspark.pandas.dataframe 第 ...
基于Spark的大规模推荐系统特征工程
分享嘉宾:陈迪豪第四范式架构师编辑整理:刘璐出品平台:第四范式天枢.DataFunTalk 导读:特征工程在推荐系统中有着举足轻重的作用,大规模特征工程处理的效率极大的影响了推荐系统线上的性能 ...
【华为云技术分享】如何用交互式特征工程工具进行数据分析处理
[摘要] 根据业界知名分析机构的调查发现,在机器学习日常开发工作中,数据预处理和特征工程(涉及数据的分析和处理)约占工作量的60%以上,对于机器学习来说至关重要. 数据分析和处理的问题与挑战近年来, ...
现代数据团队的特征工程（Continual）
特征工程是任何 ML 工作流程的关键部分. 在 Continual 中,我们认为它实际上是 ML 流程中最具影响力的部分,并且应该对其应用最多的人工干预. 然而,在 ML 文献中,该术语经常在几个不同 ...

Pyspark特征工程--MinHashLSH

Pyspark特征工程--MinHashLSH相关推荐

最新文章

热门文章