Python中怎么利用Faiss库实现向量近邻搜索
发表于:2026-11-02 作者:千家信息网编辑
千家信息网最后更新 2026年11月02日,Python中怎么利用Faiss库实现向量近邻搜索,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。1、读取预训练好的Embedding数据
千家信息网最后更新 2026年11月02日Python中怎么利用Faiss库实现向量近邻搜索
Python中怎么利用Faiss库实现向量近邻搜索,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。
1、读取预训练好的Embedding数据
import pandas as pdimport numpy as npdf = pd.read_csv("./datas/movielens_sparkals_item_embedding.csv")# 提取要使用的电影ID列表,注意要转换成int64ids = df["id"].values.astype(np.int64)# 记录ID列表的大小ids_size = ids.shape[0]# 读取内容embedding数据,转换成二维arrayimport jsonimport numpy as npdatas = []for x in df["features"]:datas.append(json.loads(x))# 变成二维arraydatas = np.array(datas).astype(np.float32)# 记录数据维度dimension = datas.shape[1]
2、使用faiss建立索引
import faissindex = faiss.IndexFlatL2(dimension)index2 = faiss.IndexIDMap(index)index2.add_with_ids(datas, ids)
3、实现近邻搜索
# 读取user embedding数据df_user = pd.read_csv("./datas/user_embedding.csv")df_user.head()# 挑选一条user的embedding,转换成1行N列的二维arrayuser_embedding = np.array(json.loads(df_user[df_user["id"] == 10]["features"].iloc[0]))user_embedding = np.expand_dims(user_embedding, axis=0).astype(np.float32)user_embedding# 实现搜索,这里的I就是近邻ID列表tok = 30D, I = index.search(user_embedding, topk) # actual search
4、拼接得到内容列表
# 把搜索出来的ID变成Seriestarget_ids = pd.Series(I[0], name="MovieID")# 读取电影数据df_movie = pd.read_csv("./datas/ml-1m/movies.dat",sep="::", header=None, engine="python",names = "MovieID::Title::Genres".split("::"))# 实现内容JOINdf_result = pd.merge(target_ids, df_movie)
看完上述内容,你们掌握Python中怎么利用Faiss库实现向量近邻搜索的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注行业资讯频道,感谢各位的阅读!
搜索
内容
数据
近邻
二维
向量
方法
更多
电影
问题
束手无策
为此
原因
大小
对此
就是
技能
篇文章
索引
经验
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
深圳市人人互联网科技有限公司
北京路客互联网科技有限公司
美国互联网科技巨头监管
科技服务与互联网
互联网科技公司发展
深圳互联网络科技有限公司
天下捷融互联网科技
互联网金融监管科技
互联网科技素材视频竖屏
汉立互联网科技有限公司联系电话
互联网科技热点资讯
茂名市互联网科技产业园
港股科技和互联网
广州新华互联网科技学校电竞方面
企晟互联网信息科技有限公司
高科技互联网发展前景如何
四川慕妮娅互联网科技有限公司
厦门江牛科技互联网
郑州欣桑互联网科技有限公司
好易买互联网科技
互联网科技园
互联网科技公司华为
互联网科技保险
科技互联网技术
猪兼强互联网科技
期待互联网科技
深圳国际航运科技和互联网
互联网科技教育视频
合肥互联网科技公司公章图片
山东星卡互联网科技有限公司官网