使用Python调用OpenAI库计算Embedding
为后续设计item合并算法作实践基础准备。
知识点
设置环境变量
设置 $OPENAI_API_KEY 作为v1验证的key。
设置 $OPENAI_BASE_URL 以使用自部署的OneAPI作为中转。
调用OpenAI库
调库并生成一个实例。
from openai import OpenAI
client = OpenAI()
调用Embedding,指定字符串和调用模型。
client.embeddings.create(
input=s, model="text-embedding-3-small"
).data[0].embedding
输出为一个向量。调试输出向量内容和len()长度(手动省略):
[-0.007801616098731756, -0.026818055659532547, ……, -0.019145511090755463, 0.008654918521642685]
1536
[Finished in 3.3s]
更换成 nomic-embed-text 亦可运行。我们的nomic跑在服务器端,时间略长。
实际上这里似乎还有归一化的问题,在FastGPT中直接调用nomic,相似度有会大于$1$。
但是本地运行未遇到归一化的问题。
[-0.007801616098731756, -0.026818055659532547, ……, -0.019145511090755463, 0.008654918521642685]
1024
[Finished in 10.1s]
定义函数
模式为:
def fuc_name(var):
return 0
函数体在缩进块内完成。
构建函数时指定传参类型
变量名后挂类型,如:fuc(s:str,n:int)
判断string是否为空
调用 len() 函数,不知道哪个库的。如:len(s)!=0
计算余弦相似度
调库
from sklearn.metrics.pairwise import cosine_similarity
s = cosine_similarity([a, b])
调用函数时注意要传入一个数组,会生成一个二维数组。
输出
[[1. 0.58309876]
[0.58309876 1. ]]
[Finished in 4.4s]
传入长度可以大于$2$,回返回每一对的余弦相似度。
[[1. 0.58309876 0.69302698]
[0.58309876 1. 0.6850905 ]
[0.69302698 0.6850905 1. ]]
[Finished in 5.3s]
代码
import os
os.environ["OPENAI_API_KEY"]= "sk-"
os.environ["OPENAI_BASE_URL"]= "http://x.x.x.x:3000/v1/"
from openai import OpenAI
client = OpenAI()
from sklearn.metrics.pairwise import cosine_similarity
def embedding(s:str):
if len(s)==0:
return
else:
return client.embeddings.create(
input=s, model="text-embedding-3-small" # nomic-embed-text text-embedding-3-small
).data[0].embedding
a=embedding("I tend to draw fine distinctions between similar feelings (e.g., depressed and blue; annoyed and irritated).")
b=embedding("我喜欢界定两种相似的情绪(如沮丧和忧伤,烦恼和被激怒)。")
c=embedding("I like to define two similar emotions (e.g., frustration and sadness, annoyance and irritation).")
# print(a,"\n",len(a))
s = cosine_similarity([a, b, c])
print(s)
传入的三条字符串来自Emotion Complexity Scale,mxr612对其作的中译本,以及Coco对中译本的回译。
当前页面是本站的「Google AMP」版。查看和发表评论请点击:完整版 »