非凡中文

第12章（第1页）

她用鼠标圈出来，“这几行。”

不知道是因为嘴里有糖，还是因为不想跟慕留说话，她的嘴张得不够开，声音有点含混。

“嗯，”慕留敛了笑意，认真地问她，“词向量维度100是什么意思？”

“词向量里有100个元素。”

“对，具体说是有一个向量空间，它有100个维度，我们把这个词映射到这个空间里，得到了100个坐标。同一个词在不同维度的表现可能差异很大，举个例子，”慕留对着屏幕想了两秒，“比如‘小牛’和‘小羊’。”

杨枝用余光瞟了他一眼，没出声。

“在一个和动物有关的维度上，‘小牛’和‘小羊’可能会表现得很相似，浮点数很接近，但是在别的维度，比如地理位置，或者是一个不可解释的维度上，‘小牛’和‘小羊’可能就会表现得差异很大，相关性很低。所以维度越高，捕捉到的词语关系就会越准。”

杨枝“嗯”了一声。

慕留说到这里，开始一边敲代码一边讲：“这里它设定的维度是50，其实是很低的维度。但是它想把词向量可视化，可视化的话维度50还是太高，一般是2或者3。”

他扭头看向杨枝，“所以要怎么办？”

杨枝看向屏幕，“降维。”

“对，”慕留把头转回去，“降维有几种办法，它这里用的是tsne算法，所以加了一个rtsne的包，后面这两个参数，dims就是维度，theta你可以理解成一个加快计算速度的参数，一般在0到1之间取，它取了0.1，这个值比较小，所以计算速度就比较慢，但是算得更精确。”

手指适时按下两个井号，把他说的一些重点写成注释。

她提问：“可以取到0和1吗？”

“可以，取到0的时候结果最精确，取到1的时候算得最快。还有哪里没听懂吗？”

杨枝含着糖摇摇头。

“那我继续了？”

杨枝含着糖点点头。