“语义”何以成“向量”（20261010）

G.HUANG9605

“语义即向量”，是语言大模型的核心思想。大意是，一个词的意义是由它的上下文决定的，这个词与上下文的关系，可以用向量表示。

1.随文释义

中国古代训诂学就有“随文释义”的方法，是说解释一个词语要参照上下文。解释一个词语要根据它的上下文，孤立地、抽象地看一个词语往往得不到它的真实意义，光靠词典给出的解释是不夠的。

这是一种朴素的睿知，但这只是一种笼统的说法，“随”哪些“文”，如何去“释义”，直到大语言模型GPT出现，才有了明确的、具体的、细致的、可操作的理论与实践。

2.分布分析法

20世纪西方流行结构主义语言学，有一种建立在形式关系上的“分布分析法”，大意是对一个词的词汇意义或语法意义，就是看它的“分布”（distribution），也就是它的前后文，前后分别能出现什么，不能出现什么。

给词分类，从意义上来划分往往见仁见智说不清楚，用“分布”来认定，可能比较客观。比如“名词”，它前面可以加数量词，但不能加“不”；又如“形容词”，它前面可以加“很、十分”一类程度副词，后面可以跟“名词”。用一个前后搭配可能性的框架来判断词性。

3. 关系，本质就是关系！

结构主义认为，“本质”并不重要，重要的是“关系”。结构主义语言学的音位理论和语义理论的根基，就是“关系”。

我上课常举的一个例子就是象棋。象棋的核心是棋子的走法，也就是每个角色的关系规则。车、马、炮，到底是木头做的，还是象牙做的，玉石做的，并无关系。“老将”丢失了，你可以用个墨水瓶盖儿、一块小石子或随便什么手边的小东西代替，走法一样，同样有效。象棋，不在于制造材料，在于一套关系规则系统。

更极端一些，你可以认为：“本质”，就是一些“关系”的集合。

佛学讲“色即是空，空即是色”，讲“因缘和合”。“诸法因缘生，诸法因缘灭。”他们认为各种物质和现象的出现，都是一些因素聚合的结果。“缘”，就是关系，外部关系。

恩斯特·马赫的经验批判主义，核心思想就是主张世界由感觉要素构成，感觉要素，就是人与物的关系。语言学也认为，“音位”是由“区别特征”组成，“词义”是由“义素”组成。只是这些朴素想法只能用于个别举例，无法贯彻整个语言系统和实际言语活动。

马克思主义也认为，人的本质“是一切社会关系的总和”。人的“本质”并非血肉之躯，诸如高矮胖瘦，而是一个关系网，你是这个社会关系网中的一个节点。你与父母兄弟姐妹的关系，你与亲戚朋友的关系，你与老师同学的关系，你与领导、同事、同行的关系，你与家庭、学校、单位、国家的种种错综复杂、或远或近、或紧或松、或密或疏的关系，造成了这一个“你”。“你”是无数关系交汇的节点，你被这些关系所定义，这也就是你的“意义”。我说是“你”，你自述就是“我”。是无数关系，生成和塑造了“我”。

读过马克·吐温的《王子与贫儿》吗？同一个血肉之躯，偶然错位被放置在不同社会关系网络的节点中，关系网络就会为之生成完全不同的“你”/“我”的意义。身份，就是关系；意义，就是关系。

这是在哲学层面的讨论，语言问题其实也是如此。

4. 义素分析法

语言是有系统的，语义也是有系统的。如果我们把词语的“词义”看成是若干有限“义素”（语义基本要素）的组合，会帮助我们看清语义的內在结构。

比如最早用于人类学调查的亲属系统的义素分析，祖父、祖母、外祖父、外祖母、父亲、母亲、儿子、女儿、孙子、孙女、外孙、外孙女……一大堆，还可以更多，各个民族各种语言称谓的标准很不一样，说法也大异其趣。但是我们可以只用很少几个基本要素，比如性别、长幼、辈份，就能把这个系统內部各个称谓之间的关系理清楚，并用于比较。

词汇可以划分为许多“语义场”，比如亲属、房屋、家具、动作等等，传统叫类义词。同一个语义场的词语，必包含重要的共同义素，这是构成此场域的关键。当然也包含有不同义素，这是该语义场有许多不同词语的原因。其实我们汉代的词书《尔雅》，释山释水，释草释木，释虫释鱼，释鸟释兽，释宫释器，就是按语义场排列的。

但问题是，语言学家无法就“语义场”的划分达成一致，因为世界繁纷复杂，深广无边，视角又可能不同。最大的问题是，语言学家无法概括抽象出明确、有限而又统一的“义素”。

有些词典（学习词典），试图规定在解释所有词语的时候只使用有限的词表（一般定义词/释义词在2000～3000左右），这是很好的努力，但解释用的词表中的词语毕竟与极终的“义素”还不是一回事，我们无法像门捷列夫那样，用一个元素周期表内的非常有限而有內在结构的元素来有效解析世间万物，这是一个很好的理想。

如果把词典看成一个有向图：每个词是节点，定义关系是从“定义词”指向“被定义词”的边。研究发现，可以递归去掉那些只被定义、不再参与定义其他词的词，最后剩下一个约 10% 大小的核；其中又有约 75% 是强连通核心。

更关键的是，理论上能定义其余所有词的最小集合，叫 MinSet，大约只占整本词典的 1%。一本5万词条的词典，这个最小集合只有500个词。

但这只是“图论上足够”，不等于人类能仅靠这 1% 的词真正理解全部词义。如果完全脱离外部世界，只靠词典内部循环定义，意义是无法真正落地的。必须有一些词通过感知、动作、经验或图像来“接地”。

语义上，真正不可再拆的“公理式词”可能只有几十到上百个，但它们必须依赖外部经验才能被理解。这其实很像大模型里的词向量：少数基础维度或基础概念能组合出大量复杂表示，但最终仍需靠语料、图像或交互经验来“接地”。

5. 搭配与同现、共现

搭配，传统语言学讲“搭配”，语文老师也常说我们“搭配不当”。“发挥”…“作用、优势、特长、积极性、想象力”，“发扬”…“传统、精神、作风、美德、文化”，不能随便互换，这是习惯。搭配就是指一种稳定常见的关系。每个词语都有稳定、常见的搭配，这在语言学习特别重要。词典光给出定义和解释是不夠的，不能保证你能用对，所以有用法词典，搭配词典，有名的《英语搭配大词典》提供大量的collocation用例，是每一位深度英语学习者必备，特别是在写作的时候。

通俗说法的“搭配”在语言学里有个术语 “co-occurrence”。

同现，强调“能否共同出现”。在汉语语言学教材里，常指“同现关系 / 同现限制”：某些词或词类允许、要求或排斥另一些词或词类出现。

共现，通常指两个语言单位在同一文本单位里同时出现。比如在一个句子、段落或固定窗口内，A 和 B 同时出现，就可以说它们发生了共现。

语料库语言学里常用“共现频率”、“共现窗口”、“共现网络”这些说法，主要用来观察词与词之间是否经常一起出现。

“同现”和“共现”，实际就是一种语义关系。

6. 语义网络

语言中的词语之间存在庞大复杂的关系，不是一张简单二维表格所能展示，但可以用数学里的图论（Graph Theory）来帮助构建这个错综的语义网络。

语义网络是一种知识表示方法，通过有向图结构中的结点和带标记的弧表达概念及其关系，应用于人工智能领域的自然语言理解与命题信息处理。

无向图 G=(V, E)，其中 V 是非空顶点集，E 是由顶点构成的无序二元组集合 。

无序对 (vi, vj) 与 (vj, vi) 视为同一条边。

边用圆括号或花括号表示，如{vi, vj}。‌‌

有向图是由顶点集、弧集及关联函数构成的有序三元组(V(D), A(D), ψD)，其中每条弧对应一个有序顶点对，用于描述具有方向性的顶点关系。

语义网络通常是有向图。

标准定义里，它由结点和带标记的有向弧组成：

结点表示概念、实体、事件、属性等；

有向弧表示结点之间的语义关系，例如“是一种”、“部分—整体”、“位于”、“导致”等；

方向用来区分关系的两端，比如“猫 → 是一种 → 动物”，不能随意反转为“动物 → 是一种 → 猫”。

在知识表示、人工智能和知识图谱里，语义网络的主流形式是带标签的有向图。

语义网络里，弧上的标签不是“装饰”，它决定了系统能沿这条弧做什么推理。同一个三元组结构 (A, R, B)，如果 R 不同，推理规则就不同。

语义网络图1

其中弧上的“标签”对推理是有意义的，如“isa”（Is-a），“ako”（A-Kind-of），“owns”。

语义网络图2

　7. 加权有向图

语义网络图中，如一个顶点与另外2个或更多节点连接，但与不同节点连接的弧的强度不同：（1）语义概念关联紧密程度不同；（2）两个相连节点同现的概率不同。这些不同，有向图可以用加权表来表征。

用加权有向图来表征，也就是在原有三元组基础上，把弧集扩展成带权弧集：

G=(V,A,w)

其中每条弧 (u,v) 对应一个权重 w(u,v)，用来表示“这条弧的强度”。同一个顶点连向不同节点时，权重不同，就能区分关联紧密程度和同现概率。

表征“语义关联紧密程度”，这类权重通常表示两个概念在语义上有多接近。

表征“同现概率不同”，这类权重来自统计共现，表示两个节点在同一语境中一起出现的倾向。

这类权重更适合表示“统计上是否经常一起出现”，不一定等于语义相同。例如“咖啡”和“杯子”语义并不相同，但在语料中经常共现，所以同现权重高、语义相似度不一定最高；而“猫”和“动物”语义关联强，但未必在每句话里都共现。

形式化表示，可以把语义网络写成：

G=(V,A,R,w)

其中：

V：概念节点；

A：有向弧；

R：弧上的语义关系标签，如 Is-a、Part-of；

w：弧权重。

这样，同一个节点连向不同节点时，弧的粗细、长度或数值都可以不同：权重越高，表示语义越紧密或同现越频繁。

庞大的词汇数量，天量的文本数据，依靠人工标注给定权重显然不可行，也缺乏客观性，于是发展出图神经网络自动学习弧权重的办法。

图神经网络学习弧权重，本质上是把“权重”从事先给定的固定值变成由模型根据节点特征、边特征和任务目标自动计算或优化的可学习量。

GAT是最典型的例子。它不再让所有邻居平等参与聚合，而是对每条边计算一个注意力系数。邻居对节点越相关，权重越大；聚合时这条弧上传来的信息占比就越高。

GNN也不是简单“给每条弧一个固定数字”，而是通过消息传递和反向传播，让弧权重反映：在当前任务下，这个邻居对当前节点的信息贡献有多大。

在语义网络里，词向量提供的是连续相似度；Is-a、Part-of 这类弧标签提供的是离散逻辑关系。两者结合，才更适合做更稳健的推理。

　8. 词向量

电脑看不懂字词，看不懂意义，自然语言处理第一关，就是把字词的意义转化为用数字表示，然后用这些数字来处理。关键一着，就是把字词意义转换为向量。

词向量（Word Vector / Word Embedding）是把自然语言中的“词”映射成多维、稠密、实数向量的技术。核心思想是分布式假设：一个词的意义由它的上下文决定；上下文相似的词，语义也相似，因此它们的向量在空间中应该靠近。

AI在预训练时，词表中的每一个词都获得一个多维的向量。现代大模型并不是直接处理“词”，而是先做 tokenization，把文本切成 token，不同系统的切法标准并不完全一样。token 可以是整词、子词、字符、标点或特殊标记。

模型内部有一张嵌入矩阵，其中：

V：词表大小；

d：向量维度，比如 768、1024、4096 等；

每个 token 有一个唯一 ID；

这个 ID 对应矩阵中的一行，也就是它的初始向量。

所以，词表中的每个 token 确实都有一个多维向量。

但这些向量不是“预先写好”的这些向量一开始通常是随机初始化的，然后在预训练过程中通过大量文本和反向传播不断被更新。

词表里每个 token 有一个初始向量；同一 token 在不同句子中，最终表示可能不同；所以严格说，不是“每个词永远只有一个向量”，而是“每个 token 有一个可查表的初始向量，再被上下文动态改写”。

模型并没有被告知“猫是动物”“狗和猫相似”，而是在不断预测下一个 token 的过程中，让经常出现在相似上下文中的 token 向量逐渐靠近。这是一个学习过程。

词（token）向量：

猫 = [ 0.21, -0.84, 0.33, ...]

狗 = [ 0.19, -0.79, 0.36, ...]

汽车 = [0.12, 0.85, 0.63, …]

训练完成后，词向量空间里语义相近的词会聚在一起，语义距离可以用余弦相似度或欧氏距离衡量。“猫”和“狗”的向量会比较近，“猫”和“汽车”则较远。

余弦相似度通过测量两个向量的夹角的余弦值来度量它们之间的相似性。

余弦相似度高，向量靠近，意味着意义相关度高。反之亦然。

余弦相似度因此可以给出两篇文档在其主题方面的相似度。

在信息检索中，余弦相似度可以给出两篇文档在其主题方面的相似度，也通常用于文本挖掘中的文件比较。

一句话，词向量把词变成可计算、可比较、可运算的“语义坐标”，让机器能够用数学方式处理语言含义。

　9. 维度和语义

早期静态词向量通常 50–300 维；现代大语言模型内部隐藏层维度多在 4096–12288 维，旗舰模型可达 16384 维以上。

早期模型，每个 token 只有一个固定向量，维度主要服务于“语义相似度”和“词类比”等任务，不需要承载深层推理。

现在大模型，每个token的向量维度数千上万。GPT-3（175B）是12288维，DeepSeek-V3是7168维，Qwen3 70B是8192维。

维度数多，反映上下文的信息量就大，推理的能力就越强，消耗的算力也越大。

维度从 300 涨到上万，本质上是：词向量从“只记录词与词是否共现”，变成了“承载上下文、语法、逻辑、推理和内部世界模型的连续表示空间”。

早期Word2Vec、GloVe 的 300 维主要解决一个问题：哪些词经常出现在相似上下文里？

现在的语言大模型，需要向量能同时编码词义、句法、语用、事实知识和推理状态，300 维远远不够。

高维空间可以把不同信息分散到不同方向上，例如：词义；词性；时态；主谓宾角色；因果、条件、否定；实体类型；推理步骤。高维度让模型能并行编码这些细粒度特征。

维度数量大，语义更细，能区分近义词、多义词和领域术语；句法更稳，能更好捕捉主谓宾、修饰关系和长距离依赖；上下文更长，高维表示能维持更稳定的跨句、跨段信息；推理更强，模型更容易在内部形成结构化表示，比如排序、因果链、步骤规划；泛化更好，在足够数据和训练下，超大模型反而可能获得更稳定的泛化行为。当然维度也不是越大越好，那会带来一些别的问题。

向量所表征的语义类型

“语义”其实就是“关系”，那么这些“向量”表征了哪些类型的语义关系呢？撮要列表如下：

　10.动态的向量

大语言模型里token的向量不是固定不变的，而是动态的。

与哪些位置的 token 相关？

在大语言模型里，一个 token 的最终向量并不是只和它自己有关，而是和当前上下文窗口里几乎所有其他 token都有关。

由此我们可以想像这将是一个何等巨大的矩阵。

维度的建立

每个token，通过什么机制建立这些关系呢？

核心是自注意力。每个 token 会被投影成三组向量：

Query Q：它“想问什么”；

Key K：它“能被别人检索到什么”；

Value V：它“实际贡献什么信息”。

当前 token 用自己的 Q 去和所有 token 的 K 做点积，算出注意力分数，再对 V 做加权求和。

多头注意力则让模型同时从多个子空间看关系，比如一个头看指代，一个头看句法，一个头看语义搭配。

语义网络里的 Is-a、Part-of、Causes 是显式、离散的关系弧；大语言模型的 token 向量则是把这些关系压缩进一个连续高维空间里。

区别在于：

语义网络告诉你：A 和 B 之间有某种明确关系；

词向量告诉你：A 和 B 在上下文统计中有多相关、多相似、多可替换；

大模型向量更进一步：同一个词在不同句子里，会因上下文不同而获得不同向量。

所以，大语言模型的 token 向量并不是简单地“记住每个词是什么意思”，而是把词义、句法、位置、指代、搭配、篇章关系一起压缩进了一个动态更新的向量表示里。

11.小结

我们语言学研究语义•句法关系，难以与语言大模型相比主要有三个方面。

一是粗细

语言学研究的很粗，只有几个维度。比如“吃”这个词，我们只能说它是及物动词，后面可带个宾语，表示可以吃的东西，前面主语是有生命的人或动物。主宾语语义上可能是施事、受事、工具、方式、处所等等，总共就十来个要素类型。而词向量的维度数百数千乃至过万，获取了颗粒度很细的语义、语法、语用、语篇多类型天量信息。

二是远近

语言学对某个词语或短语的分析，一般只能考虑其与句内前后部分的关联，最多也只能考虑到同一段落、篇章之內。但大语言模型每个token的信息，要涉及很远距离的语篇，只要在窗口之內。100万字长窗囗的模型，理论上每个 token 都要和前面所有可见100万 token “逐一交互”，计算相似度，获取遥远的相关信息。传统语言学的上下文语境，难以跨越如此远的距离，更难以形式化、数量化。当然大模型也有一些机制，避免这种硬算可能带来的浪费。

三是动静

大语言模型每个token的向量，既有初始向量，更有最终向量。每个token的向量都不是固定的，而是在运行过程中不断更新、积累、调整，是动态的。

黄国营/文