语义即向量（20261009）

G.HUANG9605

“语义即向量”，在以语言大模型为代表的AI时代，已成共识。“意义是什么”、“词义是什么”？这些语言学的老问题，有了全新的、更深刻的认知。

“语义即向量”并非某篇论文里一个突然被发明的口号，而是一个在计算语言学与人工智能领域逐渐形成、并最终成为共识的核心思想。它有一个清晰的演进脉络。

一 思想源头：分布假设与向量空间模型

这一思想的根基可以追溯到两个关键概念：

1.分布假设 (Distributional Hypothesis)：由语言学家 Zellig Harris (1954) 和 J.R. Firth (1957) 提出，核心观点是“一个词的意义由其上下文决定”。这为用上下文（即向量）来量化语义提供了理论基础。

2.向量空间模型 (Vector Space Model)：由 Gerard Salton 等人在 1970 年代提出，最初用于信息检索。它首次将文档表示为高维空间中的向量，为“语义即向量”提供了数学框架。

二 关键里程碑：从传统模型到神经网络

真正让“语义即向量”深入人心的是以下几次关键突破：

1. 潜在语义分析 (LSA/LSI)：Deerwester 等人 (1988, 1990) 提出，通过奇异值分解（SVD）将词和文档映射到低维“语义空间”，首次大规模验证了向量能捕捉深层语义关联。

2. 神经词嵌入的开端：Bengio 等人 (2003) 的论文首次引入“连续分布式向量表示”来学习词嵌入，开启了用神经网络学习语义向量的时代。

3. Word2vec 的引爆：Mikolov 等人 (2013) 在 Google 推出 Word2vec 模型（包括 CBOW 和 Skip-gram），因其高效和能捕捉“国王-男人+女人≈女王”这类语义关系而引发广泛关注，使“语义即向量”成为AI领域的流行认知。

“语义即向量”是分布假设、向量空间模型、LSA、神经词嵌入等一系列理论和技术长期演进的结果，并非单一论文的独立提出。它代表了从理论到实践，最终让机器通过向量运算来理解和处理语义的完整历程。