创新及产品管理能力建设项目 – 第 48 页 – 联合国创新及产品管理能力建设项目(UNSDGT)

什么是语义相似度？

语义相似度是指两个文本单元（如词语、句子或段落）在意义上相近程度的量化评估，它关注概念、意图或上下文的匹配度而非表面的词汇或语法形式。例如，“购买手机”和“选购智能手机”在语义上高度相似，因为它们都表达获取移动设备的意图；这种相似性度量在自 […]

跨语言嵌入是一种自然语言处理技术，它通过将不同语言的词汇、短语或句子映射到同一个共享的向量空间中，使得语义相似的表达在不同语言中拥有相近的向量表示，从而实现跨语言语义对齐和理解。这种技术消除了语言间的壁垒，使得模型能够统一处理多语言任务，而 […]

多语言嵌入（Multilingual Embeddings）是一种人工智能技术，它通过训练模型为多种语言的文本生成共享的向量表示，使得不同语言中语义相似的单词或句子在连续向量空间中彼此接近，从而促进跨语言的理解、迁移学习和任务处理。这种技术 […]

句向量（Sentence Embedding）是一种将句子转换为固定长度的数值向量表示的技术，旨在捕捉句子的语义信息，使相似含义的句子在向量空间中彼此接近，从而便于机器进行相似度计算、分类或检索等自然语言处理任务。在AI产品开发的实际落地 […]

上下文词向量（Contextual Word Embeddings）是指在自然语言处理中，词向量的表示不再固定不变，而是根据词在句子或文本中的具体上下文动态生成的一种技术。与传统静态词嵌入不同，上下文词向量能捕捉词的多义性和语境依赖，例如同 […]

词向量（Word Vector）是自然语言处理中的一种核心技术，它将单词表示为高维实数向量，这些向量通过机器学习模型（如Word2Vec或GloVe）在大量文本数据上训练得到，能够捕捉单词的语义相似性和语法关系；例如，“国王”和“王后”的向 […]

旋转位置编码（Rotary Positional Embedding, RoPE）是一种专为Transformer架构设计的位置编码技术，它通过旋转操作将序列中的位置信息融入键和查询向量中，从而高效捕捉相对位置关系。相较于传统绝对位置编码， […]

相对位置编码（Relative Position Encoding）是一种在序列模型中用于表示输入元素之间相对距离的技术，它不依赖于固定的绝对位置索引，而是基于元素之间的偏移量来编码位置关系。这种机制广泛应用于Transformer架构的自 […]

掩码注意力（Masked Attention）是一种在自注意力机制中应用的技术，通过在注意力计算中引入一个掩码矩阵来屏蔽序列中的特定位置，从而限制模型只能关注序列中当前或过去的信息，而不能访问未来的位置。这种设计在训练序列模型（如语言模型） […]

因果注意力（Causal Attention）是一种在注意力机制中实现时间因果性的关键技术，通过引入掩码（masking）限制模型在处理序列数据时只关注当前位置之前的元素，从而确保预测过程中不会“偷看”未来信息。这种机制在自回归模型如语言模 […]