创新及产品管理能力建设项目 – 第 55 页 – 联合国创新及产品管理能力建设项目(UNSDGT)

什么是自编码模型？

自编码模型（Autoencoder）是一种无监督学习的神经网络架构，旨在通过编码器和解码器的协同工作学习输入数据的紧凑表示：编码器将原始输入压缩成一个低维潜在编码，解码器则从这个编码重建输入数据，模型通过最小化重建误差来优化，从而捕获数据的 […]

自回归模型（Autoregressive Model）是一种基于序列数据的预测框架，其核心原理是将当前时刻的值建模为过去若干时刻值的线性组合，常用于时间序列分析或生成任务。在人工智能领域，它构成了许多生成模型的基础，例如语言模型中每个词的生 […]

Encoder-Decoder模型是一种深度学习架构，专为处理序列输入到序列输出的任务而设计。在这种模型中，编码器部分接收输入序列（如文本句子），通过神经网络将其转换为一个固定维度的上下文向量，该向量捕捉了输入的整体语义信息；随后，解码器部 […]

Seq2Seq模型（序列到序列模型）是一种深度学习架构，专为处理输入序列到输出序列的映射任务而设计。它由编码器和译码器两部分组成：编码器将输入序列（如一句话）压缩为一个固定长度的上下文向量，译码器则基于该向量逐步生成输出序列（如翻译后的句子 […]

长短期记忆网络（Long Short-Term Memory, LSTM）是一种专为处理序列数据设计的递归神经网络变体，通过引入输入门、遗忘门和输出门的门控机制，有效解决了传统RNN在长序列中梯度消失的问题，使网络能够有选择性地记住长期依赖 […]

门控循环单元（Gated Recurrent Unit, GRU）是一种改进的循环神经网络结构，由Cho等人在2014年提出，旨在解决标准RNN的梯度消失问题。它通过引入更新门和重置门机制，动态控制信息在时间序列中的流动：更新门决定保留多少 […]

注意力机制（Attention Mechanism）是深度学习中一种关键技术，它通过动态地为输入数据的各部分分配权重，使模型能够专注于与当前任务最相关的信息，从而提升处理效率和准确性。在自然语言处理等任务中，这种机制解决了长序列建模中的信息 […]

记忆机制在人工智能领域，特指系统通过特定设计来存储、管理和检索信息的能力，旨在模拟人类记忆的某些方面，以支持连续交互中的状态保持和信息引用。在大型语言模型（如GPT系列）中，这种机制通常表现为上下文窗口或外部知识库集成，允许模型在对话过程中 […]

长上下文模型(Long Context Model)是指一种人工智能模型，特别设计用于高效处理和理解大量上下文信息，如在自然语言处理任务中能够分析长文本序列（例如整篇文档或对话历史）而不受传统模型输入长度限制的影响。这类模型通过扩展输入窗口 […]

上下文窗口在人工智能的自然语言处理领域，是指模型在处理序列数据（如文本）时能够同时考虑的最大上下文长度。它定义了模型在生成输出时可以“看到”的邻近信息范围，对于维持对话连贯性、提升文本生成质量至关重要，因为较短的窗口可能导致信息碎片化，而较 […]