AI相关概念名词解释大全

Alignment​

人工智能对齐（英语：AI alignment）是指引导人工智能系统的行为，使其符合设计者的利益和预期目标。一个已对齐的人工智能的行为会向着预期方向发展；而未对齐的人工智能的行为虽然也具备特定目标，但此目标并非设计者所预期。

Attention ​

在神经网络的上下文中，注意力机制有助于模型在生成输出时专注于输入的相关部分。

Backpropagation​

“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。

Bias​

AI 模型对数据所做的假设。“偏差方差权衡”是模型对数据的假设与给定不同训练数据的模型预测变化量之间必须实现的平衡。归纳偏差是机器学习算法对数据的基础分布所做的一组假设。

CLIP​

CLIP (Contrastive Language–Image Pretraining)，由OpenAI开发的AI模型，用于连接图像和文本，使其能够理解和生成图像的描述。

CNN​

Convolutional Neural Network (CNN)，一种深度学习模型，通过应用一系列过滤器来处理具有网格状拓扑（例如图像）的数据。此类模型通常用于图像识别任务。

CV​

计算机视觉（Computer vision）是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，用计算机处理成为更适合人眼观察或传送给仪器检测的图像。

ChatGPT​

ChatGPT是OpenAI开发的人工智能聊天机器人程序，于2022年11月推出。该程序使用基于GPT-3.5、GPT-4架构的大型语言模型并以强化学习训练。

Chatbot​

一种计算机程序，旨在通过文本或语音交互模拟人类对话。聊天机器人通常利用自然语言处理技术来理解用户输入并提供相关响应。

CoT​

思维链提示(CoT，Chain-of-thought) 通过提示 LLM 生成一系列中间步骤来提高 LLM 的推理能力，这些中间步骤会导致多步骤问题的最终答案。该技术由谷歌研究人员于 2022 年首次提出。

Compute ​

用于训练或运行 AI 模型的计算资源（如 CPU 或 GPU 时间）。

Connectionism​

联结主义（连接主义）也被称为神经网络或基于学习的AI。主要观点是，知识是在大量的连接中存储的，这些连接模拟了大脑的神经网络。这种方法依赖于从数据中学习和适应，而不是依赖预定义的规则。连接主义AI的典型例子是深度学习。深度学习是一种人工神经网络，它可以通过学习大量的数据来识别模式。

Cross-modal generalization​

"跨模态泛化"（cross-modal generalization）是一种机器学习能力，指的是模型能从一种模态（或类型）的数据中学习，并将这些学习应用到另一种模态的数据上。这种泛化能力对于人工智能的发展尤其重要，因为它模仿了人类如何在不同的感知领域（如视觉、听觉、触觉）之间进行信息传递和学习的方式。​

例如，人类可以看到一只狗（视觉模态），听到狗的叫声（听觉模态），并将这两种经验联系起来。然后，当我们只听到狗的叫声但看不到狗时，我们仍然能知道那是狗的叫声。这就是一种跨模态泛化的例子。​

在机器学习中，跨模态泛化可以应用于许多不同的任务和领域。例如，在自然语言处理和计算机视觉的交叉领域，一个任务可能是生成图像的描述（或从描述生成图像）。这需要模型能够理解并在语言和视觉这两种模态之间进行泛化。其他应用包括语音识别（将音频信号转换为文本）和音频源分离（从混合的音频信号中分离出不同的声源）等。​

跨模态泛化是一个具有挑战性的研究领域，因为不同的模态可能具有非常不同的特性和结构。然而，通过研究这个问题，我们可以开发出更强大、更灵活的AI系统，这些系统能够更好地理解和处理复杂的现实世界数据。

Data Augmentation​

通过添加现有数据的略微修改的副本来增加用于训练模型的数据量和多样性的过程。

Deep Learning​

深度学习是机器学习的分支，是一种以人工神经网络为架构，对资料进行表征学习的算法。深度学习中的形容词“深度”是指在网络中使用多层。

DeepMind​

DeepMind是一家英国的人工智能公司。公司创建于2010年，最初名称是DeepMind科技，在2014年被谷歌收购。DeepMind于2014年开始开发人工智能围棋软件AlphaGo，2016年3月战胜李世乭（이세돌）9段，震惊世界。

Diffusion Models​

机器学习中，扩散模型或扩散概率模型是一类潜变量模型，是用变分估计训练的马尔可夫链。计算机视觉中，这意味着通过学习逆扩散过程训练神经网络，使其能对叠加了高斯噪声的图像进行去噪。它是DALL-E、Stable Diffusion和Midjourney的基础模型。

Double Descent​

机器学习中的一种现象，其中模型性能随着复杂性的增加而提高，然后变差，然后再次提高。

Embedding

让我们想象一下，你正在玩一个叫做"猜词"的游戏。你的目标是描述一个词，而你的朋友们要根据你的描述猜出这个词。你不能直接说出这个词，而是要用其他相关的词来描述它。例如，你可以用"热"、"喝"、"早餐"来描述"咖啡"。这种将一个词转化为其他相关词的过程，就很像计算机科学中的"embedding"。​

在计算机科学中，"embedding"是一种将对象（如词语、用户或商品）映射到数值向量的技术。这些向量捕捉了对象之间的相似性和关系，就像你在"猜词"游戏中使用相关词描述一个词一样。​

Embedding 的核心属性是把高维的，可能是非结构化的数据，转化为低维的，结构化的向量。这样做的目的是让机器可以理解和处理这些数据，从而进行有效的学习和预测。​

以推荐系统为例，如果我们想要推荐相似的商品给用户，我们可以用 embedding 技术把每个商品转化为一个向量。在这个向量空间中，相似的商品会有相似的向量。当一个用户喜欢某个商品时，我们就可以找到向量空间中最接近这个商品的其他商品，推荐给用户。这就是 embedding 在现实生活中的一个应用。

Emergence​

涌现（英语：emergence）或称创发、突现、呈展、演生，是一种现象，为许多小实体相互作用后产生了大实体，而这个大实体展现了组成它的小实体所不具有的特性。涌现在整合层次和复杂系统理论中起着核心作用。例如，生物学中的生命现象是化学的一个涌现。

End-to-End Learning​

一种不需要手动设计功能的机器学习模型。该模型只是提供原始数据，并期望从这些输入中学习。

Expert Systems​

人工智能技术的应用，为特定领域的复杂问题提供解决方案。

Few-Shot​

小样本学习也叫做少样本学习(low-shot learning), 其目标是从少量样本中学习到解决问题的方法. 与小样本学习相关的概念还有零样本学习(zero-shot learning)等. 零样本学习是指在没有训练数据的情况下, 利用类别的属性等信息训练模型, 从而识别新类别。

Fine-Tuning​

微调是迁移学习的一种常用技术。目标模型复制了源模型上除掉了输出层外的所有模型设计及其参数，并基于目标数据集微调这些参数。微调在自然语言处理(NLP) 中很常见，尤其是在语言建模领域。像OpenAI的GPT这样的大型语言模型可以在下游 NLP 任务上进行微调，以产生比预训练模型通常可以达到的更好的结果。

Fitting​

在机器学习和统计学中，拟合（fitting）是指使用模型来尽可能准确地描述或预测数据的过程。理想的拟合是模型能够很好地捕捉到数据的基本结构和模式，同时也能够处理一些随机的、无法预测的噪声。

Forward Propagation​

在神经网络中，前向传播是输入数据被馈送到网络并通过每一层（从输入层到隐藏层，最后到输出层）以产生输出的过程。网络对输入应用权重和偏差，并使用激活函数生成最终输出。

Foundation Model​

在广泛数据上训练的大型AI模型，旨在适应特定任务。

GAN​

Generative Adversarial Network (GAN)，一种机器学习模型，用于生成类似于某些现有数据的新数据。它使两个神经网络相互对抗：一个“生成器”，创建新数据，另一个“鉴别器”试图将数据与真实数据区分开来。

GPT-4​

Generative Pre-trained Transformer 4，简称GPT-4，是由OpenAI公司开发并于2023年3月14日发布的自回归语言模型。GPT-4从各方面来说都优于OpenAI之前发布的GPT-3和GPT-3.5模型。

GPU​

GPU (Graphics Processing Unit)，一种特殊类型的微处理器，主要用于快速渲染图像以输出到显示器。GPU 在执行训练和运行神经网络所需的计算方面也非常高效。

Generalization ability​

“泛化能力”（generalization ability）的含义。在机器学习中，一个模型的泛化能力是指其在新的、未见过的数据上的表现能力。

Generalize​

广义化（英语：Generalize），又称一般化、通常化、普遍化、概念化，与之相对的是特殊化。概括作用[1]是指将事物的定义进行修改或者补充以使其适用于更加大的范围，过程会伴随将该主体的定义或概念抽象化。​

一个将事物广义化的简单例子是归类。例如：将“大雁”广义化（归类）之后是“鸟类”，将“鸟类”广义化（归类）之后是“动物”。

Generative AI / Gen AI​

AI 的一个分支，专注于创建模型，这些模型可以根据现有数据的模式和示例生成新的原创内容，例如图像、音乐或文本。

Gradient Descent ​

在机器学习中，梯度下降是一种优化方法，它根据模型损失函数的最大改进方向逐渐调整模型的参数。例如，在线性回归中，梯度下降通过反复细化线的斜率和截距来最小化预测误差，从而帮助找到最佳拟合线。

Hallucinate​

在人工智能的背景下，幻觉是指模型生成的内容不是基于实际数据或与现实明显不同的现象。

Hidden Layer​

神经网络中不直接连接到输入或输出的人工神经元层。

Hyperparameter Tuning​

为机器学习模型的超参数（不是从数据中学习的参数）选择适当值的过程。

Inference​

使用经过训练的机器学习模型进行预测的过程。

Instruction Tuning​

机器学习中的一种技术，其中模型根据数据集中给出的特定指令进行微调。

Knowledge Distillation​

数据蒸馏技术在深度学习领域中被广泛应用，特别是在模型压缩和模型部署方面。它可以帮助将复杂的模型转化为更轻量级的模型，并

LLM​

large language model (LLM)大语言模型是由具有许多参数（通常为数十亿或更多权重）的神经网络组成的语言模型，使用自监督学习或半监督学习对大量未标记文本进行训练。

LSTM​

长短期记忆（英语：Long Short-Term Memory，LSTM）是一种时间循环神经网络（RNN），论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

Latent Space​

在机器学习中，该术语是指模型（如神经网络）创建的数据的压缩表示形式。类似的数据点在潜在空间中更接近。

Loss Function​

Loss Function (or Cost Function) 也叫成本函数，机器学习模型在训练期间试图最小化的函数。它量化了模型的预测与真实值的距离。

Machine Learning​

机器学习是人工智能的一个分支。人工智能的研究历史有着一条从以“推理”为重点，到以“知识”为重点，再到以“学习”为重点的自然、清晰的脉络。显然，机器学习是实现人工智能的一个途径之一，即以机器学习为手段，解决人工智能中的部分问题。

Mixture of Experts​

一种机器学习技术，其中训练多个专门的子模型（“专家”），并以依赖于输入的方式组合它们的预测。

Multimodal​

在人工智能中，这是指可以理解和生成多种类型数据（如文本和图像）信息的模型。

NLP​

NLP是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言处理包括多方面和步骤，基本有认知、理解、生成等部分。

NeRF​

NeRF (Neural Radiance Fields)，一种使用神经网络从 2D 图像创建 3D 场景的方法。它可用于逼真的渲染、视图合成等。

Neural Network​

一种受人脑启发的人工智能模型。它由连接单元或节点（称为神经元）组成，这些单元或节点按层组织。神经元接受输入，对它们进行一些计算，并产生输出。

Objective Function​

机器学习模型在训练期间寻求最大化或最小化的函数。

OpenAI​

OpenAI是美国一个人工智能研究实验室，由非营利组织OpenAI Inc，和其营利组织子公司OpenAI LP所组成。OpenAI 进行 AI 研究的目的是促进和发展友好的人工智能，使人类整体受益。现任CEO为Sam Altman。

Overfitting​

过拟合（overfitting）是拟合过程中的一个常见问题，发生在模型过于复杂，以至于它开始“记住”训练数据中的随机噪声，而不仅仅是捕捉基本模式。过拟合的模型在训练数据上的表现往往非常好，因为它甚至能够准确地预测出训练数据中的噪声。然而，当应用到新的、未见过的数据上时，过拟合的模型的表现通常就会下降，因为噪声是随机的，无法从训练数据“推广”到新数据。​

例如，考虑一个简单的线性回归问题，我们试图找到一条线来拟合一组点。如果我们选择一个高度复杂的多项式模型（例如，一个20阶的多项式），我们可能能够找到一条通过所有点的曲线，但这并不意味着我们找到了一个好的模型。这条曲线可能会在数据点之间有很大的波动，这是由于模型试图拟合数据中的随机噪声。如果我们有新的数据点需要预测，这个过拟合的模型可能会给出很糟糕的预测结果。​

为了防止过拟合，我们可以使用一系列的技术，例如交叉验证（cross-validation）、正则化（regularization）、早停（early stopping）等。此外，我们还需要确保我们的模型的复杂度与我们的数据的复杂度相匹配，避免使用过于复杂的模型来拟合简单的数据

Paradigm​

在现代科学史上，该术语是由托马斯·S·库恩 (Thomas S. Kuhn) 率先提出并使其广为人知。它描述了在一个历史时期构成一门科学学科的基本概念的总和。这种“基本世界观”的例子是地心世界观或日心世界观。这些基本观点表明哪些问题在科学上是允许的，哪些可以被视为科学上令人满意的解决方案。根据库恩的说法，自然科学中的科学革命与范式的变化有关。

Parameters​

在机器学习中，参数是模型用于进行预测的内部变量。它们是在训练过程中从训练数据中学习的。例如，在神经网络中，权重和偏差是参数。

Pre-training​

训练机器学习模型的初始阶段，其中模型从数据中学习一般特征、模式和表示，而无需具体了解稍后将应用于的任务。这种无监督或半监督学习过程使模型能够对底层数据分布有基本的了解，并提取有意义的特征，这些特征可用于随后对特定任务进行微调。