仅用4块GPU、不到3天训练出开源版GPT-4o，这是国内团队最新研究

LLaMA-Omni能够接收语音指令，同步生成文本和语音响应，响应延迟低至 226ms，低于 GPT-4o 的平均音频响应延迟 320ms。

以 ChatGPT 为代表的大型语言模型（LLM）已成为强大的通用任务解决器，但大多数 LLM 仅支持基于文本的交互，这限制了它们在不适合文本输入输出的场景中的应用。GPT-4o 的出现使得通过语音与 LLM 进行交互成为可能。然而，开源社区对于构建此类基于 LLM 的语音交互模型仍然缺乏探索。

实现与 LLM 进行语音交互最简单的方法是采用基于自动语音识别（ASR）和语音合成（TTS）模型的级联系统，其中 ASR 模型将用户的语音指令转录为文本， TTS 模型将 LLM 的响应合成为语音。

然而，由于级联系统依次输出转录文本、文本响应和语音响应，整个系统往往具有较高的延迟。相比之下，一些多模态语音 - 语言模型将语音离散化为 token 并扩展 LLM 的词表以支持语音输入和输出。这种语音 - 语言模型理论上可以直接从语音指令生成语音响应，无需生成中间文本，从而实现极低的响应延迟。然而，在实践中，由于涉及语音之间复杂的映射，直接语音到语音的生成通常极具挑战性。

为了解决上述问题，来自中国科学院计算技术研究所、中国科学院大学的研究者提出了一种新型模型架构 ——LLaMA-Omni，它可以实现与 LLM 的低延迟、高质量交互。

论文：https://arxiv.org/pdf/2409.06666

代码：https://github.com/ictnlp/LLaMA-Omni

模型：https://huggingface.co/ICTNLP/Llama-3.1-8B-Omni

论文标题：LLaMA-Omni: Seamless Speech Interaction with Large Language Models

LLaMA-Omni 由语音编码器、语音适配器、LLM 和流式语音解码器组成。用户的语音指令由语音编码器进行编码，经过语音适配器后输入到 LLM。LLM 直接从语音指令中解码文本响应，无需首先将语音转录为文本。语音解码器是一个非自回归（NAR）流式 Transformer，它将 LLM 的输出表示作为输入，并使用连接时序分类（Connectionist Temporal Classification, CTC）来预测与语音响应相对应的离散单元序列。

在推理过程中，当 LLM 自回归生成文本响应时，语音解码器同步生成相应的离散单元。为了更好地契合语音交互场景的特点，该研究通过重写现有的文本指令数据并进行语音合成，构建了名为 InstructS2S-200K 的数据集。实验结果表明，LLaMA-Omni 可以同步生成高质量的文本和语音响应，延迟低至 226ms。

此外，与 SpeechGPT 等语音 - 语言模型相比，LLaMA-Omni 显著减少了所需的训练数据和计算资源，从而能够基于最新的 LLM 高效开发强大的语音交互模型。

LLaMA-Omni 模型概览

如图 2 所示，LLaMA-Omni 由语音编码器、语音适配器、LLM 和语音解码器组成，其中将用户的语音指令、文本响应和语音响应分别表示为 X^S、Y^T 和 Y^S。

语音编码器

该研究使用 Whisper-large-v3 （Radford et al., 2023）的编码器作为语音编码器 E。Whisper 是一种在大量音频数据上训练的通用语音识别模型，其编码器能够从语音中提取有意义的表征。

具体来说，对于用户的语音指令 X^S，编码后的语音表征由 H = ε(X^S) 给出，其中 H = [h_1, ..., h_N ] 是长度为 N 的语音表征序列，语音编码器的参数在整个训练过程中都被冻结。

语音适配器

为了使 LLM 能够理解输入语音，LLaMA-Omni 结合了一个可训练的语音适配器 A，它将语音表征映射到 LLM 的嵌入空间中。语音适配器首先对语音表征 H 进行下采样以减少序列长度。具体来说，每 k 个连续帧沿特征维度拼接：

接下来，H′ 通过具有 ReLU 激活的 2 层感知器，得到最终的语音表征 S：

大型语言模型

该研究使用 Llama-3.1-8B-Instruct（Dubey et al., 2024）作为 LLM M，它是目前 SOTA 开源 LLM，具有很强的推理能力，并且与人类偏好进行了对齐。prompt 模板 P (・) 如图 3 所示。

将语音表征序列 S 填充到对应位置，然后将整个序列 P (S) 输入到 LLM 中。最后，LLM 直接根据语音指令自回归生成文本响应 Y^T = [y^T_1 , ..., y^T_M]，并使用交叉熵损失进行训练：

语音解码器

为了与文本响应同步生成语音响应，LLaMA-Omni 在 LLM 之后添加了一个流式语音解码器 D。它由几个标准 Transformer 层组成，其架构与 LLaMA (Dubey et al., 2024) 相同，每个层都包含一个因果自注意力模块和一个前馈网络。

语音解码器以非自回归方式运行，将 LLM 的输出表示经过上采样后作为输入，并生成与语音响应相对应的离散单元序列。

训练

如图 2 所示，LLaMA-Omni 采用两阶段训练策略。第一阶段训练模型直接根据语音指令生成文本响应的能力。具体来说，语音编码器被冻结，语音适配器和 LLM 使用公式 (3) 中的目标 L_LLM 进行训练。语音解码器在此阶段不参与训练。第二阶段训练模型来生成语音响应。在此阶段，语音编码器、语音适配器和 LLM 都被冻结，仅使用公式 (5) 中的目标 L_CTC 来训练语音解码器。

推理

语音指令数据的构建：INSTRUCTS2S-200K

为了训练 LLaMA-Omni，需要构建三元组数据：语音指令，文本响应，语音响应。