除了生成文本，还可以补全图像、生成音频序列的稀疏 Tra

AI 科技评论按：OpenAI 设计了一种新的 Transformer 模型：稀疏 Transformer（Sparse Transformer），它在序列预测任务中取得了新的表现记录，不论是预测文本、像素还是声音序列。它在注意力机制的基础上做了算法改进，可以在比以前长 30 倍的序列中提取模式。

AI 科研中现存挑战之一就是对复杂数据中的长距离、细微的互相关联性做建模，比如图像、视频、音频序列内部存在的关联性。原始的 Transformer 中的自我注意力机制有着 O(N²) 的计算复杂度，OpenAI 新提出的稀疏 Transformer 经过重新设计，把计算复杂度降低到了 O(N√N)，以及加入了其它一些改进，让它可以处理更长的序列甚至更复杂的数据类型。在此之前，处理这些数据的模型要么是针对单独一种数据类型专门设计的，要么很难处理几千个元素以及更长的序列。而 OpenAI 的稀疏 Transformer 可以用数百层的模型处理上万个元素长的序列额，并且在多个不同的任务中取得最佳表现。 AI 科技评论根据 OpenAI 技术博客介绍如下。

深层注意力

在 Transformer 模型中，每一个输出元素都与每一个输入元素相连接，每个连接的权重是根据不同的状况动态计算的，这个过程就叫做注意力。相比连接方式固定的做法，研究人员们相信这样能够让 Transformer 更灵活，但代价就是在实际使用中它需要为每一层、每一个注意力头建立一个 N x N 大小的注意力矩阵，当输入图像、音频波形等含有大量元素的序列时会带来大量的内存开销。

原标题：除了生成文本，还可以补全图像、生成音频序列的稀疏 Transformers|模型|注意力|稀疏|