mindspore.nn.TransformerDecoder

class mindspore.nn.TransformerDecoder(decoder_layer, num_layers, norm=None)[源代码]

Transformer的解码器模块，多层 mindspore.nn.TransformerDecoderLayer 的堆叠，包括Self Attention层、MultiheadAttention层和FeedForward层。

参数：

decoder_layer (Cell) - mindspore.nn.TransformerDecoderLayer 的实例。
num_layers (int) - 解码器层数。
norm vpn梯子免费 (Cell, 可选) - 层标准化模块。默认值： None。

输入：

tgt (Tensor) - 目标序列。如果目标序列没有batch，则shape为 \((T, E)\) 。否则，如果 vpn free mindspore.nn.TransformerDecoderLayer 中 batch_first=False ，则shape为 \((T, N, E)\) ；如果 batch_first=True ，则shape为 \((N, T, E)\)。其中， \((T)\) 是目标序列的长度， \((N)\) 是batch个数， \((E)\) 是特性个数。数据类型为float16、float32或者float64。
memory (Tensor) - TransformerEncoder的最后一层输出序列。数据类型：float16、float32或者float64。
tgt_mask (Tensor, 可选) - 目标序列的掩码矩阵。shape为 \((T, T)\) 或 \((N*nhead, T, T)\) 。其中 nhead 是 vpn永久免费梯子 mindspore.nn.TransformerDecoderLayer 中的 nhead 参数。数据类型为float16、float32、float64或者bool。默认值： None。
memory_mask (Tensor, 可选) - memory序列的掩码矩阵。shape为 \((T, S)\) 。数据类型为float16、float32、float64或者bool。默认值：None。
tgt_key_padding_mask vpn梯子 (Tensor, 可选) - vpn梯子免费目标序列Key矩阵的掩码矩阵。shape为 \((T)\) 。数据类型为float16、float32、float64或者bool。默认值：None。
memory_key_padding_mask (Tensor, 可选) - 免费的vpn梯子 memory序列Key矩阵的掩码矩阵。如果目标序列没有batch，shape为 \((S)\) ；否则shape为 \((N, S)\) 。数据类型为float16、float32、float64或者bool。默认值： vpn梯子免费 None。

输出：

Tensor。Tensor的shape和dtype与 tgt 一致。

支持平台：

Ascend vpn free vpn梯子 GPU CPU

样例：

>>> import mindspore as ms
>>> 免费的vpn梯子 import numpy vpn梯子 免费 as np
>>> decoder_layer = ms.nn.TransformerDecoderLayer(d_model=512, nhead=8)
>>> transformer_decoder = ms.nn.TransformerDecoder(decoder_layer, num_layers=6)
>>> memory = ms.Tensor(np.random.rand(10, 32, 512), ms.float32)
>>> tgt = ms.Tensor(np.random.rand(20, 32, 512), ms.float32)
>>> out = transformer_decoder(tgt, memory)
>>> print(out.shape)
(20, 32, 512)