Transformer 是用以完成机器翻译等 Seq2Seq 学习任务的一种全新网络结构,其完全使用 attention 机制来实现序列到序列的建模,具有计算复杂度小、并行度高、容易学习长程依赖等优势。
新闻来源:
深度学习模型库入门:机器翻译 Transformer