2026/10/2 7:11:53
week4
目标:
尝试用pytorch实现一个transformer层。
内容:
import math
import torch
import torch.nn as nn# 1. 多头自注意力机制
class MultiHeadSelfAttention(nn.Module):def __init__(self, d_model32, num_heads4):super().__init__()assert d_model % …