实验

在Transformer模型中，通过剪枝早期子网络，最多可以减少49%的内存占用，并且保持性能。这验证了一种更快的训练策略，适用于ViT和GPT-2等模型。