Большие языковые модели обычно генерируют текст по одному токену за раз. Хотя этот авторегрессивный подход обеспечивает высокое качество и следование инструкциям, он может быть неэффективным для локальных пользователей, поскольку графические процессоры часто тратят больше времени на перемещение весов из памяти, чем на параллельные вычисления. DiffusionGemma от Google DeepMind идет другим путем, генерируя и уточняя блоки токенов […]