RSS VentureBeat
팔로우
Google의 DiffusionGemma는 256개의 토큰을 병렬로 생성하며 진행하면서 자체 수정합니다.
생성형 AI 이미지 생성기는 노이즈에서 시작하여 전체 이미지를 반복적으로 개선하는 확산을 사용합니다. 이 확산 원리를 대규모 텍스트 생성에 적용하는 것은 이전에 어려웠습니다. 표준 언어 모델은 타자기처럼 토큰별로 텍스트를 생성하므로 로컬 배포 시 GPU 유휴 시간이 발생할 수 있습니다. Google의 DiffusionGemma는 프로덕션 규모의 텍스트 생성에 확산을 적용하는 실험적인 오픈 소스 모델입니다. 256개 토큰 블록에서 병렬로 작동하며, 각 토큰 위치는 다른 모든 토큰에 주의를 기울여 생성 속도를 크게 향상시킵니다. DiffusionGemma는 특히 낮은 배치 크기에서 GPU에서 표준 모델보다 최대 4배 빠르게 텍스트를 생성합니다. 이 모델은 무작위 플레이스홀더 토큰에서 시작하여 전체 블록을 점진적으로 개선하여 자체 수정 및 양방향 컨텍스트를 허용합니다. 이 아키텍처는 스도쿠 퍼즐 해결에 성공한 것처럼 제약된 생성 작업에 유리하다는 것이 입증되었습니다. 더 빠르지만, DiffusionGemma의 전반적인 출력 품질은 Google에서 표준 Gemma 4보다 낮다고 인정했습니다. 속도 이점은 주로 GPU 컴퓨팅이 풍부한 로컬 추론 및 낮은 동시성 시나리오에서 나타납니다. 높은 처리량의 클라우드 서비스의 경우 이점은 줄어들고 표준 자기회귀 모델이 더 효율적입니다. DiffusionGemma는 순차적 토큰 예측이 아닌 병렬 블록 노이즈 제거에 중점을 둔 생성의 패러다임 전환을 나타냅니다.
