Towards Data Science | Medium на русском
Подписаться
Сколько на самом деле стоит запустить локальную LLM? (Евро за миллион токенов, измерено)
Я измерил фактическое потребление электроэнергии GPU для восьми локальных моделей на одной RTX 3090 — и самая дешевая оказалась не самой маленькой, а самая дорогая — не самой большой.
