ローカルLLMの実行には実際いくらかかるのか?(100万トー... ノート

ローカルLLMの実行には実際いくらかかるのか?(100万トークンあたりのユーロ、実測値)

私はRTX 3090 1台で8つのローカルモデルの実際のGPU電力を測定しました。そして、最も安価なものが最小ではなく、最も高価なものが最大でもありませんでした。