Llama 3.3 70BとローカルLLMの損益分岐
元記事公開日: 2026年1月7日
出典: https://note.com/light_arnica2159/n/n9e79dec95ba2
RAGを用いたドキュメント検索ボットをローカルLLMで稼働させ、RTX 3090×2とRTX 5090の消費電力を計測した。Llama 3.3 70B APIなどとの月額コストを用途別に比べ、軽いチャットでは回収不能、1日300万トークン以上の自律稼働では30万円機で約1.5か月という損益分岐を試算した。
背景
比較対象には、中古GeForce RTX 3090を2枚使う総工費約30万円の構成と、新品GeForce RTX 5090を使う総工費約80万円の構成を置く。電気料金は1kWh当たり35円で計算する。クラウド側は、ローカルで動かす70Bモデルと性能帯が近いLlama 3.3 70BをGroqまたはTogether AI経由で利用する条件とした。
要望・目的
高額なGPUの初期投資を、クラウドAPI料金との差額で回収できる利用量を求める。比較は、1日5,000トークンのチャット・相談、1日20万トークンのRAG・データ分析・翻訳、1日300万トークン以上のAIエージェントによる自律稼働に分け、用途ごとの月額費用と償却期間を算出する。
実装・実施内容
ラトックシステム製ワットチェッカーで壁コンセントからの消費電力を計測した。RAGを使うドキュメント検索ボットで、質問の受信、ベクトル検索、プロンプト生成、LLM推論による回答生成、待機を繰り返す。RTX 3090×2とRTX 5090の待機時、推論ピーク時、稼働率30%の実務運用時を測り、API料金との月額差額から償却期間を試算した。
AIサービス・システム
ローカルLLMは、RAG検索ボットで質問に対する回答を生成する。入力された質問に対し、ベクトル検索で関連情報を取得し、生成したプロンプトをLLMへ渡して回答を返す。クラウド比較にはLlama 3.3 70B APIを置き、複雑な論理推論やコーディングにはGPT-5 TurboまたはClaude 3.5 Opusクラスも料金帯の例として挙げる。
結果・効果
RTX 3090×2の実務運用時平均は316Wで1時間当たり11.0円、RTX 5090は233Wで8.1円だった。1日10時間の起動では電気代を約80〜110円とする。軽いチャット用途はローカル機の償却が回収不能、1日20万トークンの用途では30万円機で約22か月、1日300万トークン以上の自律稼働ではクラウドAPI月額約20万〜40万円に対しローカル電気代約6,000円となり、30万円機で約1.5か月、60万円機で約3か月と試算した。