GPU

GPUは、画像処理を得意とする半導体です。多数の計算を同時に進められるため、AIの学習や回答生成にも使われます。

CPUは幅広い処理を順に行うのが得意で、GPUは同じ種類の計算を大量に並行して行うのが得意です。AIでは、モデルの学習や大量のデータを使った回答生成に必要な計算時間を短くするために使われます。必要な性能や台数は、扱うモデルの大きさや利用量によって変わります。

実例

「Microsoft FoundryでMistralモデルを分離環境へ提供」では、Mistralが欧州のAIインフラへNVIDIA Vera Rubinを数千基導入し、Microsoftが計算能力の一部を利用してクラウドおよびAIサービスの処理能力を拡大するとしている。

「Llama 3.3 70BとローカルLLMの損益分岐」では、RTX 3090を2枚使う構成とRTX 5090を使う構成で、RAGを用いたドキュメント検索ボットの消費電力を計測している。GPUの初期費用と電気代を、クラウドAPI料金と比べて用途ごとの償却期間を試算している。