LLM・生成AI

LoRAやファインチューニング、RAG、LangChain、量子化など、大規模言語モデル(LLM)と生成AIの仕組みと使い方をまとめています。

Aegaeonとは?GPU82%削減の仕組みと前提条件を論文から解説
LLM・生成AI

Aegaeonとは?GPU82%削減の仕組みと前提条件を論文から解説

Aegaeonは、北京大学とAlibaba Groupが開発した、複数のLLM(大規模言語モデル)で同じGPUを共有して推論を動かすシステムです。GPUの割り当ては、リクエスト単位ではなくトークン単位で切り替えます。論文によると、Alibaba Cloud Model Studioでの3か月以上のベータ運用で、必要なNVIDIA H20は1,192基から213基に減りました(82%減)。

HelloCloud編集部
音声認識APIの無料枠を比較|超過後の月額試算と2026年の変更点
LLM・生成AI

音声認識APIの無料枠を比較|超過後の月額試算と2026年の変更点

音声認識APIの多くには無料枠があります。AmiVoice APIは毎月60分、Deepgramは$200分のクレジット、AssemblyAIは事前録音で最大185時間が無料です。ただし、無料枠が毎月戻るか一度きりか、課金単位、送った音声の扱いはサービスごとに異なります。無料の量だけでなく、超過後の単価とデータの条件まで比べて選んでください。

HelloCloud編集部
inference engineとは?推論エンジン4種の比較と選び方
LLM・生成AI

inference engineとは?推論エンジン4種の比較と選び方

推論エンジン(inference engine)は、学習済みのAIモデルを読み込み、入力に対する予測や文章・画像の生成を実行するソフトウェアです。エキスパートシステムで規則から結論を導く仕組みを指す場合もあります。AI・LLMの分野では、vLLMやTensorRT LLMなどのソフトウェアを指す言葉です。 この記事では、推論エンジン(inference engine)とは何か、推論エンジンと関連用語の違いを解説します。

HelloCloud編集部
vLLMとは?同時接続の上限を測る手順と100万トークンのコスト計算
LLM・生成AI

vLLMとは?仕組み・使い方・Ollamaとの違いと同時接続数の測り方

「社内向けのLLMを複数人で使いたいが、Ollamaでは同時アクセスで遅くなる」「vLLMが速いと聞くが、本番で使うには何を準備すればいいのか分からない」と悩んでいませんか。vLLMは、GPUメモリを効率よく使い、多くのリクエストを同時に処理できる推論エンジンです。OpenAI SDKのコードは、接続先を変えるだけでそのまま使えます。この記事では、vLLMの仕組みとインストール手順、Ollamaとの違い、同時接続数の上限の測り方、100万トークンあたりのコストの計算式を解説します。

HelloCloud編集部