「AMD や Mac ではだめなのか」への答えです。速さではなく、その環境で用途が成立するかで比べています（調査日：2026-09-01）。
| 用途 | NVIDIA CUDA | AMD ROCm | Apple Metal / MPS / MLX |
|---|---|---|---|
| Ollama / llama.cpp でチャット | ◎ | ◎ | ◎ |
| 70B〜120B級の巨大モデルを載せる | △ | ◎ | ◎ |
| vLLM で OpenAI API 互換サーバーを立てる | ◎ | ○ | △ |
| LoRA / QLoRA によるファインチューニング | ◎ | ○ | ○ |
| 論文と同時に出た GitHub コードをそのまま実行する | ◎ | △ | △ |
| CUDA拡張（CUDAExtension / 自作カーネル / CUTLASS / NCCL） | ◎ | × | × |
| TensorRT / TensorRT-LLM | ◎ | × | × |
| 画像生成の最新実装（Krea 2 / Anima 等） | ◎ | △ | △ |
| 動画生成の最新実装（MiniMax H3 等） | ◎ | △ | × |
| 将来クラウドの H100 / B200 へ移行する | ◎ | △ | × |
| 機種 | メモリ | 帯域 | チャット | コード・エージェント | 画像生成 | 動画生成 | RAG |
|---|---|---|---|---|---|---|---|
| RTX 5070 Ti（BTO完成品） | 16GB | 896 GB/s | ◎ | ○ | ◎ | △ | ◎ |
| RTX 5090（BTO完成品） | 32GB | 1,792 GB/s | ◎ | ◎ | ◎ | ◎ | ◎ |
| DGX Spark（GB10） | 128GB | 273 GB/s | ○ | × | ○ | ○ | ◎ |
| Mac Studio M5 Max（128GB） | 128GB | 614 GB/s | ◎ | ○ | △ | × | ◎ |
| Mac Studio M5 Ultra（256GB / 512GB） | 512GB | 1,200 GB/s | ◎ | ○ | △ | × | ◎ |
古い前提でご判断いただかないよう、一次情報で確認したものを載せています。
FlashAttention 2 は AMD ROCm 向けに2系統のバックエンドを持つ。 Composable Kernel（CK）= MI200x/MI250x/MI300x/MI355x および RDNA 3/4、fp16・bf16。 Triton = CDNA（MI200/MI300）および RDNA、fp16・bf16・fp32 に加え causal mask・可変長・MQA/GQA・paged attention・FP8 まで対応。ROCm 6.0 以降。
確認日 2026-09-01・出典 https://github.com/Dao-AILab/flash-attentionbitsandbytes は NVIDIA・AMD・Intel XPU・Apple Silicon・Intel Gaudi を公式サポート。 AMD ROCm は「consumer RDNA と datacenter CDNA の両方で全機能サポート」と明記され、 gfx1151（Ryzen AI Max+）を含む PyPI ビルドが配布されている。
確認日 2026-09-01・出典 https://huggingface.co/docs/bitsandbytes/main/en/installationROCm 版 vLLM の対象は Instinct（MI355X/MI350X/MI325X/MI300X/MI300A）に加え、 Radeon RX 9000/7000系・PRO W系、および Ryzen AI Max+ / Ryzen AI Max（gfx1151）まで含む。
確認日 2026-09-01・出典 https://rocm.docs.amd.com/projects/ai-ecosystem/en/latest/inference/vllm.htmlvLLM・FlashAttention・bitsandbytes・llama.cpp がいずれも ROCm に対応済み。 差が出るのは「動くかどうか」ではなく「最新の研究コードがそのまま動くかどうか」。
確認日 2026-09-01・出典 https://rocm.docs.amd.com/projects/ai-ecosystem/en/latest/inference/vllm.html