实验室:用实测检验本地 LLM

在自己的电脑上运行 LLM,并测量速度与正确性后写下的笔记:RTX 3090 上的量化对比、内存与 SSD 调优、让模型修改代码、训练小模型。

  1. AIに「ダサい」を繰り返さない。Content Studioが画像生成の先に用意したもの
  2. macOS 27.2に更新したら、消したはずの証明書が復活。curl・HTTPS・Tailscaleを守り直す
  3. RTX 3090はもっと速くなる?GPU解除の実測から128Kで使う27Bの調整まで
  4. PHPの脆弱性とeMudhraのSSL/TLS問題。Apple・Omarchy・Raspberry Piで何をどう対策したか
  5. AIに渡すJSONを約55%削減。HeadroomをOxtaneの実データで試して分かったこと
  6. GPUを2枚にしても速くならない? RTX 3090+2070 SUPERで60 tok/s超まで試したこと
  7. ローカルLLM実践ガイド|自分のPCで動かす・コード修正・小型モデルの学習
  8. ローカルLLM実践 第11話 小型モデルを学習する。無料GPUの始め方と8GB GPUでの画像分類
  9. ローカルLLM実践 第9話 大きなモデルから小型モデルへ。自分の仕事に特化する蒸留の始め方
  10. Jev・Clefを参考に、ローカルで画像を判断する小型ビジョンモデルを学習してみた
  11. ローカルLLM実践 第8話 自分の仕事に合わせて学習させる?LoRAを試す前の判断と評価
  12. ローカルLLM実践 第10話 何に特化させる?分類・抽出・文書選択を小さなモデルに任せる方法
  13. ローカルLLM実践 番外編 OmarchyでAI用のLinux環境を作る 導入と最初の設定
  14. ローカルLLM実践 番外編 DDR4のタイミングを調整する 3900Xで安定性と帯域を測る方法
  15. ローカルLLM実践 第7話 AIにコード修正を任せる。Harnessの選び方と導入・接続手順
  16. ローカルLLM実践 第6話 SSDを替えれば速くなる?970 EVOを測って考える
  17. ローカルLLM実践 第5話 メモリを速くする前に。DDR4の設定と待ち時間を調べる
  18. ローカルLLM実践 第4話 自分のPCでQwenを動かす。Strataの導入から最初の回答まで

文章以日语发布在 note.com,note.com 提供英语和韩语自动翻译。

本站的主要产品是 MarketScope

免费行情看板,提供加密货币热力图、全球股指,以及半导体和存储主题看板。

查看本地 LLM 基础设施评估 →

打开 MarketScope →
Oxtane 实验室 | 本地 LLM 实测笔记