实验室:用实测检验本地 LLM
在自己的电脑上运行 LLM,并测量速度与正确性后写下的笔记:RTX 3090 上的量化对比、内存与 SSD 调优、让模型修改代码、训练小模型。
- AIに「ダサい」を繰り返さない。Content Studioが画像生成の先に用意したもの
- macOS 27.2に更新したら、消したはずの証明書が復活。curl・HTTPS・Tailscaleを守り直す
- RTX 3090はもっと速くなる?GPU解除の実測から128Kで使う27Bの調整まで
- PHPの脆弱性とeMudhraのSSL/TLS問題。Apple・Omarchy・Raspberry Piで何をどう対策したか
- AIに渡すJSONを約55%削減。HeadroomをOxtaneの実データで試して分かったこと
- GPUを2枚にしても速くならない? RTX 3090+2070 SUPERで60 tok/s超まで試したこと
- ローカルLLM実践ガイド|自分のPCで動かす・コード修正・小型モデルの学習
- ローカルLLM実践 第11話 小型モデルを学習する。無料GPUの始め方と8GB GPUでの画像分類
- ローカルLLM実践 第9話 大きなモデルから小型モデルへ。自分の仕事に特化する蒸留の始め方
- Jev・Clefを参考に、ローカルで画像を判断する小型ビジョンモデルを学習してみた
- ローカルLLM実践 第8話 自分の仕事に合わせて学習させる?LoRAを試す前の判断と評価
- ローカルLLM実践 第10話 何に特化させる?分類・抽出・文書選択を小さなモデルに任せる方法
- ローカルLLM実践 番外編 OmarchyでAI用のLinux環境を作る 導入と最初の設定
- ローカルLLM実践 番外編 DDR4のタイミングを調整する 3900Xで安定性と帯域を測る方法
- ローカルLLM実践 第7話 AIにコード修正を任せる。Harnessの選び方と導入・接続手順
- ローカルLLM実践 第6話 SSDを替えれば速くなる?970 EVOを測って考える
- ローカルLLM実践 第5話 メモリを速くする前に。DDR4の設定と待ち時間を調べる
- ローカルLLM実践 第4話 自分のPCでQwenを動かす。Strataの導入から最初の回答まで
文章以日语发布在 note.com,note.com 提供英语和韩语自动翻译。