MarketScope

랩: 로컬 LLM을 실측으로 확인하기

직접 PC에서 LLM을 돌리고 속도와 정확도를 측정해 쓴 글입니다. RTX 3090 양자화 비교, 메모리와 SSD 튜닝, 코드 수정 맡기기, 소형 모델 학습을 다룹니다.

전체 글

note.com/oxtane →
  1. AIに「ダサい」を繰り返さない。Content Studioが画像生成の先に用意したもの
  2. macOS 27.2に更新したら、消したはずの証明書が復活。curl・HTTPS・Tailscaleを守り直す
  3. RTX 3090はもっと速くなる？GPU解除の実測から128Kで使う27Bの調整まで
  4. PHPの脆弱性とeMudhraのSSL/TLS問題。Apple・Omarchy・Raspberry Piで何をどう対策したか
  5. AIに渡すJSONを約55%削減。HeadroomをOxtaneの実データで試して分かったこと
  6. GPUを2枚にしても速くならない？ RTX 3090＋2070 SUPERで60 tok/s超まで試したこと
  7. ローカルLLM実践ガイド｜自分のPCで動かす・コード修正・小型モデルの学習
  8. ローカルLLM実践 第11話 小型モデルを学習する。無料GPUの始め方と8GB GPUでの画像分類
  9. ローカルLLM実践 第9話 大きなモデルから小型モデルへ。自分の仕事に特化する蒸留の始め方
  10. Jev・Clefを参考に、ローカルで画像を判断する小型ビジョンモデルを学習してみた
  11. ローカルLLM実践 第8話 自分の仕事に合わせて学習させる？LoRAを試す前の判断と評価
  12. ローカルLLM実践 第10話 何に特化させる？分類・抽出・文書選択を小さなモデルに任せる方法
  13. ローカルLLM実践 番外編 OmarchyでAI用のLinux環境を作る 導入と最初の設定
  14. ローカルLLM実践 番外編 DDR4のタイミングを調整する 3900Xで安定性と帯域を測る方法
  15. ローカルLLM実践 第7話 AIにコード修正を任せる。Harnessの選び方と導入・接続手順
  16. ローカルLLM実践 第6話 SSDを替えれば速くなる？970 EVOを測って考える
  17. ローカルLLM実践 第5話 メモリを速くする前に。DDR4の設定と待ち時間を調べる
  18. ローカルLLM実践 第4話 自分のPCでQwenを動かす。Strataの導入から最初の回答まで

글은 note.com에 일본어로 공개되어 있으며, note.com에서 한국어 자동 번역을 제공합니다.

이 사이트의 중심은 MarketScope입니다

암호화폐 히트맵, 세계 주가지수, 반도체·메모리 테마 보드를 무료로 볼 수 있습니다.

로컬 LLM 인프라 진단 보기 →

MarketScope 열기 →
Oxtane 랩 | 실측으로 확인한 로컬 LLM 노트