MarketScopeLab: local LLMs, measured
Notes from running LLMs on our own machines and measuring speed and correctness: quantization on an RTX 3090, memory and SSD tuning, handing code fixes to a model, and training small models.
All notes
note.com/oxtane →- AIに「ダサい」を繰り返さない。Content Studioが画像生成の先に用意したもの
- macOS 27.2に更新したら、消したはずの証明書が復活。curl・HTTPS・Tailscaleを守り直す
- RTX 3090はもっと速くなる？GPU解除の実測から128Kで使う27Bの調整まで
- PHPの脆弱性とeMudhraのSSL/TLS問題。Apple・Omarchy・Raspberry Piで何をどう対策したか
- AIに渡すJSONを約55%削減。HeadroomをOxtaneの実データで試して分かったこと
- GPUを2枚にしても速くならない？ RTX 3090＋2070 SUPERで60 tok/s超まで試したこと
- ローカルLLM実践ガイド｜自分のPCで動かす・コード修正・小型モデルの学習
- ローカルLLM実践 第11話 小型モデルを学習する。無料GPUの始め方と8GB GPUでの画像分類
- ローカルLLM実践 第9話 大きなモデルから小型モデルへ。自分の仕事に特化する蒸留の始め方
- Jev・Clefを参考に、ローカルで画像を判断する小型ビジョンモデルを学習してみた
- ローカルLLM実践 第8話 自分の仕事に合わせて学習させる？LoRAを試す前の判断と評価
- ローカルLLM実践 第10話 何に特化させる？分類・抽出・文書選択を小さなモデルに任せる方法
- ローカルLLM実践 番外編 OmarchyでAI用のLinux環境を作る 導入と最初の設定
- ローカルLLM実践 番外編 DDR4のタイミングを調整する 3900Xで安定性と帯域を測る方法
- ローカルLLM実践 第7話 AIにコード修正を任せる。Harnessの選び方と導入・接続手順
- ローカルLLM実践 第6話 SSDを替えれば速くなる？970 EVOを測って考える
- ローカルLLM実践 第5話 メモリを速くする前に。DDR4の設定と待ち時間を調べる
- ローカルLLM実践 第4話 自分のPCでQwenを動かす。Strataの導入から最初の回答まで
The notes are written in Japanese on note.com, which offers automatic English translation.
The main product here is MarketScope
A free board with a crypto heatmap, world indices, and theme boards for semiconductor and memory stocks.