- Liittynyt
- 30.10.2019
- Viestejä
- 36
Toivottavasti ei ollut väärä ratkaisu tehä omaa thriidiä tälle. Ajattelin että voisi olla hyvä olla oma ketju näille omassa lokaalissa pyöriville AI-koodausavustimille.
Mä asensin viime viikolla sen uuden Qwen 3.5 9B mallin pyörimään mun Linuxissa LM Studion kautta. LM Studio antaa sun ladata mallit jotka haluat itsellesi pyörimään ja tehdä niihin säätöjä. Siinä on myös CLI jolla voi komentoriviltä käskyttää LM studiota eri tavoin. Omalla koneella pyörittäessä sun data ei siirry hämärään pilveen muuhun käyttöön...
Integraatio ainakin Claude Codeen ja esim. VS Code editoriin pitäisi onnistua suht. iisisti. Tässä Clauden ohjeita sivulta. LM Studio+ClaudeCode: Use your LM Studio Models in Claude Code
Tuo Qwen on testeissä osoittautunut pienempikokoisena monesti paremmaksi kuin kaupalliset isot mallit kooltaan 20B+. Itellä tosiaan se 9B malli mutta Qwen 3.5 tarjoo myös muita versioita (esim 2b, 4b, ...) on siitä isompiakin jos koneessa höyryä riittää.
Mulla on RTX2080 8GB VRAM ja 32GB muistia niin tuo Qwenin "Think"-tila antaa välillä virhettä varsinkin pidemmissä prompteissa. Mutta ilman sitä päättelymoodia se toiminee ihan hyvin koodaustyössä. Tunnustan että en vielä ole ehtinyt Claude Codea laittamaan mutta se olisi seuraava steppi.
Mitä muita kokemuksia?
Mä asensin viime viikolla sen uuden Qwen 3.5 9B mallin pyörimään mun Linuxissa LM Studion kautta. LM Studio antaa sun ladata mallit jotka haluat itsellesi pyörimään ja tehdä niihin säätöjä. Siinä on myös CLI jolla voi komentoriviltä käskyttää LM studiota eri tavoin. Omalla koneella pyörittäessä sun data ei siirry hämärään pilveen muuhun käyttöön...
Integraatio ainakin Claude Codeen ja esim. VS Code editoriin pitäisi onnistua suht. iisisti. Tässä Clauden ohjeita sivulta. LM Studio+ClaudeCode: Use your LM Studio Models in Claude Code
Tuo Qwen on testeissä osoittautunut pienempikokoisena monesti paremmaksi kuin kaupalliset isot mallit kooltaan 20B+. Itellä tosiaan se 9B malli mutta Qwen 3.5 tarjoo myös muita versioita (esim 2b, 4b, ...) on siitä isompiakin jos koneessa höyryä riittää.
Mulla on RTX2080 8GB VRAM ja 32GB muistia niin tuo Qwenin "Think"-tila antaa välillä virhettä varsinkin pidemmissä prompteissa. Mutta ilman sitä päättelymoodia se toiminee ihan hyvin koodaustyössä. Tunnustan että en vielä ole ehtinyt Claude Codea laittamaan mutta se olisi seuraava steppi.
Mitä muita kokemuksia?
Viimeksi muokattu:
