Tekoäly

Taitaapi olla OpenAI:n avoimen mallin julkaisu lähellä. Llama.cpp githubissa iso pull request sille.


edit: sieltähän se pullahti. Itse malli ja blogi:


 
Viimeksi muokattu:
Taitaapi olla OpenAI:n avoimen mallin julkaisu lähellä. Llama.cpp githubissa iso pull request sille.


edit: sieltähän se pullahti. Itse malli ja blogi:


Muistivaatimukset malleille, isompi malli vaatii 80GB ja pienempi 16GB,. Taitaa olla valmiiksi jo kvantisoitu niin, että ei ole ilmaisia lounaita jos yrittäisi tuota isompaa mallia mahduttaa esim. 5090:en muistiin.

OpenAI utilizes quantization to reduce the memory footprint of the gpt-oss models. The models are post-trained with quantization of the mixture-of-experts (MoE) weights to MXFP4 format, where the weights are quantized to 4.25 bits per parameter. The MoE weights are responsible for 90+% of the total parameter count, and quantizing these to MXFP4 enables the smaller model to run on systems with as little as 16GB memory, and the larger model to fit on a single 80GB GPU.
Vaikuttaa fiitsöreiden puolesta hyvälle
  • Agentic capabilities: Use the models’ native capabilities for function calling, web browsing (Ollama is introducing built-in web search that can be optionally enabled), python tool calls, and structured outputs.
  • Full chain-of-thought: Gain complete access to the model’s reasoning process, facilitating easier debugging and increased trust in outputs.
  • Configurable reasoning effort: Easily adjust the reasoning effort (low, medium, high) based on your specific use case and latency needs.
  • Fine-tunable: Fully customize models to your specific use case through parameter fine-tuning.
  • Permissive Apache 2.0 license: Build freely without copyleft restrictions or patent risk—ideal for experimentation, customization, and commercial deployment.
Tarvii tuota isompaa mallia testata kunhan lataus valmistuu.

edit. Ollaman uusi UI kiva, ei tarvi enää kärvistellä terminaalin kanssa.
 
Viimeksi muokattu:

Statistiikka

Viestiketjuista
283 184
Viestejä
4 861 800
Jäsenet
78 630
Uusin jäsen
Nafu

Hinta.fi

Back
Ylös Bottom