Tag: post-training quantization
Post-Training Quantization for LLMs: Guide to 8-Bit and 4-Bit Methods
Learn how Post-Training Quantization cuts LLM memory usage by up to 4x. Compare 8-bit vs 4-bit methods like SmoothQuant, AWQ, and GPTQ to optimize your AI deployment.
Read More
Kvantifiserte Transformer-arkitekturer for Edge LLMer: En praktisk guide
Oppdag hvordan kvantifisering gjør store språkmodeller (LLM) brukbare på edge-enheter. Vi gjennomgår PTQ, QAT, INT8/INT4 og verktøy som NVIDIA TensorRT for å redusere minnebruk uten å ofre nøyaktighet.
Read More