🚨 $GOOGL práve predstavil novú technológiu menom TurboQuant
🟢 Čo to vlastne je?
TurboQuant je jazykový LLM model od Googlu, ktorý chce vyriešiť technický problém: obrovský nárok na odber pamäte a rýchlosti.
Keď komunikuješ s AI (napr. cez ChatGPT alebo Gemini), model si musí "pamätať" kontext celého rozhovoru. Táto "pamäť" sa ukladá do tzv. KV Cache.
🛑 Tu je ale problém: Táto pamäť je nesmierne náročná na miesto. Čím dlhší je váš rozhovor (dlhší kontext), tým viac pamäte (VRAM) grafická karta potrebuje.
🟢 Ako to funguje?
Predstav si ho ako zazipovanie dát rozhovoru tak inteligentne, že model s nimi dokáže stále pracovať, hoci zaberajú zlomok miesta.
👉 6x menej pamäte: To znamená, že tam, kde si predtým potreboval 60 GB pamäte, teraz ti stačí 10 GB.
👉 8x vyššia rýchlosť: Keďže dáta sú menšie, čip ich dokáže spracovať oveľa rýchlejšie. Čiže okamžitá odpoveď od AI.
🟢 Ako nám vie eŠte pomôcť tento TurboQuant od Googlu ?
• AI priamo v mobile: Vďaka tomuto uvidíš čoskoro špičkové modely bežať priamo v tvojom telefóne bez potreby internetu (Local AI Inference).
• Obrovský kontext: Budeš môcť nahrať celú knihu alebo tisíce riadkov kódu a AI si ich "zapamätá" bez toho, aby jej došla pamäť.
• Lacnejšia prevádzka: Pre firmy ako Google to znamená, že prevádzka AI bude oveľa lacnejšia, čo môže viesť k lepším bezplatným verziám pre používateľov.
🚨 Sektor firiem pamäťových kariet sú dnes pod tlakom.
