🚨 $GOOGL πρόσφατα παρουσίασε μια νέα τεχνολογία ονόματι TurboQuant

🟢 Τι ακριβώς είναι;

TurboQuant είναι ένα γλωσσικό μοντέλο LLM της Google, που θέλει να λύσει ένα τεχνικό πρόβλημα: τη τεράστια απαίτηση σε μνήμη και ταχύτητα.

Όταν επικοινωνείς με μια AI (π.χ. μέσω ChatGPT ή Gemini), το μοντέλο πρέπει να «θυμάται» το πλαίσιο ολόκληρης της συζήτησης. Αυτή η «μνήμη» αποθηκεύεται στο λεγόμενο KV Cache.

🛑 Αλλά εδώ υπάρχει πρόβλημα: Αυτή η μνήμη απαιτεί τεράστιο χώρο. Όσο μεγαλύτερη είναι η συζήτησή σας (μεγαλύτερο το context), τόσο περισσότερη μνήμη (VRAM) χρειάζεται η κάρτα γραφικών.

🟢 Πώς λειτουργεί;

Φαντάσου το σαν συμπίεση των δεδομένων της συζήτησης τόσο έξυπνη, που το μοντέλο μπορεί να συνεχίσει να τα επεξεργάζεται, παρόλο που καταλαμβάνουν ένα ελάχιστο χώρο.

👉 6x λιγότερη μνήμη: Αυτό σημαίνει ότι εκεί που προηγουμένως χρειαζόσουν 60 GB μνήμης, τώρα σου αρκούν 10 GB.

👉 8x μεγαλύτερη ταχύτητα: Επειδή τα δεδομένα είναι μικρότερα, ο επεξεργαστής τα επεξεργάζεται πολύ πιο γρήγορα. Δηλαδή άμεση απάντηση από την AI.

🟢 Πώς μπορεί επιπλέον να μας βοηθήσει αυτό το TurboQuant από τη Google;

• AI απευθείας στο κινητό: Χάρη σε αυτό θα δεις σύντομα κορυφαία μοντέλα να τρέχουν απευθείας στο τηλέφωνό σου χωρίς ανάγκη σύνδεσης στο ίντερνετ (Local AI Inference).

• Μεγάλο πλαίσιο: Θα μπορείς να φορτώσεις ολόκληρο βιβλίο ή χιλιάδες γραμμές κώδικα και η AI θα τα «θυμάται» χωρίς να εξαντληθεί η μνήμη της.

• Φθηνότερη λειτουργία: Για εταιρείες όπως η Google αυτό σημαίνει ότι η λειτουργία της AI θα είναι πολύ φθηνότερη, κάτι που μπορεί να οδηγήσει σε καλύτερες δωρεάν εκδόσεις για τους χρήστες.

🚨 Ο κλάδος των εταιρειών που παράγουν κάρτες μνήμης βρίσκεται σήμερα υπό πίεση.