Τι είναι τα LLMs: ChatGPT, Claude, Gemini και πώς λειτουργούν στην πραγματικότητα

Συνεχίζοντας από εκεί που σταματήσαμε

Στα δύο προηγούμενα άρθρα συζητήσαμε δύο θέματα:

• Η Τεχνητή Νοημοσύνη δεν είναι μαγεία. Είναι μαθηματικά, συν δεδομένα, συν υπολογιστική ισχύς (άρθρο 1).
• Ένα μοντέλο μαθαίνει με βελτιστοποίηση, και είναι μόνο τόσο καλό όσο τα δεδομένα του (άρθρο 2).

Σήμερα μπαίνουμε στο πιο ορατό κομμάτι αυτής της επανάστασης: τα LLMs.

Όλοι μιλάμε γι' αυτά. ChatGPT, Claude, Gemini, Llama. Λίγοι ξέρουν τι ακριβώς είναι, τι κάνει το ένα διαφορετικό από το άλλο, και πώς να επιλέξουν το σωστό για την περίπτωσή τους. Σ' αυτό το άρθρο θα το κάνουμε ξεκάθαρο.

Τι είναι ένα LLM

LLM σημαίνει Large Language Model, μεγάλο γλωσσικό μοντέλο.

Στον πυρήνα του, ένα LLM κάνει ένα και μόνο πράγμα: παίρνει ένα κείμενο και προβλέπει την επόμενη λέξη.

Πιο σωστά, το επόμενο token (που μπορεί να είναι μια λέξη, μέρος λέξης, ένα σημείο στίξης). Αυτό είναι όλο.

Δίνουμε στο μοντέλο: «Η πρωτεύουσα της Ελλάδας είναι...» και αυτό προβλέπει: «Αθήνα».

Φαίνεται απλό. Είναι απλό. Το παράξενο είναι ότι από αυτή τη μία και μόνη ικανότητα προκύπτει όλη η συμπεριφορά που βλέπουμε. Συνομιλίες, σύνοψη, μετάφραση, κώδικας, εξηγήσεις, ποίηση.

Πώς; Επειδή για να προβλέψει σωστά την επόμενη λέξη σε ένα τυχαίο σημείο μιας τυχαίας πρότασης, το μοντέλο χρειάζεται να έχει εσωτερικές αναπαραστάσεις για:

• γραμματική
• σημασιολογία
• κόσμο
• λογική
• τόνο

Όλα αυτά εκπαιδεύονται έμμεσα. Κανείς δεν τα προγραμμάτισε ρητά. Προέκυψαν επειδή χωρίς αυτά, η πρόβλεψη είναι κακή.

Γιατί τα ονομάζουμε «μεγάλα»

Το L στο LLM σημαίνει Large, και είναι κυριολεκτικό. Μιλάμε για μοντέλα με δισεκατομμύρια ή τρισεκατομμύρια παραμέτρους (τα «κουμπιά» από το προηγούμενο άρθρο).

Για να καταλάβετε την κλίμακα:

• GPT-3 (2020): 175 δισεκατομμύρια παράμετροι.
• GPT-4 (2023): δεν είναι δημόσιο, εκτιμάται πάνω από 1 τρισεκατομμύριο.
• Llama 3.1 της Meta (open source): από 8 έως 405 δισεκατομμύρια.
• Claude και Gemini στις σύγχρονες εκδόσεις δεν δημοσιοποιούν αριθμούς.

Η τάση είναι ξεκάθαρη. Όσο μεγαλώνουν, καλύτερα γενικεύουν. Μέχρι κάποιο σημείο. Τους τελευταίους μήνες οι ερευνητές μιλούν για πλατό: η ποιότητα δεν αυξάνεται πλέον ανάλογα με το μέγεθος. Νέοι τρόποι εκπαίδευσης (όπως το reasoning training) γίνονται πιο σημαντικοί από το pure scale.

Πώς λειτουργούν στην πραγματικότητα

Όλα τα σύγχρονα LLM χτίστηκαν πάνω στην ίδια αρχιτεκτονική: το Transformer, που γεννήθηκε με το paper «Attention Is All You Need» (2017) από ερευνητές της Google.

Δεν θα μπω σε λεπτομέρειες. Το μόνο που χρειάζεστε να κρατήσετε:

• Το μοντέλο βλέπει όλο την είσοδο / Input ταυτόχρονα, όχι λέξη-λέξη.
• Για κάθε σημείο του κειμένου, υπολογίζει πόση σημασία να δώσει σε κάθε άλλο σημείο. Αυτή είναι η «προσοχή», το λεγόμενο attention.
• Από εκεί παράγει την επόμενη πρόβλεψη.

Όλα τα LLM που χρησιμοποιείτε σήμερα είναι παραλλαγές αυτής της ιδέας.

Οι μεγάλοι παίκτες στον χώρο

ChatGPT (OpenAI): το πρώτος που έγινε mainstream. Είναι πολύ καλό για καθημερινές εργασίες, όπως γράψιμο κειμένων, ιδέες και βοήθεια σε περιεχόμενο στα αγγλικά.

Claude (Anthropic): εστιάζει στην ποιότητα συλλογισμού και την ασφάλεια. Πολλοί ερευνητές το θεωρούν το πιο ακριβές μοντέλο για σύνθετα προβλήματα. Στα ελληνικά τα πάει καλά, καλύτερα από το ChatGPT σε εξειδικευμένα κείμενα.

Gemini (Google): ισχυρό σε σύνθετες εργασίες (κείμενο + εικόνα + βίντεο). Ενσωματωμένο φυσικά με το Google Workspace. Καλή επιλογή αν η εταιρεία σας βρ'ισκεται ήδη στο οικοσύστημα της Google.

Llama (Meta): open source. Σημαίνει ότι μπορείτε να το τρέξετε στους δικούς σας servers / υπολογιστές. Σημαντικότατο για εταιρείες με ευαίσθητα δεδομένα. Λίγο πίσω σε ποιότητα από τα κορυφαία closed μοντέλα, αλλά κερδίζει σε έδαφος στον τομέα ασφαλείας.

Δεν υπάρχει ένα «καλύτερο». Υπάρχει το σωστό για την περίπτωσή σας.

Πώς να επιλέξετε

Πρακτικά κριτήρια όταν αποφασίζετε σε ποιο μοντέλο θα βασίσετε μια λύση:

• Ευαίσθητα δεδομένα: αν επεξεργάζεστε προσωπικά δεδομένα ή κρίσιμη πληροφορία, ένα open model όπως το Llama σε δικούς σας servers είναι η ασφαλέστερη επιλογή. Αλλιώς ελέγξτε αν ο πάροχος προσφέρει zero data retention, δηλαδή δεν κρατά τα δεδομένα σας για να εκπαιδεύσει ξανά τα μοντέλα του.

• Ελληνική γλώσσα: το Claude δίνει σήμερα πιο φυσική απόδοση στα ελληνικά. Το ChatGPT είναι ακόμα καλό. Το Gemini μέτριο. Δοκιμάστε με τα δικά σας κείμενα πριν επιλέξετε.

• Καθυστέρηση: αν χτίζετε real-time chatbot, το μικρότερο μοντέλο συνήθως κερδίζει. Καθυστέρηση 2 δευτερολέπτων είναι αποδεκτή, 8 δευτερολέπτων όχι. Όλοι οι πάροχοι έχουν μικρότερες, ταχύτερες εκδόσεις (Haiku, mini, flash).

• Κόστος: η διαφορά μεταξύ ενός μικρού και ενός επι-πληρωμή μοντέλου είναι 10x έως 100x. Για το 80% των tasks, το μικρό μοντέλο είναι αρκετό. Μην τρέχετε όλη την κίνηση στο πιο ακριβό.

• Context window: είναι η ποσότητα κειμένου που μπορεί να «κρατήσει» στη μνήμη του το μοντέλο σε κάθε κλήση. Σήμερα κυμαίνεται από 8.000 έως πάνω από 1.000.000 tokens. Αν θέλετε να του δώσετε ένα PDF 200 σελίδων, χρειάζεστε μεγάλο context window.

Τι ΔΕΝ είναι ένα LLM

Μερικές παρανοήσεις που υπάρχουν:

• Δεν είναι μηχανή αναζήτησης. Το LLM δεν «ψάχνει» στο internet. Παράγει κείμενο βάσει αυτών που έμαθε κατά την εκπαίδευση. Όταν βλέπετε το ChatGPT να ψάχνει online, αυτό γίνεται μέσω ενός εξωτερικού εργαλείου (web search), όχι από το ίδιο το μοντέλο.

• Δεν ξέρει τι έγινε σήμερα. Κάθε LLM έχει ένα knowledge cutoff, μια ημερομηνία μετά την οποία δεν γνωρίζει τίποτα. Συνήθως 6-12 μήνες πίσω από την τρέχουσα. Αν χρειάζεστε φρέσκα δεδομένα, χρειάζεστε να του δώσετε εξωτερικές πηγές.

• Δεν είναι ντετερμινιστικό. Δύο φορές το ίδιο prompt μπορεί να δώσει δύο διαφορετικές απαντήσεις. Αυτό είναι σχεδιαστική επιλογή. Για αποφάσεις που απαιτούν συνέπεια, χρειάζεται να ρυθμίσετε τη παράμετρο temperature / θερμοκραία για να δίνει πιο συνεπείς απαντήσεις.

• Δεν θυμάται προηγούμενες συνομιλίες. Δεν έχει πραγματική «μνήμη» όπως ένας άνθρωπος. Για να θυμάται τι έχει ειπωθεί, κάθε νέα συνομιλία πρέπει να συνοδεύεται από το προηγούμενο ιστορικό. Η δυνατότητα που βλέπουμε σε εφαρμογές όπως το ChatGPT ή το Claude.ai να «θυμούνται» πληροφορίες βασίζεται σε ξεχωριστή αποθήκευση δεδομένων και όχι στο ίδιο το μοντέλο τεχνητής νοημοσύνης.

Τι σημαίνει αυτό για την επιχείρησή σας

Δύο σκέψεις που θέλω να φύγετε με αυτές:

Πρώτον: δεν χρειάζεται να χρησιμοποιείτε πάντα το ίδιο AI μοντέλο για τα πάντα. Σε μια σωστά οργανωμένη λύση, επιλέγουμε διαφορετικό εργαλείο ανάλογα με τη δουλειά: ένα πιο απλό και οικονομικό για βασικές εργασίες, ένα πιο δυνατό για περιλήψεις και ένα πιο εξελιγμένο για δύσκολες αναλύσεις ή αποφάσεις. Έτσι πετυχαίνουμε καλή ποιότητα χωρίς να ανεβαίνει άσκοπα το κόστος.

Δεύτερον: μην εξαρτάστε από μία μόνο εταιρεία ή πλατφόρμα. Η τεχνολογία της τεχνητής νοημοσύνης εξελίσσεται πολύ γρήγορα και το καλύτερο εργαλείο σήμερα μπορεί να μην είναι το καλύτερο σε λίγους μήνες. Φτιάξτε την υποδομή σας έτσι ώστε να μπορείτε να αλλάξετε πάροχο εύκολα και γρήγορα, χωρίς μεγάλες καθυστερήσεις ή τεχνικές δυσκολίες.

Τι έρχεται στο επόμενο άρθρο

Στο επόμενο άρθρο θα δούμε πού εισάγουμε το AI σε μια επιχείρηση. Συγκεκριμένα παραδείγματα, χωρίς υπερβολές. Πού δουλεύει σήμερα, πού όχι, και πώς ξεχωρίζουμε τη μία περίπτωση από την άλλη.

Όπως πάντα, αν έχετε ερωτήσεις στην πορεία, στείλτε μου email →. Διαβάζω κάθε email και απαντώ προσωπικά.

Σας ευχαριστώ που ακολουθείτε τη σειρά.