Συνεχίζοντας από εκεί που σταματήσαμε
Στο πρώτο άρθρο της σειράς είπαμε ότι η Τεχνητή Νοημοσύνη δεν είναι μαγεία. Είναι μαθηματικά, συν δεδομένα, συν υπολογιστική ισχύς. Αν δεν το έχετε διαβάσει, σας προτείνω να το κάνετε πρώτα. Τα υπόλοιπα της σειράς χτίζονται πάνω σε εκείνη τη βάση.
Σήμερα θα δούμε κάτι πιο ενδιαφέρον: πώς ακριβώς μαθαίνει ένα τέτοιο σύστημα. Όχι σε επίπεδο εξισώσεων. Σε επίπεδο διαίσθησης. Θέλω να σας μείνει μια καθαρή εικόνα στο μυαλό, όχι ορολογία.
Ξεχάστε τον εγκέφαλο
Η σύγκριση «το AI σκέφτεται σαν εγκέφαλος» είναι βολική στα social, αλλά μπερδεύει περισσότερο απ' όσο εξηγεί. Δεν θα σας βοηθήσει.
Θα χρησιμοποιήσω μια διαφορετική εικόνα. Φανταστείτε ένα τεράστιο πίνακα γεμάτο κουμπιά. Εκατομμύρια κουμπιά, το καθένα μπορεί να γυρίσει σε όποια θέση θέλετε. Αυτός ο πίνακας είναι το μοντέλο.
Όταν δίνετε στο σύστημα μια εικόνα μιας γάτας, η εικόνα ταξιδεύει μέσα από όλα αυτά τα κουμπιά και στο τέλος βγαίνει μια απάντηση: «γάτα», «σκύλος», «αυτοκίνητο».
Στην αρχή, τα κουμπιά είναι σε τυχαίες θέσεις. Άρα η απάντηση είναι τυχαία.
Η εκπαίδευση είναι η διαδικασία να βρούμε εκείνες τις θέσεις των κουμπιών που, μετά από εκατομμύρια εικόνες με σωστές ετικέτες, παράγουν τις σωστές απαντήσεις τις περισσότερες φορές.
Δεν υπάρχει «μάθηση» με την ανθρώπινη έννοια. Υπάρχει βελτιστοποίηση.
Πώς γυρίζουν τα κουμπιά
Η βασική ιδέα είναι:
- Δείχνουμε στο σύστημα ένα παράδειγμα. Π.χ. μια εικόνα γάτας.
- Το σύστημα μαντεύει. Στην αρχή τυχαία.
- Αξιολογούμε πόσο λάθος ήταν η απάντηση.
- Γυρίζουμε λίγο τα κουμπιά προς την κατεύθυνση που μειώνει το λάθος.
- Επαναλαμβάνουμε εκατομμύρια φορές.
Αυτή η διαδικασία βασίζεται στον αλγόριθμο gradient descent και είναι ο πυρήνας όλων των σύγχρονων νευρωνικών δικτύων.
Το εξαιρετικά ενδιαφέρον, είναι ότι λειτουργεί. Παρά τα δισεκατομμύρια κουμπιά, παρά τη μη γραμμικότητα, η διαδικασία αυτή πραγματικά συγκλίνει σε λύσεις που γενικεύουν σε νέα δεδομένα.
Γιατί συγκλίνει; Δεν το ξέρουμε ακόμα με βεβαιότητα. Είναι ένα από τα πιο ενεργά πεδία έρευνας στη θεωρία της μηχανικής μάθησης. Μερικά από τα πιο σημαντικά paper των τελευταίων ετών προσπαθούν να εξηγήσουν γιατί τα deep networks γενικεύουν τόσο καλά. Δεν είναι λυμένο πρόβλημα.
Γι'αυτό λοιπόν όταν κάποιος μας λέει με βεβαιότητα «το AI σκέφτεται έτσι», να γνωρίζουμε ότι ούτε οι ίδιοι οι ερευνητές δεν έχουν σαφή απάντηση.
Τα δεδομένα είναι το πραγματικό υπερ-όπλο
Εδώ θέλω να σταθώ. Γιατί αυτό είναι το κομμάτι που λίγοι εστιάζουν.
Ένα μοντέλο είναι τόσο καλό όσο τα δεδομένα στα οποία εκπαιδεύτηκε. Αν τα δεδομένα είναι μεροληπτικά, το μοντέλο είναι μεροληπτικό. Αν τα δεδομένα είναι ελλιπή, το μοντέλο είναι ελλιπές. Αν τα δεδομένα είναι θόρυβος, το μοντέλο είναι θόρυβος.
Δεν είναι κλισέ. Είναι ο πρώτος νόμος της μηχανικής μάθησης: garbage in, garbage out.
Για να καταλάβετε γιατί αυτό έχει σημασία για εσάς, σκεφτείτε αυτό:
Το ChatGPT είναι εκπαιδευμένο σε τρισεκατομμύρια λέξεις από το internet. Η συντριπτική πλειοψηφία αυτών είναι στα αγγλικά.
Όταν του γράφετε στα ελληνικά, δουλεύει. Αλλά όχι το ίδιο καλά. Έχει δει πολύ λιγότερα ελληνικά κείμενα από αγγλικά. Επομένως δεν αντιλαμβάνεται την ελληνική σύνταξη και τους ιδιωματισμούς με τον ίδιο τρόπου που αντιλαμβάνεται τα αγγλικά.
Και αυτό φαίνεται στην καθημερινή χρήση. Στα ελληνικά κάνει περισσότερα γραμματικά λάθη, χάνει εκφράσεις, μερικές φορές αλλάζει τόνους χωρίς λόγο. Δεν είναι «αστοχία» του μοντέλου. Είναι έλλειψη δεδομένων.
Το ίδιο ισχύει για κάθε εξειδικευμένο τομέα. Αν θέλετε ένα AI που ξέρει την επιχείρησή σας, πρέπει να του δώσετε τα δεδομένα της επιχείρησής σας. Αλλιώς ξέρει μόνο τον μέσο όρο του internet.
Οι περιορισμοί που λίγοι αναφέρουν
Εδώ μπαίνω στο κομμάτι που με νοιάζει περισσότερο. Γιατί αυτά τα συστήματα έχουν σοβαρούς περιορισμούς που οι περισσότεροι αγνοούν.
-
Distribution shift: αν το μοντέλο εκπαιδεύτηκε σε γάτες και σκύλους και του δείξετε ένα άλογο, δεν θα ξέρει τι να κάνει. Το ίδιο ισχύει για κάθε out-of-distribution δεδομένο. Στην πράξη, αν εκπαιδεύσετε ένα μοντέλο στα ελληνικά της Αθήνας, μπορεί να μην δουλέψει το ίδιο καλά σε κρητική διάλεκτο.
-
Hallucinations & Παραισθήσεις: τα LLMs δεν παράγουν αλήθεια. Παράγουν πιθανότητες για την επόμενη λέξη. Όταν δεν ξέρουν, αντί να πουν «δεν ξέρω», παράγουν κάτι που μοιάζει σωστό. Αυτό λέγεται hallucination και είναι το μεγαλύτερο πρόβλημα της σύγχρονης ΤΝ για επιχειρηματικές εφαρμογές.
-
Μεροληψία: αν στα δεδομένα εκπαίδευσης υπάρχει μεροληψία, υπάρχει και στο μοντέλο. Έχει αποδειχθεί ξανά και ξανά. Συστήματα πρόσληψης που απορρίπτουν γυναίκες υποψήφιες. Συστήματα αναγνώρισης προσώπων που δουλεύουν χειρότερα σε σκουρόχρωμα πρόσωπα. Το μοντέλο απλώς αναπαράγει αυτό που είδε.
-
Λογιστικό Κόστος: η εκπαίδευση ενός μοντέλου σαν τα GPT-4 ή Claude κοστίζει πάνω από 100 εκατομμύρια δολάρια. Αυτός ο αριθμός δεν θα πέσει σύντομα. Σημαίνει ότι λίγες εταιρείες στον κόσμο μπορούν να χτίσουν τέτοια μοντέλα από την αρχή.
-
Ενεργειακό Κόστος: ένα data center που εκπαιδεύει ΤΝ καταναλώνει όση ενέργεια χρειάζεται μια μικρή πόλη. Είναι ένα πρόβλημα για το οποίο κανείς δεν θέλει να μιλήσει σοβαρά.
Τι σημαίνει αυτό για την επιχείρησή σας
Αρκετή θεωρία. Τι κρατάτε από όλα αυτά αν τρέχετε μια επιχείρηση;
Πρώτο: μην περιμένετε ότι η ΤΝ θα ξέρει την επιχείρησή σας. Δεν την ξέρει. Ξέρει τον μέσο όρο του internet. Αν θέλετε εξειδίκευση, χρειάζεται να της δώσετε τα δικά σας δεδομένα, με μεθόδους όπως RAG ή fine-tuning. Θα μιλήσουμε γι' αυτές αργότερα στη σειρά.
Δεύτερο: μην εμπιστεύεστε τυφλά τις απαντήσεις της. Πάντα να υπάρχει άνθρωπος που ελέγχει τις κρίσιμες αποφάσεις. Αν αφήσετε ένα μοντέλο να γράφει emails σε πελάτες χωρίς επίβλεψη, κάποια στιγμή θα γράψει κάτι λάθος. Όχι γιατί είναι «κακό». Επειδή έτσι δουλεύει.
Τρίτο: ξεκινήστε από μικρά πράγματα. Δοκιμάστε σε χαμηλού ρίσκου σημεία πρώτα. Σύνοψη σημειώσεων, ταξινόμηση emails, αναζήτηση σε εσωτερικά έγγραφα. Όχι αμέσως αυτόνομη επικοινωνία με πελάτες.
Τέταρτο: ρωτήστε πώς εκπαιδεύτηκε το εργαλείο που σας πουλάνε. Σε ποια δεδομένα. Πόσο πρόσφατα. Σε ποια γλώσσα κυρίως. Αν ο πωλητής δεν μπορεί να σας δώσει σαφή απάντηση, δεν είναι καλό σημάδι.
Τι έρχεται στο επόμενο άρθρο
Στο επόμενο άρθρο της σειράς θα μιλήσουμε για τα LLMs: το ChatGPT, το Claude, το Gemini, το Llama. Πώς δουλεύουν, σε τι διαφέρουν μεταξύ τους, και πώς να επιλέξετε το σωστό για την περίπτωσή σας.
Όπως πάντα, αν έχετε ερωτήσεις στην πορεία, στείλτε μου email →. Διαβάζω κάθε email και απαντώ προσωπικά.
Σας ευχαριστώ που ακολουθείτε τη σειρά.