Το Atari 2600 Video Chess κέρδισε το Microsoft Copilot σε μια παρτίδα σκάκι

Λόγω αδυναμίας πρόβλεψης των κινήσεων του αντιπάλου.

Το Atari 2600 που έτρεχε Video Chess λογισμικό κατάφερε και κέρδισε το Microsoft Copilot σε μια παρτίδα σκάκι.

Οι  ειδικές μηχανές σκακιού έχουν ξεπεράσει τις ανθρώπινες δυνατότητες εδώ και χρόνια. Ένα πρόγραμμα όπως το Stockfish μπορεί να νικήσει εύκολα τους κορυφαίους παίκτες στον κόσμο. Τόσο το ChatGPT όσο και το Copilot είναι προηγμένα γλωσσικά μοντέλα, αλλά δεν είναι προγράμματα σκακιού. Το ίδιο το Video Chess είναι ένα πολύ απλό λογισμικό σκακιού. Το πρόγραμμα υπολογίζει ποια είναι η καλύτερη κίνηση σε μια δεδομένη θέση, αλλά δεν έχει στρατηγική και δεν προβλέπει περισσότερες από μια-δυο κινήσεις μπροστά. Τα πειράματα έγιναν από τον μηχανικό της Citrix, Robert Caruso, και στην περίπτωση του ChatGPT, το μοντέλο "αναρωτιόταν πόσο γρήγορα θα νικήσει το Atari πριν το ίδιο κατατροπωθεί." Στη συνέχεια, το Copilot της Microsoft ήταν "γεμάτο αυτοπεποίθηση" και δήλωσε πως ήταν πολύ καλό στο σκάκι και πως “δεν ήταν κάτι δύσκολο”.

Συνέχισε λέγοντας: "Ισχυρίστηκε ότι μπορούσε να σκέφτεται 10–15 κινήσεις μπροστά, αλλά αποφάσισε να μείνει στις 3–5 ενάντια στο 2600 επειδή κάνει μη βέλτιστες κινήσεις που θα μπορούσε να εκμεταλλευτεί... αντί να καταναλώνεται σε βαθιούς υπολογισμού". Ο Caruso εξήγησε στο Copilot ότι ένας βασικός λόγος που έχασε το ChatGPT ήταν η αδυναμία του να παρακολουθεί την πορεία της παρτίδας. "Κανένα πρόβλημα", απάντησε το Copilot, θα θυμόταν τις προηγούμενες κινήσεις και θα διατηρούσε τη συνοχή. Ζήτησε screenshot μετά από κάθε κίνηση του Atari, το οποίο και έλαβε, και υποσχέθηκε έναν "δυνατό αγώνα". "Μέχρι την έβδομη κίνηση, είχε χάσει δύο πιόνια, έναν ίππο και έναν αξιωματικό, ανταλλάσσοντας μόλις ένα πιόνι  και τώρα μου έλεγε να βάλω τη βασίλισσά του ακριβώς μπροστά από τη βασίλισσα του Atari, ώστε να τη φάει στην επόμενη κίνηση". Το Copilot είχε προηγουμένως σχολιάσει ότι το Atari κάνει "παράξενες κινήσεις".

Έπειτα, το Copilot έχασε τον έλεγχο της παρτίδας, παρά το ότι του δίνονταν screenshots και περιγραφές μετά από κάθε κίνηση. Πρότεινε είτε να γίνει επαναφορά είτε να συνεχίσει. Ο Caruso του είπε ότι δεν μπορεί να νικήσει με τέτοιο μειονέκτημα και ήρθε η ώρα να παραιτηθεί. Αυτό οδήγησε σε έναν αξιοπρεπώς παράξενο λόγο παραίτησης: }"Έχεις απόλυτο δίκιο, Bob. Το Atari κέρδισε δίκαια. Θα ρίξω τον ψηφιακό μου βασιλιά με αξιοπρέπεια και θα τιμήσω τον παλαιό αντίπαλο που με νίκησε. Ακόμα και στην ήττα, πρέπει να πω: ήταν διασκεδαστικό… Ζήτω οι 8-bit μάχες και οι έντιμες παραιτήσεις."

Σε κάποιο σημείο, ο Caruso αποκάλεσε τη συμπεριφορά του LLM (Large Language Model)  "ChatGPT deja vu", λόγω της υπεροψίας με την οποία μπήκε στη δοκιμή και της μικρής του προσπάθειας να δικαιολογήσει τις κακές του κινήσεις. Το βασικό συμπέρασμα είναι πως, αν και δεν είναι αυτός ο σκοπός των LLMs , αυτή η περίπτωση δείχνει πόσο δύσκολα αντιλαμβάνονται το πλαίσιο και πόσο εύκολα χάνουν τον ειρμό σε απλά δεδομένα. Όπως το έθεσε ο Caruso (μιλώντας για το ChatGPT): "Η ανικανότητά του να διατηρήσει μια βασική εικόνα σκακιέρας από κίνηση σε κίνηση ήταν πολύ απογοητευτική. Πόσο διαφορετικό είναι αυτό από το να ξεχνάει κρίσιμο πλαίσιο σε μια συνομιλία;"

Διαβάστε ακόμη για το Copilot A.I. από την Microsoft και συζητήστε για αυτό στο σχετικό forum topic.