Τι είναι ένας αλγόριθμος; Είναι μια λέξη που ακούμε συχνά όταν οι εταιρείες τεχνολογίας μιλούν για τεχνητή νοημοσύνη, smartphones και άλλες λαμπερές καταναλωτικές τεχνολογίες. Μας λένε ότι οι αλγόριθμοι καθιστούν τη ζωή μας ευκολότερη, αυτοματοποιώντας τις κουραστικές διαδικασίες με την εκπαίδευση των υπολογιστών ώστε να λαμβάνουν αποφάσεις για εμάς. Αλλά οι περισσότεροι από εμάς σπανίως έχουμε την ευκαιρία να κατανοήσουμε ακριβώς τι είναι ή πώς διαμορφώνουν τον κόσμο μας.
Η Janus Rose είναι μια τρανς γυναίκα που ασχολείται με την επιστήμη και τη συγγραφή επιστημονικών βιβλίων. Μέσα από ένα κείμενό της, μας εξηγεί τους κινδύνους που μπορεί να κρύβει ένας αλγόριθμος.
Οι αλγόριθμοι αποτελούν μια προτεινόμενη κανονικότητα για τον τρόπο με τον οποίο ο κόσμος θα πρέπει να λειτουργεί και να εφαρμόζεται μέσω κώδικα. Αυτές οι υποθέσεις κανονικότητας αντικατοπτρίζουν τις προκατειλημμένες υποθέσεις των δημιουργών τους και μπορεί να είναι επικίνδυνες, αφού μπορούν να λειτουργήσουν ως εργαλεία καταπίεσης, εδραιώνοντας τη δομική ανισότητα που διαπερνά την κοινωνία μας και επιβάλλοντας ένα μοντέλο που επηρεάζει αρνητικά ανθρώπους σαν κι εμένα. Όταν αναπτύσσουμε αλγόριθμους σε μεγάλα συστήματα που επηρεάζουν εκατομμύρια ανθρώπους, οι βλαβερές επιδράσεις τους πολλαπλασιάζονται. Ανεξάρτητα από τις καλές προθέσεις του δημιουργού, μπορούν να λειτουργήσουν για να επωφεληθούν τα ισχυρά και προνομιούχα άτομα προκαλώντας καταστροφικές επιπτώσεις στους πιο ευάλωτους από εμάς – πρόσφυγες, ΛΟΑΤΚΙ, μη λευκούς κ.α.
Ένα ανησυχητικό παράδειγμα έχει να κάνει με το πεδίο της «αναγνώρισης φύλου», μιας υποκατηγορίας αναγνώρισης προσώπου που επιδιώκει να δημιουργήσει αλγορίθμους που καθορίζουν το φύλο ενός ατόμου από φωτογραφίες των φυσικών προσώπων και των σωμάτων τους. Φυσικά, το φύλο δεν είναι κάτι που μπορεί να προσδιοριστεί από την εμφάνιση ενός ατόμου. Και τα τρανς άτομα, αντιμετωπίζουν συχνά διακρίσεις, παρενοχλήσεις και βιαιοπραγίες όταν η εμφάνισή μας δεν συμμορφώνεται με τις προσδοκίες του «αρσενικού» ή του «θηλυκού».
Παρ ‘όλα αυτά, πολλές εταιρείες αναπτύσσουν αλγορίθμους αναγνώρισης φύλου βάσει αυτών των προτύπων, καθορίζοντας στενά το φύλο ως κάτι που εντάσσεται σε μία από τις δύο κατηγορίες και βασίζεται αποκλειστικά στα χαρακτηριστικά του προσώπου ή του σώματος. Κάτι που θυμίζει το αρχείο που διέρρευσε από το Υπουργείο Υγείας και Ανθρωπίνων Υπηρεσιών των ΗΠΑ, στο οποίο η διοίκηση Trump δήλωνε την πρόθεσή της να ορίσει νόμιμα το φύλο ως “είτε ανδρικό είτε θηλυκό, αμετάβλητο και καθοριζόμενο από τα γεννητικά όργανα ενός ατόμου”.
Αυτές οι ψευδείς ιδέες για το φύλο δεν αντιπροσωπεύουν τη σύγχρονη επιστήμη. Αλλά τα συστήματα μηχανικής εκμάθησης μπορούν να κάνουν μόνο προσδιορισμούς με βάση τα μοντέλα της πραγματικότητας που τους παρέχουμε, ανεξάρτητα από το αν αυτά τα μοντέλα βασίζονται στην αλήθεια. Αν επιτρέψουμε σε αυτές τις υποθέσεις να ενσωματωθούν σε συστήματα που ελέγχουν την πρόσβαση των ανθρώπων σε πράγματα όπως η υγειονομική περίθαλψη, η οικονομική βοήθεια ή ακόμη και τις τουαλέτες, οι τεχνολογίες που προκύπτουν θα έχουν σοβαρό αντίκτυπο στην ικανότητα των ανθρώπων να ζουν στην κοινωνία.
Η απόδειξη αυτού του προβλήματος μπορεί να βρεθεί ήδη στο φυσικό περιβάλλον. Το 2017, ένας χρήστης του Reddit ανακάλυψε ένα ανατριχιαστικό σύστημα διαφήμισης σε μια πιτσαρία στο Όσλο, η οποία χρησιμοποίησε αναγνώριση προσώπου για να προβάλλει διάφορα πιάτα. Το λειτουργικό του συστήματος αποκάλυψε ότι ταξινομούσε τους ανθρώπους που περπατούσαν στο παρελθόν με βάση το φύλο, την εθνικότητα και την ηλικία. Εάν ο αλγόριθμος προσδιόριζε κάποιο άτομο ως αρσενικό, στην οθόνη εμφανιζόταν μια διαφήμιση για πίτσα. Εάν το προσδιόριζε ως θηλυκό, η οθόνη έδειχνε μια σαλάτα.
Κάποιοι τεχνολόγοι έχουν χρησιμοποιήσει την ιδέα της αλγοριθμικής επιβολής του φύλου ακόμα περισσότερο. Στο Πανεπιστήμιο της Βόρειας Καρολίνας στο Wilmington, οι ερευνητές δημιούργησαν ένα σύστημα που προσπαθεί να εντοπίσει τους τρανς ανθρώπους που βρίσκονται σε ορμονοθεραπεία. Για να γίνει αυτό, οι ερευνητές βασίστηκαν στον YouTube για σχετικά βίντεο, τα οποία περιλαμβάνουν μια σειρά φωτογραφιών που καταγράφουν την αλλαγή του πρόσωπο ενός τρανς ατόμου με την πάροδο του χρόνου. Αυτά τα βίντεο είναι εξαιρετικά προσωπικά και αποτελούν πηγή ενδυνάμωσης για την τρανς κοινότητα- ειδικά για εκείνους τους ανθρώπους που δεν έχουν ξεκινήσει τις ορμόνες και επιδιώκουν να επιβεβαιώσουν ότι η θεραπεία θα βοηθήσει στην ανακούφιση της κατάστασής τους.
Τα κίνητρα των ερευνητών όμως δεν είχαν να κάνουν με την ενδυνάμωση. Μιλώντας στο The Verge, ο καθηγητής που ηγήθηκε του έργου επιχείρησε να δικαιολογήσει τη δουλειά του με ένα σενάριο φαντασίας, στο οποίο ένας τρομοκράτης παίρνει ορμόνες για να αποφύγει τους αλγορίθμους της αναγνώρισης προσώπου και περνά παράνομα τα σύνορα. Φυσικά, κάθε τρανς άτομο θα μπορούσε να σας πει ότι αυτή η υπόθεση είναι τουλάχιστον γελοία. Ωστόσο, η βλάβη στους τρανς ανθρώπους μόνο γελοία δεν είναι. Όχι μόνο οι ερευνητές δημιούργησαν το σύνολο δεδομένων από τα βίντεο χωρίς τη συγκατάθεση των τρανς δημιουργών τους, αλλά το έκαναν και για να εκπαιδεύσουν αλγόριθμους πρόβλεψης που στην ουσία κάνουν outing στους ανθρώπους, χρησιμοποιώντας αρχειοθετημένες φωτογραφίες. Εάν οι ερευνητές είχαν συμβουλευτεί κάποιον τρανς άτομο πριν από την έναρξη του έργου, θα ήξεραν ότι πολλοί από εμάς δεν θέλουμε να συνδεθούμε με το παρελθόν μας, το όνομα ή την εμφάνισή μας. Θέλουμε να ζήσουμε την αλήθεια μας στο παρόν και να καθορίσουμε το δικό μας μέλλον – να μην κατηγοριοποιηθούμε με αλλοιωμένες ψευδείς ταυτότητες που αναγκαστήκαμε να “φορέσουμε” στο παρελθόν.
Τα τρανς άτομα δεν είναι η μόνη ομάδα που απειλείται από αυτά τα επικίνδυνα πειράματα. Οι ερευνητές του Πανεπιστημίου του Στάνφορντ ανέπτυξαν ένα σύστημα εκμάθησης μηχανών που ισχυρίζονται ότι μπορούν να προσδιορίσουν τον σεξουαλικό προσανατολισμό των ανθρώπων με βάση τα χαρακτηριστικά του προσώπου. Στην Κίνα, μια άλλη ομάδα ερευνητών ισχυρίζεται ότι μπορούν να ανιχνεύσουν την πιθανότητα κάποιος να διαπράξει έγκλημα που βασίζεται αποκλειστικά στο πρόσωπο ενός ατόμου. Και τα δύο πειράματα είναι ριζικά ελλιπή. Οι αλγόριθμοι δεν μπορούν πραγματικά να πει αν κάποιος είναι queer ή πιθανός εγκληματίας; Δημιουργούν απλώς έναν μηχανισμό ανατροφοδότησης, όπου το σύστημα λαμβάνει δεδομένα σχετικά με άτομα που έχουν αποφασιστεί προηγουμένως να ανήκουν σε μια συγκεκριμένη ομάδα και συμπεραίνει ότι όλοι με παρόμοια χαρακτηριστικά ανήκουν σε αυτήν την ομάδα.
Αυτά τα ελαττωματικά πειράματα αγνοούν τις κοινωνικές και οικονομικές πραγματικότητες, όπως το γεγονός ότι οι φτωχοί άνθρωποι, οι μετανάστες και οι ΛΟΑΤΚΙ+ ελέγχονται και φυλακίζονται σε δυσανάλογα υψηλά ποσοστά. Προσφέρουν επίσης βάση στην πρακτική της φυσιογνωμίας, μιας μακρόχρονης και κακόβουλης ρατσιστικής ψευδοεπιστήμης που χρησιμοποιεί λεπτές διαφορές στα ανθρώπινα πρόσωπα και τη δομή των οστών για να δικαιολογήσει τις διακρίσεις.
Αν θέλουμε να δημιουργήσουμε έναν πιο δίκαιο κόσμο, πρέπει να αναγνωρίσουμε ότι μερικές φορές αυτοί οι αλγόριθμοι δεν είναι απλώς «σπασμένοι», αλλά λειτουργούν ακριβώς όπως προβλεπόταν. Η τεχνολογία είναι μια αντανάκλαση της κοινωνίας που την δημιούργησε. Χωρίς την παρέμβασή μας, μια κοινωνία που ωφελεί ιστορικά τη λευκή υπεροχή, την πατριαρχία και τις βλαβερές υποθέσεις για το φύλο και τη σεξουαλικότητα θα παράγει τεχνολογία που κατοχυρώνει αυτές τις αξίες. Εξαρτάται από εμάς ως πολίτες να απορρίπτουμε έναν τέτοιο κόσμο και να εργαστούμε για τη δημιουργία ενός νέου, με τεχνολογία που λειτουργεί για όλους.
