Το MedWatch παρουσιάστηκε ως ένα νέο ψηφιακό «ραντάρ» για παράνομες ιατρικές διαφημίσεις και πιθανές παραβάσεις στο διαδίκτυο, στον απόηχο της υπόθεσης Μαζωνάκη. Θεσμικά κενά και ανυπαρξία ελέγχων τα τελευταία χρόνια «βάπτισαν» το MedWatch ως το απόλυτο εργαλείο που θα ξεσκεπάσει τα κακώς κείμενα στον ευρύτερο χώρο της Υγείας. Χθες, η επίσημη παρουσίαση των πρώτων αποτελεσμάτων του συστήματος αποκάλυψε σημαντικούς μεθοδολογικούς περιορισμούς, με άγνωστο ποσοστό λαθών, ελλιπή κάλυψη, προβλήματα ταυτοποίησης δομών και αδυναμία ελέγχου όσων συμβαίνουν εκτός δημόσιου διαδικτύου.
- Γράφει ο Κοσμάς Ζακυνθινός
Το MedWatch φιλοδοξεί να αλλάξει τον τρόπο με τον οποίο οι ελεγκτικοί μηχανισμοί εντοπίζουν ύποπτες πρακτικές στην αγορά υπηρεσιών υγείας. Σαρώνει διαφημίσεις σε Google και Meta, ιστοσελίδες και δημόσιες αναρτήσεις, αντιστοιχίζει το περιεχόμενο με επαγγελματικά μητρώα και νομοθετικούς κανόνες και στη συνέχεια επισημαίνει τις περιπτώσεις που θεωρεί ότι χρειάζονται έλεγχο. Και όλα καλά μέχρι εδώ!
Η τεχνολογική προσέγγιση είναι φιλόδοξη. Ωστόσο, η ίδια η παρουσίαση του συστήματος στο Υπουργείο Υγείας, από τον Άδωνι Γεωργιάδη, αποκαλύπτει ότι το MedWatch βρίσκεται ακόμη σε φάση όπου δεν έχει αποδειχθεί πόσο ακριβές είναι. Και αυτό είναι το βασικό ερώτημα της μεθοδολογικής εξέτασης του εργαλείου.
Ο υπουργός Υγείας στάθηκε αριθμητικά στο πόσες «κόκκινες» ή «κίτρινες» σημάνσεις παράγει, δίχως να υπάρχουν στοιχεία για το πόσες από αυτές αντιστοιχούν τελικά σε πραγματικές παραβάσεις.
Πρακτικά, αυτό σημαίνει ότι τα 197 κόκκινα και 2.606 κίτρινα ευρήματα, δεν αποτελούν τεκμήριο για το ποσοστό που θα επιβεβαιωθεί μετά τον μηχανισμό ανθρώπινου ελέγχου.
Ακόμη πιο σημαντικό είναι ότι δεν παρουσιάζεται μέτρηση για τα ψευδώς αρνητικά αποτελέσματα. Δηλαδή, τις πραγματικές παραβάσεις που ενδέχεται το σύστημα να μην έχει εντοπίσει καθόλου.
Για την επιστημονική αξιολόγηση ενός τέτοιου μηχανισμού δεν αρκεί ο αριθμός των flags. Χρειάζεται να γνωρίζουμε πόσο συχνά το σύστημα έχει δίκιο όταν «χτυπά συναγερμό» και πόσο συχνά χάνει πραγματικές παραβάσεις.
Το MedWatch βλέπει μόνο τη δημόσια πλευρά του διαδικτύου
Οι πηγές του συστήματος είναι σαφώς καθορισμένες: Google Ads, Meta, ιστοσελίδες, δημόσιες αναρτήσεις και δημόσια μητρώα Συλλόγων. Συνεπώς, το MedWatch μπορεί να εντοπίσει μόνο ό,τι αφήνει δημόσιο ψηφιακό ίχνος. Τι σημαίνει αυτό;
Το MedWatch δεν μπορεί, με βάση τη μεθοδολογία που έχει σε ισχύ, να παρακολουθήσει ιδιωτικά μηνύματα, κλειστές ομάδες, μη δημόσια stories, WhatsApp, Viber ή Telegram, τηλεφωνικές προωθήσεις, email marketing ή υπηρεσίες που προσφέρονται μέσα σε ένα ιατρείο χωρίς να διαφημίζονται online.
Άρα το σύστημα δεν αποτελεί πλήρη χαρτογράφηση των πιθανών παράνομων πρακτικών στην αγορά υγείας. Αποτελεί χαρτογράφηση ενός συγκεκριμένου τμήματος και μόνο. Αυτό της δημόσιας online παρουσίας.
Τρία στα δέκα ιατρεία παραμένουν εκτός πλήρους χαρτογράφησης
Η χθεσινή παρουσίαση ανέφερε ότι περίπου το 70% των ιατρείων των βασικών μητρώων έχει χαρτογραφηθεί. Στον Ιατρικό Σύλλογο Αθηνών (ΙΣΑ) η κάλυψη είναι 69%, ενώ στον Ιατρικό Σύλλογο Θεσσαλονίκης (ΙΣΘ) 68%.
Δηλαδή, περίπου 30% των ιατρείων δεν έχει ακόμη συνδεθεί πλήρως με τον ψηφιακό χάρτη. Συνεπώς τα δεδομένα δεν περιγράφουν ακόμη το σύνολο της αγοράς, αλλά ένα μεγάλο -όχι όμως πλήρες- τμήμα της.
Ταυτόχρονα, ένα από τα πιο δύσκολα τεχνικά προβλήματα βρίσκεται στη σύνδεση μιας online διαφήμισης με ένα πραγματικό πρόσωπο ή μια πραγματική δομή. Το MedWatch διαθέτει 43.990 εγγραφές γιατρών από δημόσια μητρώα. Ωστόσο, στην παρουσίαση αναφέρεται ότι 3.228 δομές έχουν συνδεθεί και άλλες 556 βρίσκονται ακόμη σε ουρά ταυτοποίησης.
Ένα ιατρείο μπορεί να εμφανίζεται online με εμπορική επωνυμία διαφορετική από το όνομα του γιατρού. Μια διαφημιστική καμπάνια μπορεί να τρέχει μέσω agency. Μια κλινική μπορεί να φιλοξενεί δεκάδες γιατρούς. Ένας επαγγελματίας μπορεί να διατηρεί περισσότερα ιατρεία ή να συνεργάζεται με διαφορετικές επιχειρήσεις.
Αν η αντιστοίχιση γίνει λάθος, υπάρχει κίνδυνος ένα εύρημα να αποδοθεί σε λάθος δομή ή λάθος επαγγελματία.
Η παρουσίαση δείχνει μάλιστα ότι 375 δομές δεν είχαν ακόμη γεωγραφική περιοχή και παρέμεναν εκτός συγκεκριμένων συγκριτικών πινάκων.
Χιλιάδες περιεχόμενα περιμένουν ακόμη ταξινόμηση
Μία ακόμη αδυναμία αφορά το είδος του περιεχομένου που καλείται να αναλύσει η τεχνητή νοημοσύνη. Το MedWatch χρησιμοποιεί γλωσσικό μοντέλο για να αναγνωρίσει την πράξη, τον ισχυρισμό, τον εκτελεστή, το φάρμακο και τον χώρο.
Ωστόσο, 8.621 περιεχόμενα δεν είχαν ακόμη ταξινομηθεί κατά την παρουσίαση. Από αυτά, 4.821 ήταν δημιουργικά της Google χωρίς διαθέσιμο κείμενο.
Η σύγχρονη online διαφήμιση είναι σε μεγάλο βαθμό οπτική. Το επίμαχο μήνυμα μπορεί να βρίσκεται μόνο πάνω σε μια φωτογραφία, σε ένα βίντεο, σε ένα before-and-after ή σε ένα γραφικό.
Εάν το κείμενο που χρειάζεται το σύστημα δεν είναι διαθέσιμο ή δεν εξάγεται αξιόπιστα, τότε το ίδιο το παραβατικό μήνυμα μπορεί να μείνει εκτός ταξινόμησης.
Το σύστημα μπορεί να χάσει βραχύβιες διαφημίσεις
Η παρουσίαση περιγράφει επαναλαμβανόμενη συλλογή των δεδομένων, με αποθήκευση στιγμιότυπου και ημερομηνίας ώστε να παραμένει το τεκμήριο ακόμη και μετά την αφαίρεση μιας διαφήμισης.
Το σύστημα, όμως, δεν παρακολουθεί κατ’ ανάγκη κάθε στιγμή κάθε πλατφόρμα.
Αυτό αφήνει ένα δυνητικό κενό για καμπάνιες πολύ μικρής διάρκειας, περιεχόμενο που ανεβαίνει και διαγράφεται γρήγορα ή stories που εξαφανίζονται.
Αν κάτι δημοσιευτεί και αφαιρεθεί μεταξύ δύο σαρώσεων, δεν υπάρχει εγγύηση από τα στοιχεία που παρουσιάστηκαν ότι θα καταγραφεί.
Το παρελθόν πριν από την έναρξη της παρακολούθησης έχει κενά
Ένα ακόμη κρίσιμο σημείο αφορά τη χρονική κάλυψη. Η παρουσίαση αναφέρει ότι οι παλαιότερες διαφημίσεις σώζονται μόνο εάν εξακολουθούσαν να είναι ενεργές όταν ξεκίνησε η συλλογή, ενώ η Meta καταχωρίζει ορισμένα στοιχεία με χρονική καθυστέρηση. Άρα το MedWatch δεν αποτελεί πλήρες ιστορικό αρχείο.
Μια παράνομη διαφήμιση που έτρεξε για εβδομάδες και σταμάτησε λίγο πριν την έναρξη της καταγραφής μπορεί να μην υπάρχει καθόλου στη βάση. Αυτό δημιουργεί σαφές όριο στην αναδρομική διερεύνηση.
Το -91% είναι πραγματικό ως μέτρηση, όχι όμως αποδεδειγμένη επίδραση του MedWatch
Ένα από τα στοιχεία που προβλήθηκαν περισσότερο είναι η πτώση των νέων online διαφημίσεων από 141 στις 10 Σεπτεμβρίου σε 13 στις 27 Σεπτεμβρίου — μείωση 91%. Το αριθμητικό αποτέλεσμα προκύπτει από τα δεδομένα.
Εκείνο που δεν αποδεικνύεται με την ίδια βεβαιότητα είναι ότι η μείωση προκλήθηκε από το MedWatch.
Δεν υπάρχει ομάδα ελέγχου, δεν παρουσιάζεται εποχικά προσαρμοσμένη σύγκριση και οι ίδιες οι πλατφόρμες εμφανίζουν χρονικές καθυστερήσεις.
Ακόμη πιο αποκαλυπτικό είναι ότι το ίδιο το MedWatch σημειώνει πως δεν μπορεί να ξεχωρίσει εάν μια διαφήμιση σταμάτησε λόγω της δημοσιότητας, επειδή απλώς έληξε η καμπάνια ή για διαφορετικό λόγο.
Ένα εύρημα δεν ισοδυναμεί με έναν παραβάτη
Μία από τις μεγαλύτερες παγίδες στην ανάγνωση των αποτελεσμάτων είναι η χρήση διαφορετικών μονάδων μέτρησης.
Στην παρουσίαση υπάρχουν «περιεχόμενα», «διαφημίσεις», «ευρήματα», «δομές» και «διαφημιζόμενοι». Για παράδειγμα, αναφέρονται 911 περιεχόμενα με τη λέξη Botox, 468 κόκκινα ευρήματα για μη γιατρούς και 172 επιχειρήσεις πίσω από αυτά τα ευρήματα.
Οι αριθμοί αυτοί δεν είναι μεταξύ τους ισοδύναμοι. Δηλαδή, μία επιχείρηση μπορεί να έχει δέκα διαφορετικές διαφημίσεις και κάθε διαφήμιση να παράγει περισσότερα από ένα ευρήματα. Επομένως, το «911» δεν σημαίνει αυτόματα και 911 παραβάτες.
Αν αυτές οι κατηγορίες αναμειχθούν στην επικοινωνία των αποτελεσμάτων, μπορεί να δημιουργηθεί πολύ μεγαλύτερη εικόνα παραβατικότητας από εκείνη που τελικά θα επιβεβαιώσουν οι ελεγκτές.
Τα κίτρινα αυξάνονται επειδή αυξάνεται και η σάρωση
Το MedWatch αναφέρει ότι τα κίτρινα ευρήματα αυξήθηκαν θεαματικά. Ωστόσο, το ίδιο το σύστημα εξηγεί γιατί, καθώς όσο περισσότερες σελίδες και διαφημίσεις διαβάζει, τόσο περισσότερες πιθανότητες έχει να παράξει νέα ευρήματα.
Άρα δεν μπορούμε να πούμε ότι η αύξηση των κίτρινων σημαίνει αύξηση των παραβάσεων. Για να συγκριθούν πραγματικά οι περίοδοι θα χρειαζόταν ένας σταθερός δείκτης, όπως: ευρήματα ανά 1.000 διαφημίσεις, ανά 1.000 ιστοσελίδες ή ανά 1.000 δομές.
Τέτοιος κανονικοποιημένος δείκτης δεν παρουσιάζεται στο συγκεκριμένο υλικό του MedWatch.
Οι 12 κανόνες δεν μπορούν να αποτυπώσουν κάθε ιατρική εξαίρεση
Η καρδιά του MedWatch βρίσκεται στους 12 κανόνες V1-V12, στους οποίους αντιστοιχίζεται κάθε ύποπτο περιεχόμενο. Αυτό κάνει εφικτή την αυτοματοποίηση.
Ταυτόχρονα όμως δημιουργεί πρόβλημα όταν η νομοθεσία απαιτεί ερμηνεία ή όταν μια πράξη είναι νόμιμη μόνο υπό συγκεκριμένες προϋποθέσεις. Χαρακτηριστικό παράδειγμα είναι η αλλαντική τοξίνη στους οδοντιάτρους.
Η ίδια παρουσίαση σημειώνει ότι μπορεί να χρησιμοποιηθεί για θεραπευτικό σκοπό, αλλά όχι ότι κάθε χρήση της είναι νόμιμη.
Μια διαφήμιση μπορεί να γράφει απλώς «Botox» χωρίς να διευκρινίζει ένδειξη, ανατομική περιοχή ή ποιος ακριβώς εκτελεί την πράξη. Η τεχνητή νοημοσύνη πρέπει τότε να αποφασίσει με ελλιπή στοιχεία.
Η μεγαλύτερη διαφορά μεταξύ διαδικτύου και πραγματικού κόσμου
Το MedWatch μπορεί να αναγνωρίσει τι διαφημίζει μια δομή. Δεν μπορεί να γνωρίζει με βεβαιότητα τι πραγματικά συμβαίνει μέσα σε αυτήν.
Ένα κέντρο αισθητικής μπορεί να διαφημίζει μια ιατρική πράξη, αλλά να συνεργάζεται με αδειοδοτημένο γιατρό.
Ή μπορεί να εμφανίζεται ένας γιατρός ως συνεργάτης, αλλά την πράξη να πραγματοποιεί διαφορετικό πρόσωπο. Η online πληροφορία δεν λύνει αυτό το ζήτημα.
Χρειάζεται επιτόπιος έλεγχος, εξέταση αδειών, συμβάσεων, παραστατικών και πραγματικών πρακτικών.
Γι’ αυτό ακριβώς η ίδια η μεθοδολογία αναφέρει ότι το χρώμα αποτελεί μόνο «υποψήφιο» εύρημα και ότι η τελική αξιολόγηση ανήκει στους ανθρώπινους ελεγκτές.
Η ιδιωτικότητα προστατεύεται – αλλά δημιουργεί ένα αναπόφευκτο όριο
Το σύστημα δεν συλλέγει στοιχεία ασθενών. Αυτό αναφέρεται ρητά στην παρουσίαση. Από πλευράς προστασίας προσωπικών δεδομένων αυτό αποτελεί θετικό χαρακτηριστικό.
Σημαίνει όμως ταυτόχρονα ότι το MedWatch δεν μπορεί μόνο του να επιβεβαιώσει εάν υπήρξε πραγματική ιατρική εξέταση πριν από μια συνταγή, εάν μία θεραπεία είχε συγκεκριμένη ένδειξη ή εάν τηρήθηκε η διαδικασία συναίνεσης. Χρειάζεται σύνδεση με άλλους ελέγχους και άλλα θεσμικά δεδομένα.
Η αντίφαση με τους οδοντιάτρους
Ιδιαίτερο ενδιαφέρον παρουσιάζει μια φαινομενική ασυνέπεια στην ίδια την παρουσίαση. Σε μία διαφάνεια καταγράφονται ήδη 119 ευρήματα σε οδοντιατρεία για υαλουρονικό, PRP, μεσοθεραπεία, Botox και νήματα.
Σε μεταγενέστερο σημείο όμως αναφέρεται ότι το μητρώο του Οδοντιατρικού Συλλόγου Αττικής έχει μεν ανακτηθεί, αλλά η αντιστοίχιση βρίσκεται ακόμη σε δοκιμή και μέχρι να ολοκληρωθεί η συνεργασία δεν θα αποδίδεται επίσημη σήμανση ούτε θα δημοσιοποιούνται ευρήματα για τον συγκεκριμένο κλάδο.
Εάν τα 119 ευρήματα βασίζονται στην κατηγοριοποίηση Google dentist/dental_clinic και όχι σε πλήρως διασταυρωμένο μητρώο, τότε η αξιοπιστία της ταυτοποίησης των συγκεκριμένων δομών πρέπει να παρουσιαστεί διαφορετικά από εκείνη των ιατρών που έχουν ήδη διασυνδεθεί με τα επίσημα μητρώα.
Google Places: Χρήσιμο εργαλείο, όχι επίσημο μητρώο
Η συγκεκριμένη περίπτωση αναδεικνύει ένα ευρύτερο ζήτημα. Για ορισμένες κατηγορίες επαγγελματιών η αρχική χαρτογράφηση γίνεται μέσω Google Places.
Οι οδοντίατροι εντοπίζονται ως dentist/dental_clinic, οι φυσικοθεραπευτές ως physiotherapist, ενώ οι διαιτολόγοι αναζητούνται ακόμη και βάσει της επωνυμίας.
Όμως το Google Places δεν αποτελεί επίσημο επαγγελματικό μητρώο.
Οι κατηγορίες μπορούν να είναι παλιές, λανθασμένες ή να έχουν δηλωθεί από τον ίδιο τον επιχειρηματία.
Αυτό σημαίνει ότι πριν χρησιμοποιηθεί ένα εύρημα θεσμικά χρειάζεται διασταύρωση με τον επίσημο φορέα.
Το MedWatch είναι screening – όχι απόδειξη
Αυτό είναι τελικά το κρίσιμο συμπέρασμα που προκύπτει από τα ίδια τα στοιχεία της πλατφόρμας.
Το MedWatch έχει ήδη τη δυνατότητα να επεξεργάζεται τεράστιο όγκο δεδομένων με 37.216 περιεχόμενα, 29.536 ταξινομήσεις μέσω γλωσσικού μοντέλου και περίπου 130 εκατ. tokens επεξεργασίας μέσα στις πρώτες ημέρες λειτουργίας.
Αυτό το καθιστά δυνητικά εξαιρετικά χρήσιμο εργαλείο screening. Μπορεί να περιορίσει μια τεράστια αγορά σε ένα μικρότερο σύνολο ύποπτων περιπτώσεων και να δείξει στους ελεγκτές πού αξίζει να κοιτάξουν πρώτα.
Δεν είναι, όμως, τουλάχιστον με τα μέχρι σήμερα διαθέσιμα δεδομένα, εργαλείο που μπορεί να αποφαίνεται μόνο του ότι μια δομή ή ένας επαγγελματίας παρανομεί.
Και το ίδιο το MedWatch το αναγνωρίζει ρητά επισημαίνοντας πως καμία απόφαση δεν λαμβάνεται αυτόματα.
Κάντε like στη σελίδα μας στο facebook για να μαθαίνετε όλα τα νέα
Διαβάστε επίσης
MedWatch: 197 «κόκκινα» και 2.606 «κίτρινα» ευρήματα – Τι είπε ο Δοξαράς
MedWatch: Μείωση 91% στις online διαφημίσεις – Τα αποτελέσματα των ελέγχων
