És totalment necessari tenir ben clars els següents desafiaments per tal d'orientar l'ús de la tecnologia d'IA. Els docents han de fer conscient l'alumnat dels riscos perquè aquest pugui interpretar millor els resultats obtinguts de l'ús de la IA.
Privacitat
La interacció amb la IA genera moltes dades que es poden usar per crear perfils detallats de persones. Això s’utilitza sovint per a la personalització d’anuncis, però també podria tenir usos més invasius, com ara la concessió o denegació de crèdits. Per tant, és important no compartir mai dades personals reals (com el nom complet, l’adreça o dades mèdiques) amb sistemes d’IA, ja que podrien acabar en mans d’organitzacions externes. A més, hi ha el problema de la traçabilitat i el coneixement del funcionament dels sistemes d’IA. Algunes d’aquestes tecnologies, especialment les basades en xarxes neuronals, funcionen com una “caixa negra”, i és difícil entendre com arriben a les seves conclusions.
Vigilància
Aquest risc va molt lligat a l’anterior. El recull de dades constant pot fer que l’alumnat pugui estar monitorat constantment. Aquesta vigilància té implicacions en l’actuació de les persones. En cas de sentir-se vigilat, cal canviar la manera d’actuar, inhibint algunes actuacions o adaptant-se al que s’espera que es faci.
Falta d'autonomia
Traspassar decisions a les IA pot provocar una falta d’autonomia de les persones en determinades ocasions. Rebre sempre indicacions o recomanacions pot provocar un aïllament i una influència clara en els interessos de les persones.
Biaixos
Les IA aprenen de dades generades pels humans que, sovint, tenen biaixos. Hi ha molts exemples en IA generativa que demostren aquests biaixos, com demanar una imatge d’una persona intel·lectual a una aplicació de generació d’imatges i que el retorn sigui sempre d’homes blancs, o sempre donant un paper predominant a les dones, en el cas de Gemini. En el cas de la personalització de l’aprenentatge de l’alumnat, aquest risc és encara més delicat, ja que aquests biaixos podrien generar discriminació.
Confiança excessiva
La IA és capaç de generar informació (imatges, sons, textos o altres dades) que no existeix en realitat i que, a primera vista, pot semblar verídica. A més, la IA generativa crea resultats no esperats, que no es corresponen amb el que s’esperava, i que s’anomenen al·lucinacions. Dit d’una altra manera, la IA s’inventa informació. Per això, cal aplicar el pensament crític per poder verificar la fiabilitat del resultat obtingut.
Bretxa digital
La majoria d’aplicacions d’IA han seguit el model de negoci; inicialment són gratuïtes, però al cap de poc temps es fan de pagament (sigui completament o, almenys, per a les funcionalitats més potents). Aquest fet pot causar desigualtats entre alumnes i entre centres.
Protecció de dades
Hi ha manca d’informació en algunes eines d’IA sobre el tractament de les dades personals dels usuaris i dels tercers, que poden incloure informació delicada o relativa a col·lectius vulnerables com els menors d’edat. Això pot implicar la pèrdua de control sobre les mateixes dades: qui les té, què en farà, a qui les comunicarà i la impossibilitat pràctica de saber davant de qui exercir els drets de protecció de dades (accés, rectificació, oposició, supressió i limitació del tractament).