Intelligent Systems, Human Consequences: Essays on AI in Identity, Education, and Legitimacy

Abstract

A mesura que els sistemes d’intel·ligència artificial (IA) esdevenen cada vegada més un denominador comú en la interacció amb els consumidors, l’educació i la presa de decisions en les organitzacions, esdevé fonamental entendre els determinants psicològics i contextuals de les respostes humanes davant la IA. Aquesta tesi explora com les persones perceben i valoren els sistemes d’IA en contextos de recomanació personalitzada, educació i col·laboració humà-IA. Mitjançant una sèrie d’estudis experimentals, examino els mecanismes psicològics subjacents a la recepció algorítmica, centrant-me en com els tipus de dades, els nivells d’automatització i els rols dels actors configuren les actituds i comportaments dels usuaris. En l’àmbit dels sistemes de recomanació, demostro que el tipus de dades processades pels sistemes d’IA genera diferents nivells d’acceptabilitat i de percepció d’amenaça a la individualitat, amb efectes moderats per factors contextuals com ara la sensibilitat del domini del producte. En l’educació, mostro que un augment de l’automatització per part de la IA provoca preocupacions sobre l’equitat i la rigidesa; tanmateix, aquestes es poden mitigar mitjançant indicadors intuïtius que emfatitzen els rols integradors i sinèrgics de la col·laboració entre l’humà i la IA. Finalment, investigo com la seqüència de les contribucions humanes i de la IA en processos de presa de decisions influeix en les percepcions d’esforç i legitimitat de la col·laboració. En conjunt, aquests resultats introdueixen conceptes com l’amenaça a la individualitat i l’adhesivitat de la legitimitat, aporten proves empíriques sobre la paradoxa entre automatització i augmentació, i ofereixen orientacions pràctiques per dissenyar sistemes d’IA que siguin tant funcionalment eficaços com experiencialment acceptables, destacant el paper crític de l’enquadrament psicològic i dels factors contextuals en la interacció humà-IA.

Cada vez más los sistemas de inteligencia artificial (IA) se convierten en un denominador común en la interacción con los consumidores, la educación y la toma de decisiones organizacionales, en consecuencia, resulta fundamental comprender los determinantes psicológicos y contextuales de las respuestas humanas ante la IA. Esta tesis explora cómo las personas perciben y evalúan los sistemas de IA en contextos de recomendación personalizada, educación y colaboración humano-IA. A través de una serie de estudios experimentales, examino los mecanismos psicológicos subyacentes a la recepción algorítmica, centrándome en cómo el tipo de dato, los niveles de automatización y los roles de los actores configuran las actitudes y comportamientos de los usuarios. En el ámbito de los sistemas de recomendación, demuestro que el tipo de dato procesado por los sistemas de IA genera distintos niveles de aceptabilidad y percepción de amenaza a la individualidad, siendo estos efectos moderados por factores contextuales como la sensibilidad del dominio del producto. En educación, muestro que el aumento de la automatización por parte de la IA genera preocupaciones sobre la equidad y la rigidez; sin embargo, estas pueden mitigarse mediante señales intuitivas que destaquen los roles integradores y sinérgicos subyacentes en la colaboración de los seres humanos con la IA. Finalmente, investigo cómo la secuencia de las contribuciones humanas y de la IA en los procesos de toma de decisiones influye en las percepciones de esfuerzo y legitimidad de la colaboración. En conjunto, estos hallazgos introducen constructos como la amenaza a la individualidad y la estabilidad de la legitimidad, aportan evidencia empírica sobre la paradoja automatización-augmentación, y ofrecen una guía práctica para diseñar sistemas de IA que sean tanto funcionalmente eficaces como experiencialmente aceptables, subrayando el papel crítico del encuadre psicológico y los factores contextuales en la interacción humano-IA.

As AI (artificial intelligence) systems increasingly become a common denominator in consumer interaction, education, and organizational decision-making, understanding the psychological and contextual determinants of human responses to AI is critical. This dissertation explores how individuals perceive and gauge AI systems across personalized recommendation, education, and human-AI collaboration. Through a series of experimental studies, I examine the psychological mechanisms underlying algorithmic reception, focusing on how data types, automation levels, and actor roles shape user attitudes and behaviors. In the domain of recommendation systems, I demonstrate that the type of data being processed by AI systems elicits varying levels of acceptability and perceived individuality threat, with contextual factors—such as the sensitivity of the product domain—moderating these effects. In education, I show that increased AI automation raises concerns about fairness and rigidity; however, these can be mitigated through intuitive cues that emphasize the integrative and synonymous roles of human and AI in a collaboration. Finally, I investigate how the sequencing of human and AI contributions in decision-making ensembles influences perceptions of effort and legitimacy of the collaborations. Together, these findings bring forth constructs such as individuality threat and legitimacy stickiness, offer empirical testing of the automation-augmentation paradox, and provide practical guidance on how to design AI systems that are both functionally effective and experientially acceptable, highlighting the critical role of psychological framing and contextual factors in human-AI interaction.