De la IA generativa al colapso epistémico
Entornos epistémicamente hostiles en contextos de defensa de alto riesgo
DOI:
https://doi.org/10.30973/esdi.2026.12.1.259Palabras clave:
inteligencia artificial, humano en el bucle, supervisión humana significativa, hechos y valores, colapso epistémico localResumen
Este artículo analiza cómo los sistemas de inteligencia artificial (IA) empleados en contextos de defensa de alto riesgo pueden contribuir a la configuración de entornos epistémicamente hostiles. A partir de una reconstrucción conceptual de distintos modos de mediación epistémica asociados a la IA —sistemas basados en reglas, aprendizaje automático e IA generativa—, se examina cómo estas tecnologías reconfiguran la relación entre información, juicio humano y articulación entre hechos y valores en procesos de decisión bajo incertidumbre. El trabajo sostiene que la presencia de un humano en el bucle no garantiza por sí sola control, responsabilidad ni legitimidad, pues la supervisión humana solo resulta significativa cuando preserva condiciones efectivas de comprensión, revisión crítica, desacuerdo y veto. Sobre esta base, se propone la noción de colapso epistémico local para describir situaciones en las que la mediación algorítmica degrada la capacidad humana de interpretar contextos, cuestionar recomendaciones y asumir responsabilidad por las decisiones adoptadas. Se concluye que una gobernanza responsable de la IA en defensa debe evaluarse no solo por la precisión o eficiencia de los sistemas, sino también por su impacto sobre la calidad epistémica del entorno sociotécnico en el que se ejerce el juicio.
Descargas
Referencias
ALPAC. Language and machines: computers in translation and linguistics: a report by the automatic language processing advisory committee, division of behavioral sciences, National Academy of Sciences, National Research Council. National Academy of Sciences, 1966.
Balistier, Thomas. The phaistos disk: an account of its unresolved mystery. Verlag, 2000.
Battistelli, Fabrizio y Maria Grazia Galantino. “Dangers, risks and threats: An alternative conceptualization to the catch-all concept of risk”. Current Sociology, vol. 67, núm. 1, 2019, pp. 64–78. https://doi.org/10.1177/0011392118793675
Bommasani, Rishi, et al. “On the opportunities and risks of foundation models”. arXiv, 2022. https://doi.org/10.48550/arXiv.2108.07258
Bruun, Laura y Mata Bo. Bias in Military Artificial Intelligence and Compliance with International Humanitarian Law. Stockholm International Peace Research Institute, 2025. https://doi.org/10.55163/NLWV5347
Claverie, Bernard y François Du Cluzel. “‘Cognitive warfare’: The advent of the concept of ‘cognitics’ in the field of warfare”. Cognitive warfare: the future of cognitive dominance, editado por B. Claverie, B. Prébot, N. Buchler y F. Du Cluzel. NATO Science and Technology Organization, 2022.
Cranor, Lorrie Faith. “A framework for reasoning about the human in the loop”. Proceedings of the 1st Conference on usability, psychology, and security. USENIX Association, 2008, pp. 1-15.
Deppe, Christoph y Gary Schaal. “Cognitive warfare: A conceptual analysis of the NATO ACT cognitive warfare exploratory concept”. Frontiers in Big Data, vol. 7, 2024, article 1452129. https://doi.org/10.3389/fdata.2024.1452129
Ebert, Philip, et al. “Varieties of risk”. Philosophy and Phenomenological Research, vol. 101, núm. 2, 2020, pp. 432–455. https://doi.org/10.1111/phpr.12598
Farnós, Joan, et al. “Ethical prompting: Toward strategies for rapid and inclusive assistance in dual-use AI systems”. Frontiers in Artificial Intelligence, vol. 8, 2025, 1646444. https://doi.org/10.3389/frai.2025.1646444
Feyerabend, Paul K. (1978). Science in a free society. Lowe & Brydone Ltd.
Feyerabend, Paul K. “On the improvement of the sciences and the arts, and the possible identity of the two”. Proceedings of the Boston Colloquium for the Philosophy of Science 1964/1966, editado por R. S. Cohen y M. W. Wartofsky. Springer, 1967, pp. 387–415. https://doi.org/10.1007/978-94-010-3508-8_22
Floridi, Luciano, et al. “AI4People—An ethical framework for a good AI society: Opportunities, risks, principles, and recommendations”. Minds and Machines, vol. 28, núm. 4, 2018, pp. 689–707. https://doi.org/10.1007/s11023-018-9482-5
Goodall, Noah J. “Away from trolley problems and toward risk management”. Applied Artificial Intelligence, vol. 30, núm. 8, 2016, pp. 810–821. https://doi.org/10.1080/08839514.2016.1229922
Goodfellow, Ian J., et al. “Generative adversarial nets”. Advances in Neural Information Processing Systems, vol. 27, 2014. https://doi.org/10.48550/arXiv.1406.2661
Haas, Julia, et al. “A roadmap for evaluating moral competence in Large Language Models”. Nature, vol. 650, 2026, pp. 565–573. https://doi.org/10.1038/s41586-025-10021-1
Haugeland, John. Artificial intelligence: The Very Idea. MIT Press, 1989.
Himmelreich, Johannes. “Never mind the trolley: The ethics of autonomous vehicles in mundane situations”. Ethical Theory and Moral Practice, vol. 21, 2018, pp. 669–684. https://doi.org/10.1007/s10677-018-9896-4
Longino, Helen E. “Beyond ‘bad science’”. Science, Technology, & Human Values, vol. 8, núm. 1, 1983, pp. 7–17.
Matthews, Kyle y Marie Lamensch. Wired for war: how authoritarian states are weaponizing AI against the west. Konrad-Adenauer-Stiftung e.V., 2025.
McCarthy, John, et al. “A proposal for the Dartmouth summer research project on artificial intelligence”. 1955 http://jmc.stanford.edu/articles/dartmouth/dartmouth.pdf
Miller, Seumas. “Cognitive warfare: An ethical analysis”. Ethics and Information Technology, vol. 25, article number 46, 2023. https://doi.org/10.1007/s10676-023-09717-7
Moore, George Edward. Principia ethica. Cambridge University Press, 2002.
NATO STO. “Cognitive warfare: NATO Chief Scientist research report”. NATO, 2025. https://www.nato.int/content/dam/nato/webready/documents/sto/chief-scientist-report-cognitive-warfare.pdf
NATO. “NATO’s approach to counter information threats”. NATO, 2025. https://www.nato.int/en/what-we-do/wider-activities/natos-approach-to-counter-information-threats
Newen, Albert, et al. The Oxford Handbook of 4E Cognition. Oxford University Press, 2018.
Oh, Soyoung y Vera Demberg. “Robustness of large language models in moral judgements”. Royal Society Open Science, vol. 12, núm. 4, 2025, pp. 241229. https://doi.org/10.1098/rsos.241229
Origgi, Gloria. Is trust an epistemological notion? Episteme, vol. 1, núm. 1, 2004, pp. 61–72. https://doi.org/10.3366/epi.2004.1.1.61
Parasuraman, Raja y Victor Riley. “Humans and automation: Use, misuse, disuse, abuse”. Human Factors, vol. 39, núm 2, 1997, pp. 230–253. doi.org/10.1518/001872097778543886
Pratzner, Philip R. “The current targeting process”. Targeting: the challenges of modern warfare, editado por P. A. L. Ducheine, M. N. Schmitt y F. P. B. Osinga. T.M.C. Asser Press, 2016, pp. 77-97. https://doi.org/10.1007/978-94-6265-072-5_4
Putnam, Hilary. The collapse of the fact/value dichotomy and other essays. Harvard University Press, 2002.
Rodilosso, Ermelinda. “Epistemic vs. moral: A differentiated approach to human-centered AI ethics”. Topoi, 2025. https://doi.org/10.1007/s11245-025-10324-y
Russell, Stuart y Peter Norvig. Artificial intelligence: a modern approach (4th ed.). Pearson, 2021.
Sajadieh, Sha, et al. The AI index 2026 annual report. AI Index Steering Committee, Institute for Human-Centered AI, Stanford University, 2026.
Sans Pinillos, Alger y David Casacuberta. “Remarks on the possibility of ethical reasoning in an artificial intelligence system by means of abductive models”. Model-based reasoning in science and technology: MBR 2018, editado por Á. Nepomuceno-Fernández, L. Magnani, F. Salguero-Lamillar, C. Barés-Gómez y M. Fontaine. Springer, 2019, pp. 318–333. https://doi.org/10.1007/978-3-030-32722-4_19
Sans Pinillos, Alger y Lorenzo Magnani. “How do we think about the unknown? The self-awareness of ignorance as a tool for managing the anguish of not knowing”. Embodied, extended, ignorant minds, editado por S. Arfini y L. Magnani. Springer, 2022. https://doi.org/10.1007/978-3-031-01922-7_9
Sans Pinillos, Alger y Vincent Costa. “Más allá de los datos: la transformación digital del museo tradicional”. Daimon Revista Internacional De Filosofía, vol. 90, 2023, pp. 81–94. https://doi.org/10.6018/daimon.563231
Sans Pinillos, Alger. “Apuntes sobre los aspectos de valor prescriptivo del razonamiento abductivo”. El jardín de senderos que se bifurcan y confluyen: filosofía, lógica y matemáticas, editado por D. P. Fernandes y R. Lopez-Orellana. Universidad de Valparaíso, 2020, pp. 143–155.
Sans Pinillos, Alger. “CELL (Contextual Ethics Level Layer) as an architecture for contextual ethical governance in dual-use defense technologies”. Clicking the pause: the role of transatlantic cooperation in artificial intelligence supervision, editado por F. Andrés Pérez y R. García Alonso. NATO Science for Peace and Security Series E: Human and Societal Dynamics, 2026, pp. 145-165. https://doi.org/10.3233/NHSDP260044
Sans Pinillos, Alger. “Horror vacui: Characterizing the experience of paradigm crisis through Magnani’s EC-model of abduction”. Scientific cognition, semiotics, and computational agents: essays in honor of Lorenzo Magnani. Vol. 2, editado por S. Arfini. Springer, 2025, pp. 171-192. https://doi.org/10.1007/978-3-031-96688-0_9
Sans Pinillos, Alger. “Neglected pragmatism: discussing abduction to dissolute classical dichotomies”. Foundations of Science, vol. 27, 2022, pp. 1107–1125. https://doi.org/10.1007/s10699-021-09817-x
Sans Pinillos, Alger. “Unpacking bad expectations: a framework for anticipation and social justice in the eco-cognitive paradigm”. Model-Based reasoning, abductive cognition, creativity. MBR 2023, editado por E. Ippoliti, L. Magnani y S. Arfini. Springer, 2024, pp. 254-270. https://doi.org/10.1007/978-3-031-69300-7_15
Schmitt, Michael N. y Eric Widmar. “The law of targeting”. Targeting: the challenges of modern warfare, editado por P. A. L. Ducheine, M. N. Schmitt y F. P. B. Osinga. T.M.C. Asser Press, 2016, pp. 121–145. https://doi.org/10.1007/978-94-6265-072-5_6
Sheridan, Thomas B. Telerobotics, automation, and human supervisory control. MIT Press, 1992.
Simon, Herbert A. Models of man: social and rational. Wiley, 1957.
Skitka, Linda, et al. “Does automation bias decision-making?” International Journal of Human-Computer Studies, vol. 51, núm 5, 1999, pp. 991–1006. https://doi.org/10.1006/ijhc.1999.0252
Vallverdú, Jordi y Alger Sans Pinillos. “The foundations of creativity: Human inquiry explained through the neuro-multimodality of abduction”. Handbook of abductive cognition, editado por Lorenzo Magnani. Springer, 2022, pp. 1-27. https://doi.org/10.1007/978-3-030-68436-5_71-1
Varela, Francisco J., et al. The embodied mind: cognitive science and human experience. MIT Press, 2017.
Vaswani, Ashish, et al. “Attention is all you need”. Advances in Neural Information Processing Systems, vol. 30, 2017. https://doi.org/10.48550/arXiv.1706.03762
Archivos adicionales
Publicado
Número
Sección
Licencia
Derechos de autor 2026 Estudios del Discurso
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.
Desde el año 2023 se publica en acceso abierto con la licencia CC BY-NC 4.0 Atribución/Reconocimiento-NoComercial 4.0 Internacional la cual permite Compartir: copiar y redistribuir el material en cualquier medio o formato; Adaptar: remezclar, transformar y construir a partir del material. Atribución: Usted debe dar crédito de manera adecuada, brindar un enlace a la licencia, e indicar si se han realizado cambios. Puede hacerlo en cualquier forma razonable, pero no de forma tal que sugiera que usted o su uso tienen el apoyo de la licenciante. NoComercial: Usted no puede hacer uso del material con propósitos comerciales.
