Haga clic para leer más historias de Automation Week.

La importancia de garantizar que la inteligencia artificial (IA) y el aprendizaje automático sean dignos de confianza, éticos y responsables es cada vez más evidente, ya que el mundo lucha por maximizar los beneficios de esta tecnología cada vez más sofisticada para la sociedad, minimizando al mismo tiempo sus posibles daños.

Mientras que la IA es un concepto amplio que se refiere a la capacidad de los ordenadores para simular el pensamiento y el comportamiento humanos, el aprendizaje automático se refiere a los algoritmos informáticos que aprenden de los datos sin necesidad de una programación explícita. En pocas palabras, el aprendizaje automático permite a los sistemas identificar patrones, tomar decisiones y mejorarse a sí mismos a través de la experiencia y los datos.

Los modelos de aprendizaje automático, o algoritmos, son la base de los sistemas automatizados de toma de decisiones que ayudan a las empresas a agilizar sus operaciones y reducir costes. Esto ha dado lugar a una explosión de aplicaciones en sectores como la sanidad, la medicina, el marketing, la ciberseguridad e incluso las finanzas, donde el aprendizaje automático es utilizado ahora por los bancos para determinar si los solicitantes deben ser considerados para un préstamo.

Aunque estos modelos prometen sentar las bases de una sociedad justa y más equitativa, los algoritmos están lejos de ser infalibles. Pueden degradarse con el tiempo, discriminar a personas y grupos y estar abiertos a abusos y ataques.

Los términos «fiable», «ético» y «responsable», que tan a menudo se utilizan en relación con la IA, deberían extenderse ahora a la definición del tipo de aprendizaje automático que estamos dispuestos a tolerar en la sociedad. El aprendizaje automático debe englobar la precisión, la equidad, la privacidad y la seguridad, y es responsabilidad de los guardianes, los guardianes y los desarrolladores en este campo garantizar la protección de todos.

Garantizar que los modelos de aprendizaje automático sean fiables no es tarea fácil y, desde luego, no es algo que pueda abordar una sola disciplina por sí sola. En la actualidad se acepta ampliamente que es necesario un enfoque más holístico para estudiar y promover la confianza en la IA, con aportaciones de una amplia gama de expertos en matemáticas, filosofía, derecho, psicología, sociología y negocios.

A taller presencial de dos días en la ciudad suiza de Zúrich a principios de este mes reunió a investigadores internacionales que trabajan sobre la equidad algorítmica. El objetivo de este taller, al que asistí, era fomentar el diálogo entre estos investigadores en el contexto de los marcos legales y sociales, especialmente a la luz de los intentos de la Unión Europea de promover la IA ética .

El taller abarcó una amplia gama de temas que merecen ser considerados en relación con el aprendizaje automático de confianza.

Utilidad frente a equidad

Siempre hay un equilibrio entre la utilidad desde la perspectiva del que toma la decisión y la equidad desde la perspectiva de la persona sometida a esa decisión.

Por un lado, el responsable de la toma de decisiones establece y hace suyo el sistema de decisión de aprendizaje automático para impulsar los objetivos empresariales u organizativos. Las predicciones del modelo de aprendizaje automático se utilizan para eliminar la incertidumbre cuantificando la utilidad para el responsable de la toma de decisiones. Normalmente, los conceptos más amplios de justicia social y equidad no suelen formar parte del conjunto de utilidades del decisor.

Por otro lado, el sujeto de la decisión se ve beneficiado o perjudicado por la decisión basada en las predicciones del modelo. Aunque el sujeto de la decisión entiende que ésta puede no ser favorable, al menos espera recibir un trato justo en el proceso.

La pregunta que se plantea es la siguiente: ¿hasta qué punto existe un equilibrio entre la utilidad del decisor y la equidad del sujeto de la decisión?

Different models produce different biases

Los distintos sistemas de aprendizaje automático pueden producir resultados diferentes. Los sistemas de apoyo a la toma de decisiones utilizan modelos de predicción de riesgos que pueden dar lugar a un proceso de selección que produzca resultados discriminatorios.

Los mercados digitales utilizan modelos de aprendizaje automático de emparejamiento, que pueden carecer de transparencia en cuanto a cómo se empareja a los vendedores con los compradores. Los espacios públicos en línea utilizan modelos de aprendizaje automático de búsqueda-recomendación, que pueden incorporar sesgos implícitos en relación con la sugerencia de contenidos basados en suposiciones sobre el usuario.

El aprendizaje automático se centra más en los objetivos que en el procedimiento, un enfoque que se preocupa más por la recopilación de datos y por minimizar la diferencia entre el resultado real y el objetivo.

Salvar esta brecha -conocida como «función de pérdida»- suele llevar a los desarrolladores a abordar los errores de predicción individuales e ignorar los errores de predicción a nivel de grupo, lo que conduce a objetivos de aprendizaje sesgados.

Se puede introducir un sesgo adicional a través del datos utilizados para entrenar el modelo de aprendizaje automático .

Una mala selección de los datos también puede provocar problemas en relación con la infrarrepresentación o la sobrerrepresentación de determinados grupos, mientras que lo que constituye un sesgo varía de una persona a otra.

De hecho, las características del modelo están determinadas por el juicio humano, por lo que estos sesgos pueden producir representaciones sesgadas de la realidad aprendidas por la máquina, y estos sesgos pueden alimentar decisiones injustas que afectan a la vida de las personas y los grupos.

Por ejemplo, los taxis Uber utilizan los datos acumulados de sus conductores para calcular en tiempo real la probabilidad de que un conductor recoja otra tarifa después de una entrega, así como el valor potencial de la siguiente tarifa y el tiempo que tardará en llegar.

Este tipo de información introducida en un modelo de aprendizaje automático puede acabar discriminando a los pasajeros que residen en una zona económicamente desfavorecida en comparación con otra de mayor categoría.

Pruebas de situación

La tercera y última área consiste en investigar la discriminación, que tiene en cuenta la información sensible, y requiere un razonamiento contrafactual para realizar pruebas de situación significativas.

El ejemplo que se dio en el taller se refería a una mujer de unos 40 años que solicitó un ascenso y fue rechazada en favor de un colega masculino con una formación y experiencia similares. La académica no aceptó la decisión del comité de ascensos como justa e imparcial y procedió a apelar la decisión.

Este ejemplo pone de manifiesto el esfuerzo que requiere el individuo agraviado para recurrir una decisión «opaca». También demuestra cómo el individuo agraviado debe revelar su información sensible para construir un caso contra una decisión injusta.

Aunque aportan toda su energía, datos y razonamientos, ¿pueden demostrar con éxito su caso sin tener acceso a los datos y al modelo de aprendizaje automático que ayudaron a generar la decisión?

La discriminación es ilegal, pero la ambigüedad que rodea a la forma en que los seres humanos toman decisiones a menudo dificulta que el sistema legal sepa si alguien ha discriminado activamente. Desde esta perspectiva, la participación de modelos de aprendizaje automático en el proceso de toma de decisiones puede mejorar nuestra capacidad para detectar la discriminación.

Esto se debe a que los procesos que implican algoritmos pueden proporcionar formas cruciales de transparencia que de otro modo no estarían disponibles. Sin embargo, para que esto sea así, debemos hacer que lo sea.

Debemos asegurarnos de que el uso de modelos de aprendizaje automático facilite el examen y el interrogatorio de todo el proceso de decisión, facilitando así el conocimiento de si se ha producido una discriminación.

Este uso de los algoritmos debería hacer más transparentes las compensaciones entre los valores que compiten entre sí. Por lo tanto, el aprendizaje automático de confianza no es necesariamente solo una cuestión de regulación, sino que, llevado a cabo de la manera correcta, puede mejorar la toma de decisiones humanas para la mejora de todos nosotros.

Por Dr. Adrian Byrne

El Dr. Adrian Byrne es becario Marie Skłodowska-Curie Career-Fit Plus en CeADAR, el centro irlandés de IA aplicada y aprendizaje automático.

10 cosas que necesitas saber directamente en tu bandeja de entrada cada día de la semana. Inscríbase en el Resumen diario El resumen de Silicon Republic de las noticias esenciales de ciencia y tecnología.