Datos, Sesgos y Responsabilidad: el Rol Ético del CientÃfico de Datos
Hoy en dÃa, muchas decisiones importantes las toman algoritmos, no personas. Un banco puede rechazar un préstamo, una empresa puede descartar un currÃculum o un hospital puede priorizar un tratamiento, todo a través de sistemas automáticos. Aunque estos sistemas parecen objetivos porque usan matemáticas, en realidad reflejan los datos con los que fueron entrenados, y esos datos los crearon personas con sus propios errores y limitaciones. Por eso, el cientÃfico de datos tiene una responsabilidad ética enorme: asegurarse de que estos sistemas no repitan ni amplifiquen injusticias que ya existen en la sociedad.
Es un error común creer que los datos son simplemente "la realidad". En verdad, son el resultado de decisiones humanas sobre qué medir, cómo clasificar y qué dejar fuera. A esto se le llama sesgo: una inclinación sistemática en los datos o en el algoritmo que hace que el modelo favorezca ciertos resultados sobre otros, afectando de forma desigual a distintos grupos de personas. Un historial de contrataciones refleja cómo se contrató en el pasado, no quién era más talentoso o capaz. Un conjunto de datos médico basado principalmente en adultos jóvenes puede hacer que el modelo falle al diagnosticar a personas mayores o niños. Estas no son fallas técnicas menores; definen directamente cómo se comporta el modelo en el mundo real y a quién puede perjudicar.
La investigación ha documentado casos concretos y preocupantes. Modelos entrenados mayormente con datos de hombres detectan peor las enfermedades cardiovasculares en mujeres. Sistemas que analizan currÃculums penalizan las pausas laborales, afectando especialmente a quienes cuidaron de un familiar sin recibir pago por ello. Algunos modelos de crédito relacionan el tipo de contrato laboral con riesgo financiero, ignorando si el ingreso real es estable. Esto no significa que la tecnologÃa sea inherentemente mala, sino que necesita ser diseñada con cuidado y con equidad desde el principio.
Detectar y corregir sesgos debe ser parte del trabajo diario del cientÃfico de datos, no una revisión final. Esto implica ir más allá de preguntar qué tan preciso es el modelo, y preguntarse también si es igualmente justo para todos los grupos. Para lograrlo se usan métricas de equidad como la paridad demográfica, la igualdad de oportunidad y la tasa de error balanceada.
Un sistema ético no solo debe ser justo, también debe ser explicable. Si una persona es rechazada por un algoritmo, tiene derecho a entender por qué. Los modelos simples, como los árboles de decisión, permiten ver claramente qué variables influyeron en cada decisión. Esta transparencia no es un lujo: es una exigencia legal en muchos paÃses. En la Unión Europea, el AI Act —ley pionera en regulación de inteligencia artificial, vigente desde 2024— exige que los sistemas de alto riesgo cumplan estándares claros de transparencia, con plazos que llegan hasta 2027.
La corrección de sesgos no ocurre en un solo momento; debe aplicarse en varias etapas. Al recopilar datos, hay que asegurarse de que representen a todos los grupos afectados. Al preprocesar, se pueden usar técnicas que compensen la falta de representación. Al entrenar el modelo, algunos algoritmos permiten incorporar restricciones de equidad directamente en su lógica. Y al momento de tomar decisiones finales, es posible ajustar los umbrales por grupo para que los errores no sean más frecuentes en unos que en otros. Ninguna de estas estrategias es perfecta para todos los casos; la elección depende del contexto, el sector y los valores que se priorizan.
Aquà aparece una tensión importante: las distintas formas de medir la equidad matemática pueden contradecirse entre sÃ. Cumplir con una definición de justicia puede implicar violar otra. Por eso la equidad no es una casilla que se marca al terminar un proyecto, sino un proceso continuo de evaluación, conversación con todas las partes involucradas y ajustes a lo largo del tiempo.
La responsabilidad del cientÃfico de datos tampoco termina con los algoritmos. También implica participar en la definición de polÃticas de uso y gobernanza de los datos, colaborar con equipos legales para cumplir con las normativas vigentes, y explicar con claridad a personas no técnicas qué puede y qué no puede hacer el sistema. La ética no es algo que se agrega al final del proyecto; debe estar presente desde el primer dÃa, a través de evaluaciones de impacto y un diseño que piense en todas las personas desde el inicio.
En definitiva, los sesgos en los sistemas automáticos no son accidentes tecnológicos, sino consecuencias predecibles de decisiones humanas sobre datos, métricas y diseño. El cientÃfico de datos debe combinar rigor técnico con sensibilidad ética, porque sus decisiones afectan oportunidades, derechos y vidas reales. La excelencia en este campo ya no se mide solo por qué tan preciso es un modelo, sino también por qué tan justo, transparente y responsable es. En un mundo cada vez más automatizado, construir con ética no es un obstáculo para la innovación, sino la única forma de que esa innovación sea sostenible.
La autora es Profesora de la Facultad de Informática, Electrónica y Comunicación de la Universidad de Panamá
Â
