Robusteciendo las biometrías del movimiento de la mano mediante la síntesis de su timbre usando métodos computacionales y robóticos (bioTIMBRE)

PID2023-146620OB-I00

Este proyecto se centra en la mejora de la naturalidad y el realismo de las muestras biométricas conductuales de la mano, como la escritura, los movimientos del ratón y los gestos en 2D y 3D. Al mismo tiempo, se desarrollan procedimientos para detectar dichas muestras sintéticas y prevenir fallos de seguridad.

Es importante tener en cuenta que los sintetizadores aproximan las muestras biométricas conductuales utilizando funciones temporales como sinusoides, gaussianas, lognormales, etc. Estas son funciones límite a las que se converge según el teorema del límite central. Como resultado, las muestras sintéticas suelen ser más suaves y regulares que las muestras originales, lo que facilita su detección. La señal que, cuando se suma a la sintética, la hace más natural y realista, la denominamos timbre.

En este proyecto, se pretende modelar el timbre con tres contribuciones que inicialmente se suponen aditivas:

1.- El error de convergencia de las funciones límite que modelan la muestra biométrica. Es necesario obtener, programar e integrar su expresión matemática en el proceso de síntesis.

2.- Las no linealidades presentes en las muestras biométricas, debidas a los acoplamientos entre los diferentes sistemas que intervienen en el movimiento humano. Se pretende modelar estas no linealidades mediante técnicas estadísticas no lineales, como los estadísticos de orden superior o la teoría del caos o dinámica no lineal. También se planea generar estas señales con redes neuronales generativas.

3.- Los artefactos propios de los sensores, que se pretenden modelar reproduciendo el movimiento humano con un brazo robótico muy preciso y comparando la señal registrada con la realizada por dicho robot. Para ello, es necesario programar y controlar tanto la trayectoria como el perfil de velocidad del robot. Se pretende evaluar la mejora de la naturalidad en el movimiento sintético tanto subjetiva como objetivamente. Subjetivamente, mediante encuestas. Objetivamente, mediante detectores biométricos de muestras sintéticas frente a muestras reales, utilizando inicialmente técnicas basadas en RNNs.

Una vez que se tenga un primer modelo de timbre y de detector de muestras sintéticas, se propone mejorar ambos mediante el ciclo que denominamos SAED. Este ciclo consiste en: primero, mejorar la naturalidad y el realismo de las muestras sintéticas (Sintetizar); segundo, atacar un sistema biométrico con dichas muestras sintéticas (Atacar); tercero, evaluar los resultados del detector de muestras sintéticas (Evaluar); cuarto, mejorar el detector de muestras sintéticas con las muestras falsamente aceptadas (Detector), volver al primer punto mejorando el sintetizador con las muestras correctamente rechazadas, y continuar con el ciclo. Se espera que todos estos avances matemáticos y heurísticos nos permitan comprender mejor los procesos subyacentes al movimiento humano y se pretende aplicarlos a los activos desarrollados en educación, salud, deporte y ganadería de los proyectos anteriores, mejorando sus posibilidades de transferencia de tecnología.


Figura 1. Diagrama con los objetivos específicos del proyecto de investigación orientada.

Figura 1. Diagrama con los objetivos específicos del proyecto de investigación orientada.

HIPÓTESIS DE PARTIDA

las hipótesis de partida de este proyecto son:

Hipótesis 1: Los ataques perpetrados con muestras sintéticas a sistemas biométricos conductuales son factibles y representan un riesgo para la integridad de recintos. Sin embargo, estos ataques son detectables con técnicas de reconocimiento de patrones o las basadas en aprendizaje profundo.

Hipótesis 2: Modelar el timbre del movimiento de la mano crea muestras sintéticas con mayor naturalidad. Hasta ahora se ha modelado las regularidades del movimiento de la mano, pero les falta naturalidad. Sin embargo, en movimientos de la mano digitalizados tales como la escritura, gestos o firmas en 3D y 3D, se observan patrones irregulares. A los segundos los hemos llamado timbre del movimiento de la mano.

Hipótesis 3: El timbre consta de diversas componentes. En una primera aproximación, consideraremos que son aditivas. Cada una requiere técnicas específicas de modelado. Por un lado, está el modelado matemático del error de convergencia; por otro, el modelado mediante técnicas estadísticas no lineales. Por último, se aborda el modelado de los artefactos de los sensores que registran el movimiento. Durante el desarrollo del proyecto, podrían surgir más componentes o notar que la relación entre ellas no es aditiva.

Hipótesis 4: La generación del timbre ayudará a comprender mejor los procesos subyacentes de generación del movimiento y permitirá aplicarlo a otras aplicaciones de salud, escolar, deporte, ocio o ganadería, como se ha realizado en los anteriores proyectos (PID2019) mejorando su robustez y eficiencia.

OBJETIVOS GENERALES


- O1. Síntesis del timbre del movimiento de la mano 2D y 3D. Este objetivo se centra en mejorar la naturalidad de los movimientos sintéticos de la mano en 2D y 3D y su integración en la algorítmica de síntesis desarrollada en los anteriores proyectos.


- O2. Mejorar la seguridad de los detectores. Este objetivo cubre el desafío de la prueba de Turing inverso, donde un sistema de seguridad biométrica basado en el movimiento de la mano debe distinguir entre un movimiento humano y uno generado por una máquina.

OBJETIVOS ESPECÍFICOS


- OE1. Identificación y modelado del timbre neuromotor. En los proyectos anteriores (TEC2016, PID2019) se desarrolló un modelo analítico en 2D y 3D, fundamentado en la teoría cinemática de los movimientos rápido. Este modelo se sustenta en el teorema del límite central. Se supone que el error de convergencia inherente a este teorema contribuye al timbre del movimiento. Responsable: IP2.

- OE2. Identificación y modelado del timbre del sensor. Otra componente del timbre son las irregularidades en la digitalización debido a la discretización de la adquisición del sensor. Para su categorización, se emplearán brazos robóticos capaces de reproducir movimientos sintéticos sin timbre con precisión milimétrica. Se espera que la observación del movimiento registrado ya sea sobre el mismo sensor o sobre diferentes sensores, contenga componentes de timbre derivados únicamente del sensor. Responsable: IP1.

- OE3. Detectores de movimiento sintético con aprendizaje máquina y profundo. Se estudiarán los límites de los detectores del estado del arte con algoritmos basados en aprendizaje máquina y profundo para 2D y 3D. Responsable: IP1.

- OE4. Aplicación del timbre de los movimientos de la mano en otros movimientos. Los modelos de timbre obtenidos se pretenden aplicar a mejorar los desarrollos en salud, educación, deporte y ganadería (PID 2019). La síntesis de movimiento tiene diversos fines. Nosotros hemos estudiado la calidad de escritura en pacientes con enfermedades neurodegenerativas, detectar la edad de niños mediante el movimiento, rehabilitación, aplicaciones biomédicas y explorar el estado motor de animales. Responsable: IP2.

- OE5. Aumentar, estabilizar y mejorar la cohesión de la colaboración internacional del consorcio del presente proyecto. Responsable: IP1.

Resultados del Objetivo Específico 1

TBA

Resultados del Objetivo Específico 2

TBA

Resultados del Objetivo Específico 3

TBA

Resultados del Objetivo Específico 4

TBA

Resultados del Objetivo Específico 5

TBA

Áreas de investigación



Pattern recognition

Document Analysis

Handwriting

Recognition Biometrics

Computer Vision