
Ayuda PID2023-146620OB-I00 financiado por MCIN/AEI/10.13039/501100011033 y por “FEDER Una manera de hacer Europa”.
Robusteciendo las biometrías del movimiento de la mano mediante la síntesis de su timbre usando métodos computacionales y robóticos (bioTIMBRE)
PID2023-146620OB-I00
Este proyecto se centra en la mejora de la naturalidad y el realismo de las muestras biométricas conductuales de la mano, como la escritura, los movimientos del ratón y los gestos en 2D y 3D. Al mismo tiempo, se desarrollan procedimientos para detectar dichas muestras sintéticas y prevenir fallos de seguridad.
Es importante tener en cuenta que los sintetizadores aproximan las muestras biométricas conductuales utilizando funciones temporales como sinusoides, gaussianas, lognormales, etc. Estas son funciones límite a las que se converge según el teorema del límite central. Como resultado, las muestras sintéticas suelen ser más suaves y regulares que las muestras originales, lo que facilita su detección. La señal que, cuando se suma a la sintética, la hace más natural y realista, la denominamos timbre.
En este proyecto, se pretende modelar el timbre con tres contribuciones que inicialmente se suponen aditivas:
1.- El error de convergencia de las funciones límite que modelan la muestra biométrica. Es necesario obtener, programar e integrar su expresión matemática en el proceso de síntesis.
2.- Las no linealidades presentes en las muestras biométricas, debidas a los acoplamientos entre los diferentes sistemas que intervienen en el movimiento humano. Se pretende modelar estas no linealidades mediante técnicas estadísticas no lineales, como los estadísticos de orden superior o la teoría del caos o dinámica no lineal. También se planea generar estas señales con redes neuronales generativas.
3.- Los artefactos propios de los sensores, que se pretenden modelar reproduciendo el movimiento humano con un brazo robótico muy preciso y comparando la señal registrada con la realizada por dicho robot. Para ello, es necesario programar y controlar tanto la trayectoria como el perfil de velocidad del robot. Se pretende evaluar la mejora de la naturalidad en el movimiento sintético tanto subjetiva como objetivamente. Subjetivamente, mediante encuestas. Objetivamente, mediante detectores biométricos de muestras sintéticas frente a muestras reales, utilizando inicialmente técnicas basadas en RNNs.
Una vez que se tenga un primer modelo de timbre y de detector de muestras sintéticas, se propone mejorar ambos mediante el ciclo que denominamos SAED. Este ciclo consiste en: primero, mejorar la naturalidad y el realismo de las muestras sintéticas (Sintetizar); segundo, atacar un sistema biométrico con dichas muestras sintéticas (Atacar); tercero, evaluar los resultados del detector de muestras sintéticas (Evaluar); cuarto, mejorar el detector de muestras sintéticas con las muestras falsamente aceptadas (Detector), volver al primer punto mejorando el sintetizador con las muestras correctamente rechazadas, y continuar con el ciclo. Se espera que todos estos avances matemáticos y heurísticos nos permitan comprender mejor los procesos subyacentes al movimiento humano y se pretende aplicarlos a los activos desarrollados en educación, salud, deporte y ganadería de los proyectos anteriores, mejorando sus posibilidades de transferencia de tecnología.

Figura 1. Diagrama con los objetivos específicos del proyecto de investigación orientada.
HIPÓTESIS DE PARTIDA
Las hipótesis de partida de este proyecto son:
Hipótesis 1: Los ataques perpetrados con muestras sintéticas a sistemas biométricos conductuales son factibles y representan un riesgo para la integridad de recintos. Sin embargo, estos ataques son detectables con técnicas de reconocimiento de patrones o las basadas en aprendizaje profundo.
Hipótesis 2: Modelar el timbre del movimiento de la mano crea muestras sintéticas con mayor naturalidad. Hasta ahora se ha modelado las regularidades del movimiento de la mano, pero les falta naturalidad. Sin embargo, en movimientos de la mano digitalizados tales como la escritura, gestos o firmas en 3D y 3D, se observan patrones irregulares. A los segundos los hemos llamado timbre del movimiento de la mano.
Hipótesis 3: El timbre consta de diversas componentes. En una primera aproximación, consideraremos que son aditivas. Cada una requiere técnicas específicas de modelado. Por un lado, está el modelado matemático del error de convergencia; por otro, el modelado mediante técnicas estadísticas no lineales. Por último, se aborda el modelado de los artefactos de los sensores que registran el movimiento. Durante el desarrollo del proyecto, podrían surgir más componentes o notar que la relación entre ellas no es aditiva.
Hipótesis 4: La generación del timbre ayudará a comprender mejor los procesos subyacentes de generación del movimiento y permitirá aplicarlo a otras aplicaciones de salud, escolar, deporte, ocio o ganadería, como se ha realizado en los anteriores proyectos (PID2019) mejorando su robustez y eficiencia.
OBJETIVOS GENERALES
- O1. Síntesis del timbre del movimiento de la mano 2D y 3D. Este objetivo se centra
en mejorar la naturalidad de los movimientos sintéticos de la mano en 2D y 3D y su
integración en la algorítmica de síntesis desarrollada en los anteriores proyectos.
- O2. Mejorar la seguridad de los detectores. Este objetivo cubre el desafío de la prueba de Turing inverso, donde un sistema de seguridad biométrica basado en el movimiento de la mano debe distinguir entre un movimiento humano y uno generado por una máquina.
OBJETIVOS ESPECÍFICOS
- OE1. Identificación y modelado del timbre neuromotor. En los proyectos anteriores
(TEC2016, PID2019) se desarrolló un modelo analítico en 2D y 3D, fundamentado en la
teoría cinemática de los movimientos rápido. Este modelo se sustenta en el teorema del
límite central. Se supone que el error de convergencia inherente a este teorema contribuye
al timbre del movimiento. Responsable: IP2.
- OE2. Identificación y modelado del timbre del sensor. Otra componente del timbre son las irregularidades en la digitalización debido a la discretización de la adquisición del sensor. Para su categorización, se emplearán brazos robóticos capaces de reproducir movimientos sintéticos sin timbre con precisión milimétrica. Se espera que la observación del movimiento registrado ya sea sobre el mismo sensor o sobre diferentes sensores, contenga componentes de timbre derivados únicamente del sensor. Responsable: IP1.
- OE3. Detectores de movimiento sintético con aprendizaje máquina y profundo. Se estudiarán los límites de los detectores del estado del arte con algoritmos basados en aprendizaje máquina y profundo para 2D y 3D. Responsable: IP1.
- OE4. Aplicación del timbre de los movimientos de la mano en otros movimientos. Los modelos de timbre obtenidos se pretenden aplicar a mejorar los desarrollos en salud, educación, deporte y ganadería (PID 2019). La síntesis de movimiento tiene diversos fines. Nosotros hemos estudiado la calidad de escritura en pacientes con enfermedades neurodegenerativas, detectar la edad de niños mediante el movimiento, rehabilitación, aplicaciones biomédicas y explorar el estado motor de animales. Responsable: IP2.
- OE5. Aumentar, estabilizar y mejorar la cohesión de la colaboración internacional del consorcio del presente proyecto. Responsable: IP1.
Resultados del Objetivo Específico 1
TBA
Resultados del Objetivo Específico 2
TBA
Resultados del Objetivo Específico 3
TBA
Resultados del Objetivo Específico 4
TBA
Resultados del Objetivo Específico 5
TBA
Difusión
Radio Television Canaria
Telenoticias Fin de semana de la Televisión Canaria
Buenos días Canarias, de Informativos de la televisión Canaria
Radio Televisión Española
Archipiélago Noticias Fin de Semana - 08/03/25
(Minuto -20)
Publicidad
Redes Sociales
Se cuenta con una página web del proyecto (https://idelog4all.ulpgc.es/). También se difunde contenido en Instagram (@smartgraph_) y en sitios web del grupo de investigacion (https://gpds.ulpgc.es/) e instituto (https://idetic.ulpgc.es/).
Páginas web
En la página web del proyecto (https://idelog4all.ulpgc.es/) está publicitada
en la cabecera con la siguiente imagen:
Y en el comienzo, tras la imagen del título del proyecto se explicita el apoyo con la siguiente imagen:
Además, en la página web del grupo de investigación (https://gpds.ulpgc.es/),
en la barra lateral esta fijo el logo del ministerio, siendo visualizado por todos los investigadores que descargan las bases de datos
que compartimos:
En instagram, el logo del ministerio está anclado al inicio del instagram smartgraph_
@smartgraph_ para mayor impacto.
En esta publicación se explicita el apoyo del ministerio:

Además, en los post de los artículos resultado del proyecto tambien se
añade dicho reconocimiento, sírvase de ejemplo las siguientes imágenes:



Publicaciones en artículos científicos
Shahid Ismail, Moisés Diaz, Miguel A. Ferrer (2025), "Deep Learning for Lameness Level Detection in Dairy Cows",
Engineering Applications of Artificial Intelligence. Vol. 151, 1 July 2025, 110611 IF-2y: 7.5, IF-5y: 7.4/ Journal Rank: AUTOMATION & CONTROL SYSTEMS 6
(84) D1, COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE 24 (197) Q1, ENGINEERING, ELECTRICAL & ELECTRONIC 25 (353) D1,
ENGINEERING, MULTIDISCIPLINARY 5 (181) D1, ENGINEERING N/A, ROBOTICS & AUTOMATIC CONTROL N/A.
DOI:
10.1016/j.engappai.2025.110611
Abdellatif Gahmousse, Chawki Djeddi, Abdelajalil Gattal, Abbas Chaddad, Moises Diaz (2025),
"Exploring Textural Features for Handwriting-Based Personality Assessment:
An Experimental Study", Signal, Image and Video Processing,. Vol xx, pp. xxx. IF-2y: 2.0, IF-5y: 1.8/ Journal Rank: ENGINEERING, ELECTRICAL
& ELECTRONIC 203 (353) Q3, COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE 23 (36) Q3.
DOI: To Appear
Moisés Diaz, Miguel A. Ferrer, Juan M. Gil, Rafael Rodriguez, Peirong Zhang, Lianwen Jin (2025), "Online Signature Verification
based on the Lagrange formulation with 2D and 3D robotic models", Pattern Recognition. Vol 164, pp. 111581.
IF-2y: 7.5, IF-5y: 7.6/ Journal Rank: COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE 24 (197)
Q1, ENGINEERING, ELECTRICAL & ELECTRONIC 25 (353) D1.
DOI:
10.1016/j.patcog.2025.111581
Yasmina Benmabrouk, Souhaila Djaffal, Mohamed Gasmi, Chawki Djeddi, Moises Diaz, Hakim Bendjenna (2025), "Enhancing Breast Cancer Histopathological
Image Classification: The Impact of Stain Normalization on Multilevel Feature Extraction",
Biomedical Signal Processing and Control. Vol 106, pp. 107700. IF-2y: 4.9, IF-5y: 4.9/ Journal Rank:
ENGINEERING, BIOMEDICAL 30 (123) Q1, MEDICAL LABORATORY TECHNOLOGY n/a.
DOI:
10.1016/j.bspc.2025.107700
Moisés Diaz, Andrea Mendoza-Garcı́a, Miguel A. Ferrer, Robert Sabourin (2025),
"A Survey of Handwriting Synthesis from 2019 to 2024: A Comprehensive Review", Pattern Recognition. Vol 162,
pp. 111357. IF-2y: 7.5, IF-5y: 7.6/ Journal Rank: COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE 24 (197) Q1,
ENGINEERING, ELECTRICAL & ELECTRONIC 25 (353) D1.
DOI:
10.1016/j.patcog.2025.111357
Moisés Diaz, Miguel A. Ferrer, José Juan Quintana, Adam Wolniakowski, Roman Trochimczuk, Konstantsin Miatliuk, Giovanna Castellano, Gennaro Vessio (2025),
"Neural network modelling of kinematic and dynamic features for signature verification",
Pattern Recognition Letters. Vol 187, pp. 130-136. IF-2y: 3.9, IF-5y: 4.2/ Journal Rank:
COMPUTER SCIENCE, ARTIFICIAL INTELLIGENCE 65 (197) Q2.
DOI:
10.1016/j.patrec.2024.11.021
Congresos
Proximamente...
Áreas de investigación

Pattern recognition

Document Analysis

Handwriting

Recognition Biometrics
