DIVULGACIÓN CIENTÍFICA Y TECNOLÓGICA
APLICACIÓN DE ESCRITORIO QUE INTERPRETA LOS DIEZ PRIMEROS NÚMEROS Y LAS VOCALES DEL LENGUAJE DE SEÑAS COLOMBIANO AL LENGUAJE ESPAÑOL.
Por:Oscar Julián Basante Quintero, Ángela Gabriela Bolaños Benavides, Mónica Yuliana Cuasapud Guerrero y Carlos Yesid López Paredes
La creación del aplicativo se basa en explorar a profundidad el dispositivo Leap Motion, permite a los usuarios realizar diferentes tareas, aprendiendo y explorando el lenguaje de señas colombiano, mejorando la comunicación..
Problemática a resolver con el aplicativo
Muchas de las personas que tienen algún grado de dificultad auditiva no pueden acceder a oportunidades de carácter laboral y/o académicas, afectando su calidad de vida, generando problemas personales, familiares y sociales. Las personas sordas que utilizan el lenguaje de señas para comunicarse no cuentan con una aplicación especializada que permita traducir este lenguaje al idioma español, a pesar de la generación de algunas políticas públicas de inclusión social en Colombia, el desarrollo de software en esta área es escasa. Cabe resaltar el trabajo realizado por el Instituto Nacional de Sordos hacia los niños que según sus últimos informes está enfocada en la atención en la primera infancia mediante la formación de educadores con comprensión en el lenguaje de señas, pero no se evidencia un proyecto tecnológico o informático al respecto, a diferencia de otros países como Cuba o México que cuentan con el desarrollo de estas herramientas, ya que sus presupuestos públicos invierten importantes recursos en materia de educación, salud y tecnología.
El aplicativo desarrollado realiza la traducción de los diez primeros números y vocales de la lengua de señas colombiana al español, logrando apoyar a la población que posee algún tipo de dificultad auditiva de manera que logre establecer algún tipo de comunicación efectiva en cualquier entorno social, contribuyendo transversalmente al desarrollo de los objetivos contenidos en la Política Pública Nacional en Discapacidad.
Estrategia de desarrollo del proyecto
El desarrollo del proyecto se basó en el estudio del sensor Leap Motion (Imagen 1), siendo este un dispositivo de hardware de interacción hombre-máquina que se utiliza para el seguimiento de manos y dedos. La Leap Motion es un sensor compuesto por un infrarrojo, que recibe y analiza los movimientos de datos para obtener la información sobre las manos, dedos, brazos. Se desarrolla una aplicación para la interpretación del lenguaje de señas, se logra interpretar los diferentes movimientos realizados por los usuarios traduciéndose del lenguaje de señas colombiano al lenguaje español; cabe resaltar que para utilizar el Leap Motion solo necesita estar conectado mediante un cable USB a un puerto del equipo, por lo que es un dispositivo que además de fácil adaptabilidad, es un dispositivo de fácil manejo e instalación.
Imagen 1. Sensor Leap Motion. /Autor
El SDK (Kit de desarrollo de software) del dispositivo dispone de API (Interfaz de programación de aplicaciones) para las plataformas de desarrollo de videojuegos Unreal y Unity, así como para los lenguajes de programación C ++, Java, C #, JavaScript y Python. Para el desarrollo del programa se utilizó el lenguaje de programación JavaScript, empezando por conocer la herramienta y explorar la funcionalidad de las diferentes librerías ofrecidas por el fabricante, de esta manera el desarrollo de la aplicación se basó en prototipos siguiendo tres pasos:
Primero, se realiza la recolección de información necesaria, resaltando la participación de los niños con discapacidad auditiva que se encuentran matriculados de la institución Educativa Marcelo Miranda en el municipio de Ipiales (Nariño), Cabe resaltar que para el desarrollo del aplicativo se utilizó UML (Lenguaje de modelado unificado) con el objeto de reducir el tiempo y ofrecer soporte para la planificación y control del proyecto.
Segundo, se eligen las herramientas de desarrollo, primeramente se utiliza JavaScript y Sublime como editor de código para el diseño de la aplicación HTML5, teniendo como resultado la programación de la interpretación de los primeros cinco números de la lengua de señas colombiana al español (Imagen 2), sin embargo al momento de programar las vocales y los números del seis al nueve surgen inconvenientes, por lo que se continúa el desarrollo de la aplicación en el entorno Unity, la cual ofrece mejores funciones para la plataforma. (Figura 2). Tercero, se presenta el prototipo a la Institución Educativa Marcelo Miranda, se realiza una prueba del prototipo y se refinan algunos requisitos de software. (Imagen 3).
Imagen 2. Diseño inicial en JavaScript, observando en la primera imagen ejecución de la aplicación y en la segunda el código de programación de la aplicación. /Autor
Imagen 3.Diseño Unity /Autor
Productos obtenidos e impacto
Una vez, concluido el proyecto y cada fase del mismo con la presentación de los resultados, se obtiene como resultados: el análisis del funcionamiento del dispositivo Leap Motion, las especificaciones del software y el análisis de los resultados. Cabe resaltar, que en la ejecución del proyecto fue necesario realizar el estudio del sensor Leap Motion, API’s y lenguajes de programación soportados para su desarrollo; el sensor es un dispositivo que funciona mediante luz infrarroja emitida por tres LED, el cual puede captar gestos fijos, encontrando la mano y dedos en una posición bien definida en un momento dado, y gestos dinámicos, logrando captar una secuencia de movimientos en un periodo de tiempo determinado, las señales externas las recibe el dispositivo para luego ser transmitidas y procesadas por la aplicación.
Desde el inicio del proyecto en el año 2017 se desarrolla una aplicación web con las API de JavaScript proporcionadas por los desarrolladores de Leap Motion que representa numéricamente en una pantalla los dígitos del uno al cinco en lenguaje de señas colombiano; para el año 2019 durante el proceso de desarrollo, el sitio web del fabricante anuncia que no seguirá proporcionando soporte a este lenguaje de programación, por lo que es necesario cambiar el desarrollo a la plataforma Unity.
El software reconoce los diez primeros números y las vocales del lenguaje de señas colombiano proporcionados por el usuario y realiza la traducción al idioma español, mostrando movimientos y/o gestos en la pantalla del ordenador, que le permite aprender la ejecución y significado de las señas.
Video 1. Semilleristas 3DSoft, 2021. Enlace a video de explicación funcionamiento del software: https://drive.google.com/file/d/1p1LCDpWNpwiM6QtJlc69r233__CODJW4/view?usp=sharing.
Se realiza las pruebas del Software se obtiene como resultado sugerencias por parte de maestros y estudiantes que le permiten al equipo de ejecutores del proyecto mejorar el Software, presentando un producto final funcional, de calidad y fácil de manejar por estudiantes, maestros y las diferentes personas que interactúen con el sistema.
Conclusión
El sensor Leap Motion permite captura datos de movimientos de la mano y generaciones representadas en 3D en tiempo real de análisis inmediato o posterior, logrando, mediante el uso de esta herramienta, obtener un sistema de interpretación, que traduce los primeros diez números y vocales de la lengua de señas colombiano, captando de manera precisa los movimientos o gestos que realice el usuario, identificando su ejecución, permitiendo su registro en el sistema, que este sea procesado según los paramentos del código de programación y sea mostrado en la pantalla del dispositivo en el que se está ejecutando el sistema, mostrando la seña en la pantalla del dispositivo y realizando la interpretación de la seña traduciéndose al idioma español. El objetivo es crear una plataforma que reduzca la brecha de comunicación entre personas con algún grado de discapacidad auditiva y puedan mejorar su calidad de vida en el entorno personal, social, académico y laboral, obteniendo mayores oportunidades de desarrollo en la comunidad en la que se encuentren.
Referencias
Falcaoa C, Lemosb A and Soares M 2015. Evaluation of Natural User Interface: A Usability Study Based on The Leap Motion Device. 6th International Conference on Applied Human Factors and Ergonomics (AHFE 2015) and the Affiliated Conferences, AHFE.
Hal Hodson 6 de abril de 2013. The tricks of Leap Motion show the potential of the new gesture technology. New Scientist Volumen 218, number 2911, 6 de april de 2013, page 216 de april de 2013, page 21.
José Hoover Vanegas, Fabiana Marín Mejía. Manizales, diciembre 7 de 2012. Communication from reading gestural language in young people with disabilities auditiva. Magazine towards health promotion, page 110.
Ministry of Health and Social Protection, Office of Social Promotion, Disability Management Group, December 2014. General guidelines for the implementation of the National Public Policy of Disability and Social Inclusion 2013 – 2022
Filiación institucional de los autores
Oscar Julián Basante Quintero,SENA Semillero deinvestigación3Dsoft, https://orcid.org/0000-0002-2242-9508, ojbasanteq@sena.edu.co
Ángela Gabriela Bolaños Benavides, SENA Semillero de investigación 3Dsoft, https://orcid.org/0000-0003-3384-3365, agbolanos0@misena.edu.co
Mónica Yuliana Cuasapud Guerrero, SENA Semillero de investigación 3Dsoft, https://orcid.org/0000-0002-4170-574X, mycuasapud7@misena.edu.co
Carlos Yesid López ParedesSENA Semillero de investigación 3Dsoft, https://orcid.org/0000-0002-3158-9917, cylopez@sena.edu.co
Reconocimientos especiales
A la Institución Educativa Marcelo Miranda de la ciudad de Ipiales, por permitir a los ejecutores del proyecto realizar pruebas del prototipo de la plataforma en su institución y permitirles a los estudiantes con discapacidad auditiva interactuar con el sistema en su primera fase.
.
Imagen 4.Diseño aplicativo /Autor
