Sistema de Reconocimiento de Señalamientos en Entornos Abiertos para la Orientación de Personas con Discapacidad Visual

Yesenia González; Alejandro Millán; Yuli Sánchez; Claudia Ortiz; Miguel Alemán; Carlos Hernández

doi:10.36561/NG.19.4

Autores/as

Yesenia González UPIITA - Instituto Politécnico Nacional, México https://orcid.org/0000-0003-2370-4660
Alejandro Millán UPIITA - Instituto Politécnico Nacional, México https://orcid.org/0000-0002-0789-1112
Yuli Sánchez UPIITA - Instituto Politécnico Nacional, México https://orcid.org/0000-0002-9744-4614
Claudia Ortiz UPIITA - Instituto Politécnico Nacional, México https://orcid.org/0000-0002-5314-9488
Miguel Alemán CNMN - Instituto Politécnico Nacional, México https://orcid.org/0000-0001-6234-8406
Carlos Hernández https://orcid.org/0000-0002-2417-9020

DOI:

https://doi.org/10.36561/NG.19.4

Palabras clave:

Señalamientos, Algoritmo SLIC, Redes neuronales convolucionales, Ordenador de placa reducida, GPS, Personas con discapacidad visual

Resumen

En este trabajo se presenta el desarrollo de un prototipo que permite identificar señalamientos específicos a través de técnicas de visión artificial. Utiliza una etapa de segmentación de imagen basada en el algoritmo de superpíxeles SLIC, seguida de una etapa de reconocimiento y clasificación de señalamientos basada en redes neuronales convolucionales que se ha implementado en un ordenador de placa reducida (SBC). El prototipo informa al usuario de la identificación de estos señalamientos a través de un mensaje de audio enviado a un auricular, cuenta con un módulo GPS que obtiene la ubicación donde se reconoció el señalamiento y se almacena para ofrecer al usuario notificaciones sobre señalamientos cercanos. Las pruebas fueron realizadas con señalamientos a escala 1:2 en entornos abiertos, con luz de día. El prototipo pretende ser un apoyo para que personas con discapacidad visual puedan desplazarse en entornos abiertos urbanos. Tiempos de procesamiento y desempeño del prototipo son reportados. Si bien la implementación en el ordenador de placa reducida seleccionado hace inviable su uso por los tiempos de operación, se demuestra la funcionalidad del sistema.

Descargas

Los datos de descargas todavía no están disponibles.

Citas

Organización Mundial de la Salud. "Temas de salud. Discapacidades". Available: https://www.who.int/topics/disabilities/es/ [Accessed: 20- octubre- 2020].

Instituto Nacional de Estadística y Geografía. "Estadísticas a propósito del día internacional de las personas con discapacidad (3 de diciembre). Datos nacionales". Comunicado de prensa núm. 638/19. 2-diciembre-2019.

Instituto Nacional de Estadística y Geografía. "Clasificación de tipo de discapacidad-Histórica". Available: https://www.inegi.org.mx/contenidos/clasificadoresycatalogos/doc/clasificacion_de_tipo_de_discapacidad.pdf [Accesed: 20-octubre-2020].

E A. Lafuente de Frutos, Educación inclusiva. Personas con discapacidad visual, 1º ed. Madrid: ITE, 2011, pp. 4-5.

Unión latinoamericana de ciegos. "La discapacidad visual y las tecnologías de la información y la comunicación". Available: http://www.ulacdigital.org/wp-content/uploads/2020/01/La-Discapacidad-Visual-y-las-Tecnolog%C3%ADas-de-la-Informaci%C3%B3n-y-la-Comunicaci%C3%B3n-1-1.pdf [Accesed: 20- octubre- 2020].

L. Nieto Riveiro y J. Muñoz Sevilla, "Aplicación de las tecnologías de la información y las comunicaciones en la vida diaria de las personas con discapacidad", 1º ed. A Coruña: Universidade da Coruña, Servizo de Publicacións, 2012, pp. 303-304.

D. Gbenga, A. Shani , A. Adekunle. "Smart Walking Stick for Visually Impaired People Using Ultrasonic Sensors and Arduino". International Journal of Engineering and Technology, 9(5), 2017, pp. 3435–3447.

S. Mohapatra, S. Rout, V. Tripathi, T. Saxena and Y. Karuna, "Smart Walking Stick for Blind Integrated with SOS Navigation System," 2018 2nd International Conference on Trends in Electronics and Informatics (ICOEI), Tirunelveli, 2018, pp. 441-447

S. Wang and Y. Tian, Camera-Based Signage Detection and Recognition for Blind Persons, ICCHP (Computers Helping People with Special Needs), 2012.

Tian, Y., Yang, X., Yi, C. et al. "Toward a computer vision-based wayfinding aid for blind persons to access unfamiliar indoor environments". Machine Vision and Applications 24, pp. 521–535, 2013.

D. Kunene y H. Vadapalli, "Indoor Sign Recognition for the Blind", SAICSIT (Annual Conference of the South African Institute of Computer Scientists and Information Technologists), Johannesburgo, Sudáfrica, 2016.

I. Goodfellow, Y. Bengio, A. Courville, Deep Learning. MIT Press, 2016. www.deeplearningbook.org

F. Chollet. Deep Learning with Python. Manning Publication Co, 2017.

M. Afif, R. ayachi, Y. Said, E. Pissaloux and M. Atri, "Recognizing signs and doors for Indoor Wayfinding for Blind and Visually Impaired Persons", 2020 5th International Conference on Advanced Technologies for Signal and Image Processing (ATSIP), Sousse, Tunisia, 2020, pp. 1-4.

F. Zanetti, "Convolutional Networks for Traffic Sign Classification". Tesis de Maestría. Department of Signal and Systems. Chalmers University of Technology, Göteborg, Suecia. Pp. 26, 2016.

Madan, Rishabh, Deepank Agrawal, S. Kowshik, Harsh Maheshwari, S. Agarwal and D. Chakravarty. “Traffic Sign Classification using Hybrid HOG-SURF Features and Convolutional Neural Networks.” ICPRAM, 2019.

Saleh, Shadi & Saleh, Hadi & Nazari, Mohammad & Hardt, Wolfram, "Outdoor Navigation for Visually Impaired based on Deep Learning". Actual Problems of System and Software Engineering (APSSE 2019), 2019.

Comité Internacional Pro Ciegos I. A. P., CDMX. Available: http://lugaresaccesibles.com/lugar/comite-internacional-pro-ciegos-iap-cdmx. [Accesed: 15-octubre-2020].

Información oficial del Gobierno de los Estados Unidos relativa al Sistema de Posicionamiento Global y temas afines. Sistema de posicionamiento global al servicio del mundo. Available: https://www.gps.gov/spanish.php [Accesed: 15-octubre-2020].

A. Krizhevsky, I. Sutskever, G. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks". Neural Information Processing Systems. 25. 10, 2012.

K.Symonian, A. Zisserman, “Very deep convolutional networks for large-scale image recognition”, 2015.

Vezhnevets, Konouchine , “GrowCut” - Interactive Multi-Label N-D Image Segmentation By Cellular Automata, 2005.

N. Dalal, B. Triggs, "Histograms of oriented gradients for human detection". In Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on, volume 1, pages 886– 893. IEEE.

H. Bay, T. Tuytelaars, L.Van Gool, "Surf: Speeded up robust features". In Leonardis, A., Bischof, H., and Pinz, A., editors, Computer Vision – ECCV 2006, pages 404–417, Berlin, Heidelberg. Springer Berlin Heidelberg, 2006.

Secretaría de Comunicaciones y Transportes, Manual de Señalización Vial y Dispositivos de Seguridad, México, 2014, pp. 9.

M. Hart, "TinyGPS++ | Arduiniana", Arduiniana.org, 2014. [Online]. Available: http://arduiniana.org/libraries/tinygpsplus/. [Accessed: 19- mayo- 2019].

Stutz D., Hermans A., Leibe B. (2017). Superpixels: An Evaluation of the State-of-the-Art. Computer Vision and Image Understanding. doi: 10.1016/j.cviu.2017.03.007.

Achanta R., Shaji A., Smith K., Lucchi, A., Fua, P., Susstrunk. S. (2012). SLIC superpixels compared to state-of-the-art superpixel methods. IEEE Transactions on Pattern Analysis and Machine Intelligence, 34 (11): 2274–2281.

Ren X., Malik J. (2003). Learning a classification model for segmentation. International Conference on Computer Vision. Vol. 1: 10–17.

Achanta R., Shaji A., Smith K., Lucchi A., Fua P., Susstrunk S. (2010). SLIC Superpixels. EPFL Technical Report 149300

A. Hernández, Y. González, A. Morales (2017). Implementación de algoritmo de superpixeles para la segmentación de imágenes a color. Boletín UPIITA No. 61. Available: http://www.boletin.upiita.ipn.mx/index.php/component/content/article/9-articles/23-numeros-anteriores-cyt [Accessed: 27- junio- 2020].

Conversor texto-voz, Octubre 3, 2017, Available: https://es.wikipedia.org/wiki/Conversor-texto-voz.

Layer weight initializers. Usage of initializers. Available: https://keras.io/api/layers/initializers/ [Accessed: 25-octubre-2020].

Evaluación de modelos de clasificación: Matriz de confusión y curva ROC. http://ericmelillanca.cl/content/evaluaci-n-modelos-clasificaci-n-matriz-confusi-n-y-curva-roc [Accesed: 20-octubr-2020].

T. Fawcett, "An introduction to ROC analysis". Pattern Recognition Letters, 27, 861-874, 2006.

B. Zoph, V. Vasudevan, J. Shlens and Q. V. Le, "Learning Transferable Architectures for Scalable Image Recognition," 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, 2018, pp. 8697-8710, doi: 10.1109/CVPR.2018.00907.

G. Huang, Z. Liu, L. Van Der Maaten and K. Q. Weinberger, "Densely Connected Convolutional Networks," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 2261-2269, doi: 10.1109/CVPR.2017.243.

K. He, X. Zhang, S. Ren and J. Sun, "Deep Residual Learning for Image Recognition," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016, pp. 770-778, doi: 10.1109/CVPR.2016.90.