INTRODUCCIÓN

Actualmente son múltiples las aplicaciones de utilización de sistemas robóticos no tripulados, cuya  misión principal es llevar uno o más sensores a un punto de altitud elevada, en zonas de difícil acceso, áreas contaminadas con agentes químicos o nucleares, o en todo otro tipo de actividad que represente un riesgo para el personal interviniente. Existen además muchos otros casos de aplicación en donde una tarea de reconocimiento, inspección o vigilancia puede ser riesgosa para el ser humano (tales como las actividades militares, misiones de reconocimiento en zonas hostiles, etc.), o bien por sus características de repetitividad o costo operativo impidan la ejecución supervisada de la misma.

La utilización de plataformas aéreas no tripuladas autónomas o semiautónomas permite eliminar riesgos para los humanos, y además una considerable reducción de los costos de operación, siempre que se realicen en un marco de confiabilidad y seguridad. Esto está determinando que actualmente estas plataformas faciliten y expandan cada vez más sus áreas de aplicación. Entre dichas áreas, una que está tomando mayor auge hoy en día es el control de los recursos naturales, control de la flora y fauna, alerta temprana de incendios forestales, seguimiento de movimientos migratorios y de plagas, recuento de animales y detección de bancos de pesca, son solo algunos ejemplos de las mismas.

Para todas estas aplicaciones es necesario controlar en forma robusta el vuelo de la aeronave y conocer con la mayor precisión posible su orientación y posición, a fin de poder analizar los datos arrojados por los sensores, corregir los mismos, o componer un resultado a partir de múltiples registros en una acción colaborativa.

Resulta de primordial interés, por lo tanto, poder realizar vuelos siguiendo una trayectoria y concretar el regreso al punto base de partida en forma autónoma. Para ello, la estrategia tradicional consiste en emplear puntos fijos de referencia sobre una cartografía con coordenadas geodésicas. Esta estrategia es inaplicable en un conjunto significativo de casos; por ejemplo en lugares donde no se cuenta con una buena cobertura GPS, o no se cuenta con una cartografía de base lo suficientemente precisa, o bien si el área de interés no está perfectamente determinada en el momento de realizar la planificación del vuelo.

 Esto es particularmente indispensable en determinadas misiones donde se requiere recabar información a partir del reconocimiento de una imagen sobre el terreno, como por ejemplo encontrar una falla a lo largo de una línea de alta tensión, encontrar un móvil específico en una ruta, determinar la posición de focos de incendio, derrames de hidrocarburos, etc., entre otros casos igualmente significativos y críticos. Para todas estas situaciones, en las cuales planificar el vuelo en forma estática y siguiendo puntos de referencia es inaplicable, se requiere que la navegación autónoma incorpore capacidades interactivas en base a algún criterio programable.

La tesis a la cual el presente resumen se refiere tiene como objetivo el desarrollo de algoritmos de navegación autónoma que incorporan el procesamiento digital de video, la cual es una técnica emergente en el control conocido como VISION IN THE LOOP, para la cual hay desarrollos experimentales en navegación robótica autónoma, pero es aún un territorio muy poco explorado en aeronavegación. El uso de video junto con el instrumental disponible, incluyendo los sensores inerciales, y el magnetómetro, permitiría el seguimiento de trayectorias por medio de la identificación de puntos de referencia dinámicos con y sin la disponibilidad del sistema GPS.

Para la investigación y desarrollo llevado adelante se utilizaron no solo los recursos del Instituto (aeronave no tripulada del tipo helicóptero de seis rotores) sino, además, la experiencia adquirida durante años dedicados a la investigación y desarrollo en estos temas. A modo de resumen desde los años 80 hasta la actualidad en CITEDEF, participé y dirigí proyectos relacionados con vehículos, en los que la navegación, el seguimiento, la trayectoria y el guiado juegan un papel preponderante, según puede observarse en la línea de tiempo representada en la Figura 1.

La navegación autónoma de un vehículo consiste en la determinación de los parámetros numéricos que describen la posición, velocidad y orientación del mismo, respecto de un sistema de referencia. Podemos definir la navegación como “el arte y la ciencia que 3 permiten determinar los parámetros de navegación de un vehículo con información disponible a bordo del mismo”. La técnica más básica de navegación (conocida como exógena), es la basada en la medición absoluta de la posición del vehículo respecto de algún punto fijo exterior al mismo, objetos cercanos, posición de los astros, o actualmente por medio del sistema de radionavegación global conocido como GPS (Global Positioning System).

Durante el siglo XX y con el amplio desarrollo de la aeronavegación, la cohetería y los sistemas aeroespaciales, se desarrollaron una serie de instrumentos inerciales capaces de medir a bordo del vehículo los parámetros fundamentales, su aceleración y velocidad angular respecto de un sistema de referencia inercial. Esto permitió el desarrollo de otra técnica de navegación basada en la extrapolación (conocida como endógena), partiendo del conocimiento del estado inicial del vehículo, y con la medición de la velocidad de variación de los parámetros de navegación (aceleración y velocidad angular) se calcula la nueva posición por técnicas de integración.

Disponer de estos instrumentos motivó una gran difusión de esta técnica de extrapolación, aunque la misma conlleva a una propagación de errores en los parámetros, la cual es monótonamente creciente en el tiempo. En otras palabras, la navegación endógena requiere, para ser útil, la realización de exhaustivos procedimientos de calibración de los sensores antes de iniciar los cálculos de la navegación, existiendo límites prácticos insalvables en la extensión y planificación de misiones. Debido a estas limitaciones, la técnica de extrapolación (navegación inercial pura) es cada vez menos utilizada, reservándose únicamente a sistemas en los cuales se requiere una autonomía total del vehículo, y en las que se prescinde de toda información exterior al mismo (submarinos en misiones íntegramente debajo del agua, o en misiles balísticos intercontinentales, por ejemplo).

 A partir de la disponibilidad de sistemas de procesamiento digital de alta escala de integración, junto con la aparición de los instrumentos inerciales de estado sólido conocidos como MEMS (Micro-Electro-Mechanical-System) y la masiva difusión del sistema GPS, se ha vuelto posible integrar ambos sistemas de navegación, el sistema endógeno basado en mediciones internas al móvil, y el exógeno basado en mediciones externas al móvil. Un sistema resultante que emplee ambas técnicas se conoce como “sistema de navegación integrada”. En aeronavegación autónoma, la navegación integrada es actualmente el estado del arte por excelencia, pero tal como se mencionó anteriormente, posee limitaciones fundamentales en un conjunto de situaciones, por ejemplo cuando la precisión del vuelo es mayor que la provista por el GPS (o la señal del GPS no es recibida adecuadamente), cuando  la cartografía disponible no permite fijar los puntos de referencia con la precisión requerida, o cuando el objeto de la misión posee posiciones variables o desconocidas; es ahí que se recurre a métodos adicionales como ser la visión artificial.

MOTIVACIÓN

 Las motivaciones para encarar el presente trabajo fueron muchas, pero la principal es la generación de independencia tecnológica, ya que la adquisición de muchos de estos sistemas de navegación se encuentra vedada por temas comerciales o de política internacional, y en caso de disponer de algún sistema ocurre lo mismo con su actualización. Por otro lado el software de navegación tiene parámetros de comportamiento configurables, pero en forma limitada por reservas del fabricante, lo cual lo limita a aplicaciones específicas y la adaptación del software a las necesidades particulares son muy costosas. En este caso utilizar una cámara infrarroja en el sistema de navegación tiene como ventaja adicional extender su capacidad operativa a misiones nocturnas, mejorando la estimación de la posición obtenida del receptor GPS, o poder continuar con la misma en caso de deterioro en su calidad.

Otro factor importante fue el aspecto interinstitucional necesario para llevar adelante el desarrollo de la presente tesis, ya que varias instituciones del sistema nacional y estatal de educación e investigación contribuyeron a la misma, Figura 2: mi Director de Tesis Doctor Claudio Delrieux profesor de la Universidad Nacional del Sur, Profesores/as del Doctorado de la Universidad Tecnológica Nacional, y el Instituto de Investigaciones Científicas y Técnicas para la Defensa. Y fundamentalmente que el producto de la misma es de dominio público.

Por último cabe mencionar la dispersión de aplicaciones, tecnología y conocimiento que estos trabajos realizan en la sociedad, a modo de detalle enumeramos algunos de ellos:   capacitación de profesionales y estudiantes Universitarios, que generan una mayor calidad en el diseño de los productos que realizan, nuevas herramientas para docentes que producen  una mejora en la capacitación y algoritmos aplicables a la investigación, y desarrollo de la industria en Nacional.

DESCRIPCIÓN

El esquema general del sistema desarrollado corresponde al de la Figura 3 (a) mientras que su instrumentación se observa en la Figura 3 (b). En la Figura 3 (a) se observa la computadora de procesamiento junto con el sistema de sensores compuesto por un barómetro para medir la altura, un receptor GPS para obtener la posición, la unidad de medición inercial que realiza la medición de la aceleración lineal, velocidad angular y campo magnético en los tres ejes; mientras que para la parte de video incorpora la cámara de video infrarrojo y la imagen de referencia (seleccionada por el usuario) utilizada para la navegación.

En la Figura 3 (b), se observa la instrumentación sobre el helicóptero de seis rotores desarrollado íntegramente en el Instituto, y los sistemas de comunicaciones, de control de vuelo y de telemetría, permitiendo este último realizar el monitoreo del vuelo en tiempo real. El número total de magnitudes físicas adquiridas y transmitidas, como así su agrupamiento en datos de telemetría y datos de video puede observarse en la Figura 4.

Para la validación de los datos, ecuaciones y algoritmos empleados se realizó un vuelo sobre la zona de la Plaza de Armas del Instituto de Investigaciones Científicas y Técnicas para la Defensa, Figura 5 (a). Ahí se encuentran identificados: con una cruz el punto de referencia geodésico patrón secundario, y con un círculo punteado el viejo helipuerto del Instituto, el cual a pesar de no estar en óptimas condiciones de señalización igual se utilizó como referente de coordenadas. Mientras que en la Figura 5 (b) se encuentran identificadas las coordenadas de dichos puntos en el sistema de referencia East-North-Up ENU, y las condiciones iniciales del vehículo en posición y orientación.

En esta área se tomó el plano tangente local al elipsoide terrestre WGS84 en el punto de referencia geodésico (patrón secundario), y ahí se ubicó el punto de origen (0, 0, 0) de la terna ENU usada como referencia de coordenadas.

El esquema del algoritmo general de navegación utilizado se representa en la Figura 6 (a), sobre la izquierda ingresa la información generada por todos los sensores del sistema: IMU, Receptor GPS, Barómetro y Cámara de Video, y en la parte inferior el ingreso de la imagen referente seleccionada por el usuario previamente al vuelo y con sus coordenadas ENU. Esta imagen es la utilizada por el algoritmo de procesamiento de video para obtener los parámetros de posición y guiño a incorporar al estimador de Kalman, para ser utilizadas cuando la señal del receptor GPS no sea válida o no confiable.

 En dicho esquema se resaltan en color rojo lo fundamentalmente investigado y desarrollado en la presente tesis, como por ejemplo, las señales de validación de la recepción GPS y de la medición de la cámara ambas utilizadas por los estimadores de Baue, y por otro lado el bloque del algoritmo de procesamiento de video el cual se detalla en la Figura 6 (b). Para este algoritmo es necesario determinar en primera instancia la imagen referente, la cual se ha de utilizar para la navegación ante la degradación de la recepción de la señal del GPS. Esto lo realiza el usuario cuando programa la misión, determinando sus coordenadas ENU, referidas 7 al punto de referencia (0, 0, 0) establecido; y los puntos característicos de la imagen referente para su posterior localización.

Dado que el helipuerto (tomado como referencia) no se encuentra óptimamente señalizado, se realizó una mejora sobre las imágenes adquiridas por la cámara, ya sea para la imagen referente como para las adquiridas durante el vuelo. Estos procedimientos de mejora consistieron en la disminución del efecto del fondo de la imagen y el realce de contraste.

 Para la identificación de la posición del helipuerto se utilizó un procedimiento estadístico conocido como estimador de partículas. Este procedimiento consiste en distribuir varias sub imágenes sobre la imagen adquirida y determinar en cada una de ellas su probabilidad de coincidencia con la imagen referente. La determinación de la probabilidad de coincidencia entre la imagen de cada partícula y la del referente se realiza por medio del análisis de sus puntos característicos, estos puntos característicos se determinan por medio de la rutina Speeded-up Robust Features SURF.

 Una vez determinada la posición de la imagen que más se aproxima a la imagen referente obtenida durante el vuelo, se dispone de un conjunto de puntos característicos (puntos SURF) de la misma, y por otro lado también se dispone del conjunto de puntos SURF correspondiente a la imagen referente. De la alineación de ambos conjuntos de puntos se determinan las matrices de desplazamiento y de rotación respectivas; esta alineación se lleva a cabo por medio del algoritmo Iterative Closests Point ICP.

Estas matrices de desplazamiento y rotación están referidas a la partícula de referencia, y si bien los desplazamientos angulares son obtenidos en radianes los desplazamientos lineales, son medidos en pixeles en el sistema de coordenadas de la cámara. La transformación  al espacio de coordenadas de vuelo ENU, se realiza por medio del modelo matemático de la cámara, la posición del referente, la estimación de la altura de vuelo y los ángulos de balanceo y cabeceo, los cuales por la característica del vuelo se encuentran próximos a cero.

RESULTADOS EXPERIMENTALES

 Los resultados experimentales se validaron mediante la realización de un vuelo con el helicóptero de seis rotores, Figura 3 (b), el cual se realizó desde el punto de inicial de despegue hacia la zona del helipuerto, sobrevolando el mismo para finalmente aterrizar en dicha área, en coordenadas ENU (X=+3.11m, Y=-23.82m, Z=0m).

Si bien durante todo el vuelo hubo registro de medición del receptor GPS, el mismo se desactivó por software durante un lapso de tiempo de vuelo sobre el helipuerto, para posteriormente volver a activarlo antes del aterrizaje y evaluar el comportamiento del algoritmo de navegación por visión artificial. En la Figura 7 se ve esta trayectoria en color rojo, con la indicación en donde se apagó el receptor GPS y en donde se volvió a encender. Sobre este gráfico también se observa en color azul la trayectoria del sistema de navegación por imágenes y sobre la derecha algunas de las imágenes adquiridas por la cámara de video durante el tiempo en que permaneció apagado el receptor GPS. Estas imágenes son las que utilizó el sistema de navegación para mantener la trayectoria, pudiéndose observar la diferencia entre ambas trayectorias.

Se observa en el gráfico, que en el instante en que se apaga el receptor GPS aparece una pequeña desviación de la trayectoria real, para posteriormente acomodarse a una rápida convergencia a la misma, ocurriendo lo mismo en el instante del encendido del receptor la trayectoria converge rápidamente a la trayectoria real.  A los fines de realizar una determinación cuantitativa de la calidad del sistema de navegación por visión artificial se graficó el error relativo referido a la trayectoria real el cual se observa en la Figura 8.

Figura 8

En el gráfico del error relativo sobre la derecha se observan dos máximos relativos en el error, a los 231,84 y 279,53 segundos. El motivo del aumento del error se debe a un deterioro en la imagen adquirida, según se observa sobre la izquierda la imagen que corresponde al instante de adquisición indicado por la flecha de color rojo. En esos entornos se observa: un deterioro en la señal de video; un incremento notable del ruido; pérdida del referente por salir del campo visual debido a las condiciones del vuelo; y fuertes diferencias de intensidad en la zona del helipuerto. Si bien existen dos picos de error del 18% aproximadamente, el valor medio del mismo es bastante inferior, 6%.

CONCLUSIONES

A lo largo de esta tesis se realizó la investigación sobre diferentes técnicas de procesamiento de imágenes, y se desarrollaron los algoritmos de navegación que incorporan el procesamiento digital de video, conocido como Vision in the Loop. Siendo una de las premisas principales que los algoritmos respondieran a condiciones reales de vuelo, sin información del receptor GPS, y sobre todo cuando las imágenes adquiridas por el sistema de la cámara de video no sean favorables. Finalmente se alcanzó el objetivo de independizar la navegación de la calidad de la recepción del receptor GPS, permitiendo entre otras capacidades, realizar:

?         La aproximación y posicionamiento sobre el referente a los fines de dejar una carga útil o establecer un vínculo más robusto con el mismo.

?        El mantenimiento de una posición y el desplazamiento dentro del entorno de visualización de, al menos, uno de los referentes hasta el restablecimiento del a información del receptor GPS. 10

?        Una aproximación al referente para lograr el aterrizaje; en este caso se debe considerar un referente a tal fin.

REFERENCIA

La presente tesis se encuentra en el repositorio Institucional Abierto de la Universidad Tecnológica Nacional, https://ria.utn.edu.ar/. Y como material de consulta el trabajo “Robust Object Tracking in Infrared Video via Particle Filters”, Electronic Letters on Computer Vision and Image Analysis VOL. 19 NO. 1 (July 2020), https://doi.org/10.5565/rev/elcvia.1185