Stitching Algorithms for Automatic Assembly of Hyperspectral Histological Images


Estudiante: Laura Quintana Quintana
Tutores: Gustavo Marrero Callicó (DIEA), Samuel Ortega Sarmiento (IUMA), Himar Fabelo Gómez (IUMA)
Fecha lectura: 30/07/2020
Lugar: Virtual (MS-Teams)
Resumen castellano:
Hoy en día, el estudio de slides de histología se considera un paso clave para el diagnóstico clínico del cáncer, y la tendencia es digitalizar slides de histología para su posterior análisis. Los histopatólogos se dedican a examinar visualmente las regularidades de las formas de las células y la distribución de los tejidos, para luego decidir si las regiones de los tejidos son cancerosas y en tal caso, determinan el nivel de malignidad. Sin embargo, la interpretación de estas imágenes es a menudo subjetiva debido a limitaciones en la visión humana para distinguir diferencias sutiles de color.

La tecnología espectral mejora el rendimiento de la cámara en color al expandir el número de canales más allá de la paleta RGB (Red-Green-Blue). La gran cantidad de información (espacial y espectral), proporcionada por una imagen hiperespectral de una escena, se puede analizar para detectar, identificar o discriminar objetos y patrones, así como la composición química del material presente en la escena. Sin embargo, la información espacial proporcionada por una imagen hiperespectral o multiespectral suele ser menor en comparación con una RGB. Hacer un mosaico (stitching) de pequeñas imágenes, permite la expansión del campo de visión (FOV) sin pérdida de resolución. Esto ayuda a la visualización de características a escala microscópica de áreas macroscópicas de tejido.

Después de un estudio exhaustivo del estado del arte, llegamos a la conclusión de que el número de estudios que aplican stitching a imágenes hiperespectrales en la literatura es muy limitado. Lang et al. desarrollaron un algoritmo de multichannel stitching que puede procesar cubos hiperespectrales cuadrados de hasta 10 canales y con una superposición entre ellos del 94% entre ellos (es decir, dos cubos contiguos contienen el 94% de la misma información). En este trabajo fin de máter se planteó la hipótesis de que los parámetros de entrada podrían optimizarse y aun así obtener resultados precisos (por ejemplo, la superposición entre cubos o el número de canales por cubo).

Finalmente, el algoritmo de Lang et al. demostró que produce resultados de stitching precisos para imágenes de histología cerebral cuando se introducen 3 cubos con una superposición del 67% (SSIM de 0,78 para imágenes RGB). Esto significa que, para poder obtener buenos resultados, se deben introducir 3 por 3 (9) cubos en el algoritmo, y, además, cada cubo debe tener una superposición del 67% con su predecesor. Además, se realizó un stitching de cada banda por separado. En este paso, se demostró que las longitudes de onda que daban los mosaicos más precisos estaban en el rango de 650-750 nm (SSIM de 0.93 como valor máximo). Finalmente, se hicieron cubos de 10 y 3 bandas, obteniendo valores SSIM superiores a 0,75 con longitudes de onda entre 650 y 750 nm. Los mosaicos resultantes de estos cubos dieron valores SSIM entre 0,88 y 0,94. Todas las pruebas realizadas se repitieron en imágenes de histología de mama para demostrar su repetitividad.
Resumen inglés:
Nowadays, the study of histology slides is considered the gold standard for the clinical diagnosis of cancer, and current trend is to digitalize histology slides for further histology image analysis. Histopathologists visually examine the regularities of cell shapes and tissue distributions, decide whether tissue regions are cancerous, and determine the malignancy level. However, the interpretation of these images is often subjective due to limitations in human vision to distinguish subtle color differences particularly because of spatially overlapping emissions. Spectral technology improves on color camera performance by expanding the number of channels beyond the RGB palette. The higher content of information (spatial and spectral) provided by a hyperspectral image of a scene can be analyzed to detect, identify, or discriminate objects and patterns as well as the chemical composition of the material present at the scene. However, spatial information provided by a hyperspectral (HS) or multispectral (MS) frame is usually lower compared to a traditional RGB frame. Microimage stitching offers an approach for expansion of the field-of-view (FOV) without loss of resolution, aiding visualization and interpretation of microscale features across macroscopic areas of tissue.

After an exhaustive study of the state of art, we came to the conclusion that the number of studies applying stitching to HS images in the literature is very limited. Lang et al. developed a multichannel mosaicking algorithm which could process square cubes up to 10 channels and 94% overlap between them. It was hypothesized that input parameter could be optimized and still obtain accurate results (e.g. overlap between frames or number of channels per frame).

Finally, the algorithm of Lang et al. was proven to produce accurate stitching results for brain histology images when introducing 3 frames at 67% overlap (SSIM of 0.78 for RGB images). This meaning, that to be able to obtain good results, 3 by 3 (9) frames have to be introduced in the algorithm to be stitched, and moreover, each frame has to be 67% overlapping with its predecessor. At the same time, single band stitching was performed. It was proved that the wavelengths giving the most accurate overlaps were in the range of 650-750 nm (SSIM of 0.93 as maximum value). Finally, cubes of 10 and 3 bands were made, with SSIM values higher than 0.75 and wavelengths between 650 and 750 nm. The mosaics resulting from these cubes gave SSIM values between 0.88 and 0.94. All the tests performed were repeated on breast histology images to prove their repeatability.
Tribunal:
  • Presidente: José María Quinteiro González
  • Secretario: Fernando de la Puente Arrate
  • Vocal: José Francisco López Feliciano
Documentos: Resumen Póster Memoria