From pixels to graphs: cell-based digital pathology image analysis

Abstract

(English) Histopathology is the gold standard for cancer diagnosis, where pathologists examine tissue samples to assess cellular morphology, tissue architecture, and biomarker expression. The digitization of histological slides has enabled the application of artificial intelligence to assist in this process. However, deploying deep learning models in pathology remains challenging due to the gigapixel-scale nature of whole slide images, variability introduced by staining protocols and tissue morphology, and the scarcity of high-quality annotations. This thesis focuses on the development of deep learning methodologies for the identification and characterization of cells in histopathological slides, addressing these core challenges. Inspired by the way pathologists assess slides, the proposed methods target both individual cells and their spatial organization within the tissue. A transformer-based model, CellNuc-DETR, is introduced for efficient cell nuclei detection and classification, achieving state-of-the-art performance while significantly reducing inference time. To address annotation scarcity in immunohistochemistry, the model is adapted using unsupervised domain adaptation techniques, enabling knowledge transfer from hematoxylin and eosin-stained slides without requiring annotated immunohistochemistry data. To incorporate broader spatial context into cell classification, the thesis explores graph-based representations of histological tissue. It proposes a novel graph construction strategy that integrates both cell-level and patch-level nodes, enabling the fusion of cellular features with visual and contextual information in a scalable manner. To support annotation-efficient learning, the thesis introduces Regularized Graph Infomax, a self-supervised learning algorithm designed for representation learning on graphs without manual annotations. This algorithm is then applied to the proposed cell–patch graphs to enable efficient, large-context cell classification with minimal supervision. Finally, the thesis demonstrates the clinical relevance of these methods in a study on endometrial carcinoma. A weakly supervised whole slide classifier is trained to predict molecular subtypes, and the developed cell detection and classification tools are used to extract cell-level biomarkers from predicted regions of interest. These biomarkers enable the quantification of subtype-specific cell spatial organization differences, linking computational predictions to interpretable biological features. By integrating transformers, graph-based representations, and self-supervised learning, this thesis introduces scalable and annotation-efficient methodologies for computational pathology. These approaches enhance the efficiency, robustness, and generalization of artificial intelligence models, contributing to the development of clinically relevant tools for cancer diagnosis and characterization.

(Català) La histopatologia és el mètode de referència per al diagnòstic del càncer, on els patòlegs examinen mostres de teixit per avaluar la morfologia cel·lular, l’arquitectura del teixit i l’expressió de biomarcadors. La digitalització de les làmines histològiques (WSI) ha permès aplicar tècniques d’intel·ligència artificial per donar suport a aquest procés. Tot i això, l’ús de models d’aprenentatge profund en patologia continua sent complex a causa de la mida gegantina de les WSI, la variabilitat introduïda pels protocols de tinció i la morfologia del teixit, així com l’escassetat d’anotacions de qualitat. Aquesta tesi se centra en el desenvolupament de metodologies d’aprenentatge profund per a la identificació i caracterització de cèl·lules en WSIs, tot abordant aquests reptes. Inspirant-se en la manera com els patòlegs avaluen les làmines, els mètodes proposats tenen com a objectiu tant les cèl·lules individuals com la seva organització espacial dins del teixit. Primer, es presenta CellNuc-DETR, un model eficient basat en transformers per a la detecció i classificació de nuclis cel·lulars, que assoleix un rendiment d’última generació alhora que redueix considerablement el temps d’inferència. Per afrontar l’escassetat d’anotacions en mostres d’immunohistoquímica, el model s’adapta mitjançant tècniques d’adaptació de domini no supervisada, cosa que permet transferir coneixement des de làmines tenyides amb hematoxilina i eosina sense necessitat d’anotacions específiques. Per incorporar un context espacial més ampli en la classificació cel·lular, la tesi explora representacions del texit histologic basades en grafs. Es proposa una nova estratègia de construcció de grafs que integra nodes a nivell cel·lular i de fragment d'imatge (patch), que permet combinar característiques cel·lulars amb informació visual i de context d’una manera escalable. Per facilitar l’aprenentatge eficient amb poques anotacions, la tesi introdueix Regularized Graph Infomax, un algorisme d’aprenentatge autosupervisat dissenyat per a l’aprenentatge de representacions en grafs sense anotacions manuals. Aquest algorisme s’aplica als grafs cèl·lula–patch per permetre una classificació cel·lular eficient i amb gran context, però amb supervisió mínima. Finalment, la tesi fa valdre la rellevància clínica d’aquests mètodes mitjançant un estudi sobre carcinoma endometrial. Es forma un classificador de WSI amb aprenentatge feblement supervisat per predir subtipus moleculars, i les eines desenvolupades per a la detecció i classificació de cèl·lules s’utilitzen per extreure biomarcadors cel·lulars a partir de les regions d’interès identificades. Aquests biomarcadors permeten quantificar diferències en l’organització espacial de les cèl·lules segons el subtipus, connectant les prediccions computacionals amb característiques biològiques interpretables. Integrant transformers, representacions de grafs i aprenentatge autosupervisat, aquesta tesi proposa metodologies escalables i eficients en l’ús d’anotacions per a la patologia computacional. Aquestes aportacions milloren l’eficiència, la robustesa i la capacitat de generalització dels models d’intel·ligència artificial, i contribueixen al desenvolupament d’eines clínicament rellevants per al diagnòstic i la caracterització del càncer.

(Español) La histopatología es el método de referencia para el diagnóstico del cáncer, donde los patólogos examinan muestras de tejido para evaluar la morfología celular, la arquitectura tisular y la expresión de biomarcadores. La digitalización de las láminas histológicas (WSI) ha permitido aplicar técnicas de inteligencia artificial para apoyar este proceso. Sin embargo, el uso de modelos de aprendizaje profundo en patología sigue siendo complejo debido al tamaño gigantesco de las WSI, la variabilidad introducida por los protocolos de tinción y la morfología del tejido, así como la escasez de anotaciones de calidad. Esta tesis se centra en el desarrollo de metodologías de aprendizaje profundo para la identificación y caracterización de células en WSI, abordando estos retos. Inspirados en la manera en que los patólogos evalúan las láminas, los métodos propuestos tienen como objetivo tanto las células individuales como su organización espacial dentro del tejido. En primer lugar, se presenta CellNuc-DETR, un modelo eficiente basado en transformers para la detección y clasificación de núcleos celulares, que alcanza un rendimiento de última generación al tiempo que reduce considerablemente el tiempo de inferencia. Para afrontar la escasez de anotaciones en muestras de inmunohistoquímica, el modelo se adapta mediante técnicas de adaptación de dominio no supervisada, lo que permite transferir conocimiento desde láminas teñidas con hematoxilina y eosina sin necesidad de anotaciones específicas. Para incorporar un contexto espacial más amplio en la clasificación celular, la tesis explora representaciones del tejido histológico basadas en grafos. Se propone una nueva estrategia de construcción de grafos que integra nodos a nivel celular y de fragmento de imagen (patch), lo que permite combinar características celulares con información visual y contextual de manera escalable. Para facilitar un aprendizaje eficiente con pocas anotaciones, la tesis introduce Regularized Graph Infomax, un algoritmo de aprendizaje auto-supervisado diseñado para el aprendizaje de representaciones en grafos sin anotaciones manuales. Este algoritmo se aplica a los grafos célula–patch para permitir una clasificación celular eficiente y con amplio contexto, pero con una supervisión mínima. Finalmente, la tesis pone en valor la relevancia clínica de estos métodos mediante un estudio sobre carcinoma endometrial. Se entrena un clasificador de WSI con aprendizaje débilmente supervisado para predecir subtipos moleculares, y las herramientas desarrolladas para la detección y clasificación celular se utilizan para extraer biomarcadores celulares a partir de las regiones de interés identificadas. Estos biomarcadores permiten cuantificar diferencias en la organización espacial de las células según el subtipo, conectando las predicciones computacionales con características biológicas interpretables. Integrando transformers, representaciones en grafo y aprendizaje auto-supervisado, esta tesis propone metodologías escalables y eficientes en el uso de anotaciones para la patología computacional. Estas aportaciones mejoran la eficiencia, la robustez y la capacidad de generalización de los modelos de inteligencia artificial, y contribuyen al desarrollo de herramientas clínicamente relevantes para el diagnóstico y caracterización del cáncer.