{rfName}
Le

Indexat a

Llicència i ús

Icono OpenAccess

Citacions

55

Altmetrics

Grant support

This work was supported by the Agencia Estatal de Investigacion of the Spanish Ministerio de Ciencia e Innovacion under contract PID2019-105142RB-C22/AEI/10.13039/501100011033, and the United States National Institutes of Health National Cancer Institute Grants U01CA220401 and U24CA19436201. P.M. contribution was mostly before joining Microsoft Research, when he was supported by La Caixa Banking Foundation (ID 100010434, Barcelona, Spain) through La Caixa Fellowship for Doctoral Studies LCF/BQ/ES17/11600011.

Anàlisi d'autories institucional

López-Pérez, MiguelAutor o coautor

Compartir

Publicacions
>
Article

Learning from crowds in digital pathology using scalable variational Gaussian processes

Publicat a:Scientific Reports. 11 (1): 11612- - 2021-06-02 11(1), DOI: 10.1038/s41598-021-90821-3

Autors: Lopez-Perez, Miguel; Amgad, Mohamed; Morales-Alvarez, Pablo; Ruiz, Pablo; Cooper, Lee A D; Molina, Rafael; Katsaggelos, Aggelos K

Afiliacions

Microsoft Res, Cambridge CB1 2FB, England - Autor o coautor
Northwestern Univ, Ctr Computat Imaging & Signal Analyt, Chicago, IL 60611 USA - Autor o coautor
Northwestern Univ, Dept Pathol, Chicago, IL 60611 USA - Autor o coautor
Nothwestern Univ, Dept Elect & Comp Engn, Evanston, IL 60208 USA - Autor o coautor
OriGenAI, Brooklyn, NY 11201 USA - Autor o coautor
Univ Granada, Dept Comp Sci & Artificial Intelligence, Granada 18071, Spain - Autor o coautor
Veure més

Resum

The volume of labeled data is often the primary determinant of success in developing machine learning algorithms. This has increased interest in methods for leveraging crowds to scale data labeling efforts, and methods to learn from noisy crowd-sourced labels. The need to scale labeling is acute but particularly challenging in medical applications like pathology, due to the expertise required to generate quality labels and the limited availability of qualified experts. In this paper we investigate the application of Scalable Variational Gaussian Processes for Crowdsourcing (SVGPCR) in digital pathology. We compare SVGPCR with other crowdsourcing methods using a large multi-rater dataset where pathologists, pathology residents, and medical students annotated tissue regions breast cancer. Our study shows that SVGPCR is competitive with equivalent methods trained using gold-standard pathologist generated labels, and that SVGPCR meets or exceeds the performance of other crowdsourcing methods based on deep learning. We also show how SVGPCR can effectively learn the class-conditional reliabilities of individual annotators and demonstrate that Gaussian-process classifiers have comparable performance to similar deep learning methods. These results suggest that SVGPCR can meaningfully engage non-experts in pathology labeling tasks, and that the class-conditional reliabilities estimated by SVGPCR may assist in matching annotators to tasks where they perform well.

Paraules clau

Breast neoplasmsCrowdsourcingDeep learningFemaleHistocytochemistryHumansNormal distributionSoftware

Indicis de qualitat

Impacte bibliomètric. Anàlisi de la contribució i canal de difusió

El treball ha estat publicat a la revista Scientific Reports a causa de la seva progressió i el bon impacte que ha aconseguit en els últims anys, segons l'agència Scopus (SJR), s'ha convertit en una referència en el seu camp. A l'any de publicació del treball, 2021, es trobava a la posició , aconseguint així situar-se com a revista Q1 (Primer Cuartil), en la categoria Multidisciplinary. Destacable, igualment, el fet que la revista està posicionada per sobre del Percentil 90.

Des d'una perspectiva relativa, i atenent a l'indicador de impacte normalitzat calculat a partir del Field Citation Ratio (FCR) de la font Dimensions, proporciona un valor de: 10.13, el que indica que, comparat amb treballs en la mateixa disciplina i en el mateix any de publicació, el situa com un treball citat per sobre de la mitjana. (font consultada: Dimensions Jun 2025)

Concretament, i atenent a les diferents agències d'indexació, aquest treball ha acumulat, fins a la data 2025-06-23, el següent nombre de cites:

  • WoS: 13
  • Scopus: 30
  • Europe PMC: 11
  • Google Scholar: 1
  • Open Alex: 27
  • OpenCitations: 24

Impacte i visibilitat social

Des de la dimensió d'influència o adopció social, i prenent com a base les mètriques associades a les mencions i interaccions proporcionades per agències especialitzades en el càlcul de les denominades "Mètriques Alternatives o Socials", podem destacar a data 2025-06-23:

  • L'ús, des de l'àmbit acadèmic evidenciat per l'indicador de l'agència Altmetric referit com a agregacions realitzades pel gestor bibliogràfic personal Mendeley, ens dona un total de: 33.
  • L'ús d'aquesta aportació en marcadors, bifurcacions de codi, afegits a llistes de favorits per a una lectura recurrent, així com visualitzacions generals, indica que algú està fent servir la publicació com a base del seu treball actual. Això pot ser un indicador destacat de futures cites més formals i acadèmiques. Aquesta afirmació està avalada pel resultat de l'indicador "Capture", que aporta un total de: 33 (PlumX).

Amb una intenció més de divulgació i orientada a audiències més generals, podem observar altres puntuacions més globals com:

  • El Puntuació total de Altmetric: 2.75.
  • El nombre de mencions a la xarxa social X (abans Twitter): 4 (Altmetric).

És fonamental presentar evidències que recolzin l'alineació plena amb els principis i directrius institucionals sobre Ciència Oberta i la Conservació i Difusió del Patrimoni Intel·lectual. Un clar exemple d'això és:

  • El treball s'ha enviat a una revista la política editorial de la qual permet la publicació en obert Open Access.

Anàlisi del lideratge dels autors institucionals

Aquest treball s'ha realitzat amb col·laboració internacional, concretament amb investigadors de: Granada; United Kingdom; United States of America.

Hi ha un lideratge significatiu, ja que alguns dels autors pertanyents a la institució apareixen com a primer o últim signant, es pot apreciar en el detall: Primer Autor (López Pérez, Miguel) .