CAGI, the Critical Assessment of Genome Interpretation, establishes progress and prospects for computational genetic variant interpretation methods

Jain, S.; Bakolitsa, C.; Brenner, S. E.; Radivojac, P.; Moult, J.; Repo, S.; Hoskins, R. A.; Andreoletti, G.; Barsky, D.; Chellapan, A.; Chu, H.; Dabbiru, N.; Kollipara, N. K.; Ly, M.; Neumann, A. J.; Pal, L. R.; Odell, E.; Pandey, G.; Peters-Petrulewicz, R. C.; Srinivasan, R.; Yee, S. F.; Yeleswarapu, S. J.; Zuhl, M.; Adebali, O.; Patra, A.; Beer, M. A.; Hosur, R.; Peng, J.; Bernard, B. M.; Berry, M.; Dong, S.; Boyle, A. P.; Adhikari, A.; Chen, J.; Hu, Z.; Wang, R.; Wang, Y.; Miller, M.; Wang, Y.; Bromberg, Y.; Turina, P.; Capriotti, E.; Han, J. J.; Ozturk, K.; Carter, H.; Babbi, G.; Bovo, S.; Di Lena, P.; Martelli, P. L.; Savojardo, C.; Casadio, R.; Cline, M. S.; De Baets, G.; Bonache, S.; Diez, O.; Gutierrez-Enriquez, S.; Fernandez, A.; Montalban, G.; Ootes, L.; Ozkan, S.; Padilla, N.; Riera, C.; De La Cruz, X.; Diekhans, M.; Huwe, P. J.; Wei, Q.; Xu, Q.; Dunbrack, R. L.; Gotea, V.; Elnitski, L.; Margolin, G.; Fariselli, P.; Kulakovskiy, I. V.; Makeev, V. J.; Penzar, D. D.; Vorontsov, I. E.; Favorov, A. V.; Forman, J. R.; Hasenahuer, M.; Fornasari, M. S.; Parisi, G.; Avsec, Z.; Celik, M. H.; Nguyen, T. Y. D.; Gagneur, J.; Shi, F. -Y.; Edwards, M. D.; Guo, Y.; Tian, K.; Zeng, H.; Gifford, D. K.; Goke, J.; Zaucha, J.; Gough, J.; Ritchie, G. R. S.; Frankish, A.; Mudge, J. M.; Harrow, J.; Young, E. L.; Yu, Y.; Huff, C. D.; Murakami, K.; Nagai, Y.; Imanishi, T.; Mungall, C. J.; Jacobsen, J. O. B.; Kim, D.; Jeong, C. -S.; Jones, D. T.; M. J., Li; Guthrie, V. B.; Bhattacharya, R.; Chen, Y. -C.; Douville, C.; Fan, J.; Kim, D.; Masica, D.; Niknafs, N.; Sengupta, S.; Tokheim, C.; Turner, T. N.; Yeo, H. T. G.; Karchin, R.; Shin, S.; Welch, R.; Keles, S.; Li, Y.; Kellis, M.; Corbi-Verge, C.; Strokach, A. V.; Kim, P. M.; Klein, T. E.; Mohan, R.; Sinnott-Armstrong, N. A.; Wainberg, M.; Kundaje, A.; Gonzaludo, N.; Mak, A. C. Y.; Chhibber, A.; Lam, H. Y. K.; Dahary, D.; Fishilevich, S.; Lancet, D.; Lee, I.; Bachman, B.; Katsonis, P.; Lua, R. C.; Wilson, S. J.; Lichtarge, O.; Bhat, R. R.; Sundaram, L.; Viswanath, V.; Bellazzi, R.; Nicora, G.; Rizzo, E.; Limongelli, I.; Mezlini, A. M.; Chang, R.; Kim, S.; Lai, C.; O'Connor, R.; Topper, S.; Van Den Akker, J.; Zhou, A. Y.; Zimmer, A. D.; Mishne, G.; Bergquist, T. R.; Breese, M. R.; Guerrero, R. F.; Jiang, Y.; Kiga, N.; Li, B.; Mort, M.; Pagel, K. A.; Pejaver, V.; Stamboulian, M. H.; Thusberg, J.; Mooney, S. D.; Teerakulkittipong, N.; Cao, C.; Kundu, K.; Yin, Y.; C. -H., Yu; Kleyman, M.; Lin, C. -F.; Stackpole, M.; Mount, S. M.; Eraslan, G.; Mueller, N. S.; Naito, T.; Rao, A. R.; Azaria, J. R.; Brodie, A.; Ofran, Y.; Garg, A.; Pal, D.; Hawkins-Hooker, A.; Kenlay, H.; Reid, J.; Mucaki, E. J.; Rogan, P. K.; Schwarz, J. M.; Searls, D. B.; Lee, G. R.; Seok, C.; Kramer, A.; Shah, S.; Huang, C. V.; Kirsch, J. F.; Shatsky, M.; Cao, Y.; Chen, H.; Karimi, M.; Moronfoye, O.; Sun, Y.; Shen, Y.; Shigeta, R.; Ford, C. T.; Nodzak, C.; Uppal, A.; Shi, X.; Joseph, T.; Kotte, S.; Rana, S.; Rao, A.; Saipradeep, V. G.; Sivadasan, N.; Sunderam, U.; Stanke, M.; Su, A.; Adzhubey, I.; Jordan, D. M.; Sunyaev, S.; Rousseau, F.; Schymkowitz, J.; Van Durme, J.; Tavtigian, S. V.; Carraro, M.; Giollo, M.; Tosatto, S. C. E.; Adato, O.; Carmel, L.; Cohen, N. E.; Fenesh, T.; Holtzer, T.; Juven-Gershon, T.; Unger, R.; Niroula, A.; Olatubosun, A.; Valiaho, J.; Yang, Y.; Vihinen, M.; Wahl, M. E.; Chang, B.; Chong, K. C.; Hu, I.; Sun, R.; W. K. K., Wu; Xia, X.; Zee, B. C.; Wang, M. H.; Wang, M.; Wu, C.; Lu, Y.; Chen, K.; Yang, Y.; Yates, C. M.; Kreimer, A.; Yan, Z.; Yosef, N.; Zhao, H.; Wei, Z.; Yao, Z.; Zhou, F.; Folkman, L.; Zhou, Y.; Daneshjou, R.; Altman, R. B.; Inoue, F.; Ahituv, N.; Arkin, A. P.; Lovisa, F.; Bonvini, P.; Bowdin, S.; Gianni, S.; Mantuano, E.; Minicozzi, V.; Novak, L.; Pasquo, A.; Pastore, A.; Petrosino, M.; Puglisi, R.; Toto, A.; Veneziano, L.; Chiaraluce, R.; Ball, M. P.; Bobe, J. R.; Church, G. M.; Consalvi, V.; Cooper, D. N.; Buckley, B. A.; Sheridan, M. B.; Cutting, G. R.; Scaini, M. C.; Cygan, K. J.; Fredericks, A. M.; Glidden, D. T.; Neil, C.; Rhine, C. L.; Fairbrother, W. G.; Alontaga, A. Y.; Fenton, A. W.; Matreyek, K. A.; Starita, L. M.; Fowler, D. M.; Loscher, B. -S.; Franke, A.; Adamson, S. I.; Graveley, B. R.; Gray, J. W.; Malloy, M. J.; Kane, J. P.; Kousi, M.; Katsanis, N.; Schubach, M.; Kircher, M.; Mak, A. C. Y.; Tang, P. L. F.; Kwok, P. -Y.; Lathrop, R. H.; Clark, W. T.; G. K., Yu; Lebowitz, J. H.; Benedicenti, F.; Bettella, E.; Bigoni, S.; Cesca, F.; Mammi, I.; Marino-Buslje, C.; Milani, D.; Peron, A.; Polli, R.; Sartori, S.; Stanzial, F.; Toldo, I.; Turolla, L.; Aspromonte, M. C.; Bellini, M.; Leonardi, E.; Liu, X.; Marshall, C.; Mccombie, W. R.; Elefanti, L.; Menin, C.; Meyn, M. S.; Murgia, A.; Nadeau, K. C. Y.; Neuhausen, S. L.; Nussbaum, R. L.; Pirooznia, M.; Potash, J. B.; Dimster-Denk, D. F.; Rine, J. D.; Sanford, J. R.; Snyder, M.; Cote, A. G.; Sun, S.; Verby, M. W.; Weile, J.; Roth, F. P.; Tewhey, R.; Sabeti, P. C.; Campagna, J.; Refaat, M. M.; Wojciak, J.; Grubb, S.; Schmitt, N.; Shendure, J.; Spurdle, A. B.; Stavropoulos, D. J.; Walton, N. A.; Zandi, P. P.; Ziv, E.; Burke, W.; Chen, F.; Carr, L. R.; Martinez, S.; Paik, J.; Harris-Wai, J.; Yarborough, M.; Fullerton, S. M.; Koenig, B. A.; Mcinnes, G.; Shigaki, D.; Chandonia, J. -M.; Furutsuki, M.; Kasak, L.; Yu, C.; Chen, R.; Friedberg, I.; Getz, G. A.; Cong, Q.; Kinch, L. N.; Zhang, J.; Grishin, N. V.; Voskanian, A.; Kann, M. G.; Tran, E.; Ioannidis, N. M.; Hunter, J. M.; Udani, R.; Cai, B.; Morgan, A. A.; Sokolov, A.; Stuart, J. M.; Minervini, G.; Monzon, A. M.; Batzoglou, S.; Butte, A. J.; Greenblatt, M. S.; Hart, R. K.; Hernandez, R.; Hubbard, T. J. P.; Kahn, S.; O'Donnell-Luria, A.; P. C., Ng; Shon, J.; Veltman, J.; Zook, J. M.

doi:10.1186/s13059-023-03113-6

BackgroundThe Critical Assessment of Genome Interpretation (CAGI) aims to advance the state-of-the-art for computational prediction of genetic variant impact, particularly where relevant to disease. The five complete editions of the CAGI community experiment comprised 50 challenges, in which participants made blind predictions of phenotypes from genetic data, and these were evaluated by independent assessors.ResultsPerformance was particularly strong for clinical pathogenic variants, including some difficult-to-diagnose cases, and extends to interpretation of cancer-related variants. Missense variant interpretation methods were able to estimate biochemical effects with increasing accuracy. Assessment of methods for regulatory variants and complex trait disease risk was less definitive and indicates performance potentially suitable for auxiliary use in the clinic.ConclusionsResults show that while current methods are imperfect, they have major utility for research and clinical applications. Emerging methods and increasingly large, robust datasets for training and assessment promise further progress ahead.

CAGI, the Critical Assessment of Genome Interpretation, establishes progress and prospects for computational genetic variant interpretation methods / Jain S.; Bakolitsa C.; Brenner S.E.; Radivojac P.; Moult J.; Repo S.; Hoskins R.A.; Andreoletti G.; Barsky D.; Chellapan A.; Chu H.; Dabbiru N.; Kollipara N.K.; Ly M.; Neumann A.J.; Pal L.R.; Odell E.; Pandey G.; Peters-Petrulewicz R.C.; Srinivasan R.; Yee S.F.; Yeleswarapu S.J.; Zuhl M.; Adebali O.; Patra A.; Beer M.A.; Hosur R.; Peng J.; Bernard B.M.; Berry M.; Dong S.; Boyle A.P.; Adhikari A.; Chen J.; Hu Z.; Wang R.; Wang Y.; Miller M.; Wang Y.; Bromberg Y.; Turina P.; Capriotti E.; Han J.J.; Ozturk K.; Carter H.; Babbi G.; Bovo S.; Di Lena P.; Martelli P.L.; Savojardo C.; Casadio R.; Cline M.S.; De Baets G.; Bonache S.; Diez O.; Gutierrez-Enriquez S.; Fernandez A.; Montalban G.; Ootes L.; Ozkan S.; Padilla N.; Riera C.; De la Cruz X.; Diekhans M.; Huwe P.J.; Wei Q.; Xu Q.; Dunbrack R.L.; Gotea V.; Elnitski L.; Margolin G.; Fariselli P.; Kulakovskiy I.V.; Makeev V.J.; Penzar D.D.; Vorontsov I.E.; Favorov A.V.; Forman J.R.; Hasenahuer M.; Fornasari M.S.; Parisi G.; Avsec Z.; Celik M.H.; Nguyen T.Y.D.; Gagneur J.; Shi F.-Y.; Edwards M.D.; Guo Y.; Tian K.; Zeng H.; Gifford D.K.; Goke J.; Zaucha J.; Gough J.; Ritchie G.R.S.; Frankish A.; Mudge J.M.; Harrow J.; Young E.L.; Yu Y.; Huff C.D.; Murakami K.; Nagai Y.; Imanishi T.; Mungall C.J.; Jacobsen J.O.B.; Kim D.; Jeong C.-S.; Jones D.T.; Li M.J.; Guthrie V.B.; Bhattacharya R.; Chen Y.-C.; Douville C.; Fan J.; Kim D.; Masica D.; Niknafs N.; Sengupta S.; Tokheim C.; Turner T.N.; Yeo H.T.G.; Karchin R.; Shin S.; Welch R.; Keles S.; Li Y.; Kellis M.; Corbi-Verge C.; Strokach A.V.; Kim P.M.; Klein T.E.; Mohan R.; Sinnott-Armstrong N.A.; Wainberg M.; Kundaje A.; Gonzaludo N.; Mak A.C.Y.; Chhibber A.; Lam H.Y.K.; Dahary D.; Fishilevich S.; Lancet D.; Lee I.; Bachman B.; Katsonis P.; Lua R.C.; Wilson S.J.; Lichtarge O.; Bhat R.R.; Sundaram L.; Viswanath V.; Bellazzi R.; Nicora G.; Rizzo E.; Limongelli I.; Mezlini A.M.; Chang R.; Kim S.; Lai C.; O'Connor R.; Topper S.; van den Akker J.; Zhou A.Y.; Zimmer A.D.; Mishne G.; Bergquist T.R.; Breese M.R.; Guerrero R.F.; Jiang Y.; Kiga N.; Li B.; Mort M.; Pagel K.A.; Pejaver V.; Stamboulian M.H.; Thusberg J.; Mooney S.D.; Teerakulkittipong N.; Cao C.; Kundu K.; Yin Y.; Yu C.-H.; Kleyman M.; Lin C.-F.; Stackpole M.; Mount S.M.; Eraslan G.; Mueller N.S.; Naito T.; Rao A.R.; Azaria J.R.; Brodie A.; Ofran Y.; Garg A.; Pal D.; Hawkins-Hooker A.; Kenlay H.; Reid J.; Mucaki E.J.; Rogan P.K.; Schwarz J.M.; Searls D.B.; Lee G.R.; Seok C.; Kramer A.; Shah S.; Huang C.V.; Kirsch J.F.; Shatsky M.; Cao Y.; Chen H.; Karimi M.; Moronfoye O.; Sun Y.; Shen Y.; Shigeta R.; Ford C.T.; Nodzak C.; Uppal A.; Shi X.; Joseph T.; Kotte S.; Rana S.; Rao A.; Saipradeep V.G.; Sivadasan N.; Sunderam U.; Stanke M.; Su A.; Adzhubey I.; Jordan D.M.; Sunyaev S.; Rousseau F.; Schymkowitz J.; Van Durme J.; Tavtigian S.V.; Carraro M.; Giollo M.; Tosatto S.C.E.; Adato O.; Carmel L.; Cohen N.E.; Fenesh T.; Holtzer T.; Juven-Gershon T.; Unger R.; Niroula A.; Olatubosun A.; Valiaho J.; Yang Y.; Vihinen M.; Wahl M.E.; Chang B.; Chong K.C.; Hu I.; Sun R.; Wu W.K.K.; Xia X.; Zee B.C.; Wang M.H.; Wang M.; Wu C.; Lu Y.; Chen K.; Yang Y.; Yates C.M.; Kreimer A.; Yan Z.; Yosef N.; Zhao H.; Wei Z.; Yao Z.; Zhou F.; Folkman L.; Zhou Y.; Daneshjou R.; Altman R.B.; Inoue F.; Ahituv N.; Arkin A.P.; Lovisa F.; Bonvini P.; Bowdin S.; Gianni S.; Mantuano E.; Minicozzi V.; Novak L.; Pasquo A.; Pastore A.; Petrosino M.; Puglisi R.; Toto A.; Veneziano L.; Chiaraluce R.; Ball M.P.; Bobe J.R.; Church G.M.; Consalvi V.; Cooper D.N.; Buckley B.A.; Sheridan M.B.; Cutting G.R.; Scaini M.C.; Cygan K.J.; Fredericks A.M.; Glidden D.T.; Neil C.; Rhine C.L.; Fairbrother W.G.; Alontaga A.Y.; Fenton A.W.; Matreyek K.A.; Starita L.M.; Fowler D.M.; Loscher B.-S.; Franke A.; Adamson S.I.; Graveley B.R.; Gray J.W.; Malloy M.J.; Kane J.P.; Kousi M.; Katsanis N.; Schubach M.; Kircher M.; Mak A.C.Y.; Tang P.L.F.; Kwok P.-Y.; Lathrop R.H.; Clark W.T.; Yu G.K.; LeBowitz J.H.; Benedicenti F.; Bettella E.; Bigoni S.; Cesca F.; Mammi I.; Marino-Buslje C.; Milani D.; Peron A.; Polli R.; Sartori S.; Stanzial F.; Toldo I.; Turolla L.; Aspromonte M.C.; Bellini M.; Leonardi E.; Liu X.; Marshall C.; McCombie W.R.; Elefanti L.; Menin C.; Meyn M.S.; Murgia A.; Nadeau K.C.Y.; Neuhausen S.L.; Nussbaum R.L.; Pirooznia M.; Potash J.B.; Dimster-Denk D.F.; Rine J.D.; Sanford J.R.; Snyder M.; Cote A.G.; Sun S.; Verby M.W.; Weile J.; Roth F.P.; Tewhey R.; Sabeti P.C.; Campagna J.; Refaat M.M.; Wojciak J.; Grubb S.; Schmitt N.; Shendure J.; Spurdle A.B.; Stavropoulos D.J.; Walton N.A.; Zandi P.P.; Ziv E.; Burke W.; Chen F.; Carr L.R.; Martinez S.; Paik J.; Harris-Wai J.; Yarborough M.; Fullerton S.M.; Koenig B.A.; McInnes G.; Shigaki D.; Chandonia J.-M.; Furutsuki M.; Kasak L.; Yu C.; Chen R.; Friedberg I.; Getz G.A.; Cong Q.; Kinch L.N.; Zhang J.; Grishin N.V.; Voskanian A.; Kann M.G.; Tran E.; Ioannidis N.M.; Hunter J.M.; Udani R.; Cai B.; Morgan A.A.; Sokolov A.; Stuart J.M.; Minervini G.; Monzon A.M.; Batzoglou S.; Butte A.J.; Greenblatt M.S.; Hart R.K.; Hernandez R.; Hubbard T.J.P.; Kahn S.; O'Donnell-Luria A.; Ng P.C.; Shon J.; Veltman J.; Zook J.M.. - In: GENOME BIOLOGY. - ISSN 1474-760X. - STAMPA. - 25:(2024), pp. 53.1-53.46. [10.1186/s13059-023-03113-6]