Già qualche decennio dopo la costruzione, forse per carenze di progetto o di esecuzione, la chiesa appariva in cattive condizioni di conservazione registrando dissesti e crolli tanto da dover essere massicciamente ristrutturata, se non proprio rifabbricata, in più fasi successive nel corso del XV secolo.
[...]
Sono, infatti, documentati interventi vari nel periodo compreso tra il 1440 e il 1443, negli anni '60 e attorno al 1480. L'edificio rappresenta un interessante momento del passaggio dal gotico al primo Rinascimento: le sue stesse dimensioni e le proporzioni lasciano il gigantismo esasperato delle chiese dei francescani e dei domenicani o, magari, dei serviti per proporre un equilibrio e un'armoniosità di forme di rara eleganza. Il corpo dell'edificio, come sempre nel gotico veneziano e veneto, è realizzato in cotto ma le profilature, i pinnacoli, le edicole e le statue in bianca pietra d'Istria alleggeriscono e nobilitano l'insieme. Originale della Madonna dell'Orto è poi la bicromia ottenuta con l'accostamento della pietra d'Istria e del marmo rosso di Verona, che contrappunta finestre e portale. Originalissima, con ricordi dell'architettura romanica, risulta la finta galleria a nicchie trilobate che contengono le statue degli apostoli, mentre quelle nelle edicole raffigurano la Vergine e le Virtù (ma si tratta di inserimenti ottocenteschi di statue del XVII-XVIII secolo provenienti da santo Stefano di Murano).