Citata per la prima volta nel 1423 come “domus de Meclo”, la casa fortificata detta “Castello delle cento finestre” venne rinnovata nel 1486 da Nicolò di Firmian.
Il palazzo, contraddistinto dall’imponente portale di stile manierista, rappresenta uno dei maggiori esempi di architettura signorile tardo rinascimentale della Val di Non.
La memoria visiva della presenza nella storia delle famiglie nobili di Sant’Ippolito e di Firmian è oggi affidata all’imponenza del palazzo di piazza, noto appunto come Palazzo Firmian o ancora come il “castello dalle cento finestre”. Ma prima di esso, una residenza castellana oggi scomparsa ci riporta a quel “Castrum s. Ypoliti” che troviamo citato per la prima volta nel 1328. Successivamente, nel 1365 il vescovo di Trento, Alberto di Ortenburg, rinnovava ai fratelli Leonardo, Antonio e Federico figli del fu Bertoldo, l’investitura “de medietate castri s. Ypoliti superioris et totius castri inferioris”, oltre a svariate decime gravanti sugli abitati della Val di Non e Sole. Si rinvia ad altra parte di questo volume per la trattazione delle vicende della famiglia di Sant’Ippolito, strettamente imparentata con i Cles. Già nel 1307 troviamo citato Gregorio del fu Bertoldo “de S. Yppolito de Cleso” ma anche “plebatus Clesi” indicando probabilmente il cambio di residenza nella sede di Mechel. I fatti legati all’insurrezione del 1407 portarono allo smantellamento del castello di Sant’Ippolito, insieme a quelli di Tuenno e di Altaguardia. Non venne più ripristinato ma il suo ricordo resta nelle infeudazioni di inizio Quattrocento (1404?), tuttavia insieme al palazzo di Mechel, in cui presero residenza le linee superstiti dei Sant’Ippolito e quindi gli eredi Firmian (“de medio castro S. Ypoliti in Anaunia, de medio viridiario, prope dictum castrum, apud communitatem Mecli, de media domo fortiliciata cum una pecia terrae subtus dictum castrum, quae nuncupatur domus de Meclo”). Un passaggio che viene confermato nel 1423, quando il vecchio castello è definito come “castellaccio” e i Sant’Ippolito residenti nella casa fortificata citata come “domus de Meclo”, posta sotto l’antico castello. Nel 1499 è denominata “castrum Meclum”, con capitano Andrea Cles. Nel 1529 vi risiede, quale capitano, Biagio di Castelrotto. Nel 1680, in un'investitura vescovile a favore di Giorgio Vigilio Thun-Bragher, iniziatore della seconda linea di Castel Caldes, è citato il “sedumen” del vecchio castello di Sant’Ippolito e già nelle mappe catastali di inizio Ottocento di esso non vi è pressoché più alcune traccia materiale.