Il castello probabilmente sorgeva su una fortificazione di epoca romana a guardia dell’antica via submontana e del torrente Artugna

Il castello fu probabilmente costruito su una preesistente fortificazione di epoca romana.
La prima menzione certa di questo sito castellano è il primo settembre 1161: in questa data l’Imperatore Federico concedeva al vescovo di Belluno il castello d’Aviano.
Un’altra data molto importante è il 1328, anno in cui si concedeva il castello in abitanza a Pietro de Rubeis, a patto che lo restaurasse.

Pochi anni più tardi, nel 1332, a seguito della morte del Patriarca Pagano, il Vicario della chiesa, Guglielmo, lo concedeva alla nobile famiglia dei Porcia, i quali si impegnarono a difenderlo contro qualunque attacco, si presuppone da parte dei signori da Camino.
Già alcuni anni più tardi, nel 1337 il castello venne dato ai Savorgnano.

Trascorsero alcuni anni di relativa pace, tuttavia questo luogo non rimase estraneo alla guerra di successione al Patriarcato del 1387 venendo occupato dai Carrara e successivamente nel 1411 venne stilato il patto di amicizia tra la città ed il Doge.
Il castello fu distrutto nel 1420 dall’esercito della Repubblica di Venezia, che ne permise poi la ricostruzione nel 1432.
Il castello fu poi nuovamente devastato dalle incursioni turche a partire dal 1472. La più funesta fu quella del 1499, nella quale 2000 abitanti vennero uccisi o fatti prigionieri.
Oggi il castello non presenta che resti di quello che fu il leggendario maniero delle sette torri.
Arroccato su una collina, costituisce uno splendido esempio di architettura militare medievale.