Com existência atestada em finais do século XII, o Castelo foi sucessivamente propriedade de várias rainhas da Dinastia Afonsina, até à sua doação a D. Nuno Álvares Pereira por D. João I.
Em 1422, o Condestável doa todos os seus bens e títulos a seus netos, filhos do 1º Duque de Bragança.
Em 1755 o Castelo sofre grande destruição com o Terramoto e, de novo, em 1810 com as Invasões Francesas.