A torre de menagem, de 28 m de altura, foi construída no séc. X pela Condessa Nuña Mumadona para proteger o mosteiro e a aldeia que o rodeava. Mais tarde, D. Henrique de Borgonha erigiu o castelo, que foi reforçado no séc. XV. Sete torres quadradas, edificadas sobre afloramentos rochosos, contornam a torre de menagem. Do alto das muralhas ameadas, tem uma ampla vista sobre Guimarães, dominada, a Sul, pelo Monte Penha.