El principal edifici civil del poble és el castell, rehabilitat i convertit en diversos habitatges a començament dels anys vuitanta del segle passat, tot i respectant la seva estructura.
Des de la Plaça del Poble, la gran esplanada davant el castell, en la que en altre temps deuría haver-hi la resta de construccions i dependències annexes al casal, es pot contemplar la llarga façana de l’edifici, amb un gran portal dovellat dels segles XIV-XV que dóna accés al pati interior, delimitat per la banda sud pel mur de l’església de Sant Cugat. Dins el pati, no obert a les visites, es conserva una altra portalada dovellada, també dels segles XIV-XV i finestres rectangulars de la mateixa època.
Encara que l’aspecte que actualment presenta l’edifici és el d’un casal fortificat del segle XV amb les reformes i modificacions puntuals que s’hi han anat introduïnt durant els darrers cinc-cents anys, el seu origen és més antic. Es documenta a començaments del s. XIII entre els béns de la família dels Torrent i se’n coneixen algunes vicissituts i possessors en èpoques diferents, constituïnt el motiu de litigis a inicis del s. XIV entre el comte Ponç-Hug d’Empúries i el Rei Jaume II, el qual prohibí al primer que continués les obres de fortificació d’Albons i Bellcaire. És, sens dubte, l’edifici més emblemàtic del poble.