Anteriormente existia aqui um templo do século IX e X, identificados no processo de recuperação do Convento, alguns trechos do mesmo  que poderão ter sido um Paço dos primeiros condes portucalenses. Dona Mafalda, primeira rainha portuguesa, fundou aqui em 1154, um mosteiro agostiniano. No século XVI, estaria em decadência, e o Mosteiro foi cedido aos monges de S.Jerónimo, por iniciativa de D.Jaime , quarto Duque de Bragança. No século XVIII, foi construída a fachada da igreja em estilo barroco tardio, com as imagens de Santa Marinha, S.Jerónimo e Sta. Paula. Ao estilo da época construiram também uma escadaria em patamares no alinhamento da fachada. O claustro do mosteiro é dos finais do século XVI. Este mosteiro tem uma coleção de azulejos historiados pintados por Policarpo de Oliveira Bernardes para os monges de S.Jerónimo. Depois de recuperado pelo estado foi convertido para pousada segundo o projecto do Arq. Fernando Távora.

Tudo terá começado pela construção, no século IX, de uma pequena basílica na encosta da montanha da Penha, já sagrada desde a pré-história. No século X a Condessa Mumadona Dias aqui levanta um mosteiro, depois ampliado por Dona Mafalda exposa de D.Afonso Henriques.