Situada junto ao rio Alenquer, na sua margem direita, antes da sua edificação aqui existiriam os paços da família real, D. Isabel de Aragão (Rainha Santa Isabel, mais tarde canonizada) e seu marido o rei D. Dinis, vindo a ser transformados em Albergaria por esta rainha e, também por sua iniciativa, aqui se deu início à construção da Ermida do Espirito Santo (1320).
Associado a esta construção está o conhecido milagre das rosas, segundo o qual, cada rosa dada pela Rainha a cada pedreiro, se terá transformado num "dobrão" de oiro. Apresentando um avançado estado de degradação nos finais do século XVII, a capela sofre obras de reconstrução por volta de 1730 e novamente em finais do século XIX, devido às marcas de destruição profunda deixadas pelas invasões francesas. Durante largos anos manteve-se encerrada, vindo a ser reaberta ao culto em 1960, na sequência de um novo restauro.
Na igreja são notáveis a talha dourada do altar-mor, o teto de madeira pintada e os azulejos do século XVIII, no interior da capela-mor, onde também existe o jazigo da família de Francisco de Macedo, primeiro provedor desta casa e irmão mais velho do célebre cronista Damião de Góis (século XVI), então confrade da Casa e Igreja do Espirito Santo. Anexo ao edifício, e ao longo de todo o seu comprimento, é digna de referência uma galeria porticada, de grande qualidade arquitetónica, construída no século XVI ou século XVII, que apresenta, no piso térreo, fachadas com arcos de volta perfeita, e, no piso superior, colunas toscanas. No seu todo, este corpo, elegante e equilibrado, é o mais interessante do conjunto arquitetónico, destacando-se das fachadas da Igreja e da Albergaria.
Ainda relacionado com a presença da família real em Alenquer, decorrente do culto do Espírito Santo, aqui foram instituídas, também pela Rainha Santa Isabel e seu marido, o rei D. Dinis, em 1321, as célebres Festas do Império do Divino Espírito Santo.