Die Römer nannten Albufeira Baltum. In Paderne und Guia sind Brücken aus der römischen Zeit erhalten. Die Araber besetzten Albufeira im 8. Jahrhundert und nannten es Al- Buhera, was soviel heißt wie "Burg am Meer". Während der 500 Jahre dauernden arabischen Herrschaft hatte Al-Buhera intensiven Handel mit Nordafrika. Zusammen mit Faro war es die letzte arabische Hochburg, die 1250 von den Portugiesen erobert wurde. 1404 verlieh König Manuel Albufeira einen neuen Freibrief und damit die Stadtrechte. Ein Großteil Albufeiras fiel dem Erdbeben von 1755 zum Opfer. 1833 geschah ein weiteres Unglück und zwar während des Bürgerkriegs zwischen den Liberalen und den Absolutisten.

Albufeira war eine der ersten Städte der Algarve, die liberale Ideen unterstützten. Später, im Bürgerkrieg wurde es von den Guerillas, die die Stadt vier Jahre lang kontrollierten, angegriffen. Zahlreiche Gebäude wurden zerstört. In der Altstadt kann man noch heute Überreste der ehemaligen Stadtmauern sehen. Bis 1960 war Albufeira ein verschlafenes Fischerdorf. Heute ist es das Haupttourismuszentrum der Algarve.