Auf dem Bludenzer Schlossberg befanden sich seit dem Mittelalter die Burg Bludenz und die Laurentiuskirche als herrschaftliches und geistliches Zentrum der Stadt. An der Stelle der einstigen Burg steht heute das barocke Schloss Gayenhofen.

Die Burg Bludenz war im Hochmittelalter der Sitz der Grafen von Werdenberg, die im 13. Jahrhundert die Stadt gegründet hatten. Später verwalteten die habsburgischen Vögte von hier aus die Herrschaften Bludenz und Sonnenberg.

Die historische Burganlage wurde Mitte des 18. Jahrhunderts geschliffen und an ihrer Stelle das barocke Schloss errichtet, welches heute „Gayenhofen“ genannt wird und die Bezirkshauptmannschaft beherbergt. Neben dem Schloss steht die einstige Pfarrkirche St. Laurentius, die aus der Zeit um 1500 stammt und 1670 einen Zwiebelturm erhielt. 

Oberhalb von Kirche und Schloss bestanden einige historische Anwesen sowie landwirtschaftliche Gründe. Ab dem 19. Jahrhundert entstanden auch bemerkenswerte Villen.