Karl XIV Johan var ytterst intresserad av fästningsbyggets fortskridande och inspekterade arbetets gång så gott som årligen. Under dessa besök bodde han de första åren på Forsviks herrgård. År 1823 uppförde man emellertid den sk. Kungliga paviljongen [numera Kungsvillan] på den yttersta, outnyttjade delen av den skogsbevuxna Vanäsudden. Denna skulle begagnas när majestätet "täcktes hedra stället med Dess höga närvaro".

Idag används Kungsvillan som personal- och privatbostad.

Soldathemmet ritades av E. Thorulf och byggdes 1917. Huset används fortfarande som soldathem och hyser bla. en servering som är öppen även för allmänheten.

Gjuthuset är ett fd. bostadshus som byggdes i gjutteknik 1842 - tio år före cementen var uppfunnen!

Proviantmagasinet - eller persedelförrådet - byggdes 1875 och är ett fd. klädförråd med plats för bla. 30 000 soldaters plagg.

När Konvalescenthuset blev Kommendanthuset tog man detta, nya Garnisonssjukhuset i bruk. Idag står alla sjukhusbyggnaderna tomma och övergivna, men ända fram till början på 1960-talet föddes det små karlsborgare här!

På Fästningstorget idkas än idag torghandel! Torget kantas av små mysiga butiker där man kan köpa allt ifrån ost till silversmide och keramik. De flesta av husen runtomkring torget bebos idag av privatpersoner.