Si hanno notizie di Porto Ercole sin dall'epoca etrusca e poi romana, nel Medio Evo poi Carlo Magno donò il territorio all'Abbazia papale delle Tre Fontane. Poi a partire dal 1200 nobili famiglie toscane gli Aldobrandeschi prima egli Orsini poi, avviarono la costruzione della Rocca e dell'adiacente borgo .
Nel XIV sec la Repubblica di Siena consolidò il Borgo ai piedi della fortezza inviando il Vecchietta con l'intento di costruire “ una terra abitevole grande quanto il campo della città di Siena”.
Fu costruita una cortina muraria che dalle due torri circolari scendeva fino al mare e il portale ad arco che delimita l'ingresso.
A Siena si deve anche il palazzo del Governatore nella piazza Santa Barbara, voluto da Agostino Chigi nel '500, costruito su disegno di Baldassarre Peruzzi. In seguito gli Spagnoli lo adibirono ad abitazione dei governati. Attraverso una caratteristica spirale di vicoli, si raggiunge la chiesa anch'essa quattrocentesca di Sant'Erasmo, che al suo interno custodisce le tombe dei nobili spagnoli.