L’actual nom de Torroella de Montgrí prové de la denominació Torroecella, que faria referència a la torre vella que podria tenir l’antic castell de Torroella, on ara hi ha el Palau Lo Mirador.
L’actual Palau Lo Mirador es trobaria assentat sobre les estructures d’un primitiu castell de Torroella que ja es referencia al segle XI. Al seu voltant anirà creixent la vila i es construirà la cellera. A partir de 1272 la vila passa a ser reial, i el castell experimenta diverses modificacions. El 1385 s’esmenta per primera vegada com a “Mirador”, ja que la seva situació estratègica feia que hi hagués grans vistes de tota la plana. En aquest castell hi feren estades monarques com Jaume I el Conqueridor, Pere II el Gran o Joan I el Caçador, qui hi dormí la vigilia de la seva mort, ocorreguda als boscos de Foixà, durant una cacera.