De huidige naam Torroella de Montgrí komt van de naam Torroecella, een verwijzing naar de oude toren van het oude kasteel van Torroella, waar nu Palau Lo Mirador staat.
Het huidige Palau Lo Mirador staat op de overblijfselen van een primitief kasteel van Torroella dat dateert uit de 11e eeuw. Hier groeide het dorp omheen en werd de “cellera” gebouwd, een heilig grondstuk ter bescherming van de kerk. Het dorp werd vanaf 1272 koninklijk en het kasteel onderging verschillende verbouwingen. In 1385 werd het voor het eerst beschreven als een “Mirador” (uitkijkpunt), omdat de strategische ligging een prachtig uitzicht bood over de hele vlakte. In dit kasteel verbleven koningen zoals Jaume I de Veroveraar, Peter II de Grote en Johan I de Jager, die hier de vooravond van zijn dood sliep, die tijdens een jacht plaatsvond in de bossen van Foixà.