Realizzato nel 1353 su ordine di Federico III Chiaramonte fu, per la sua posizione strategica, di grande importanza nella storia della lotta contro i pirati. Dopo la morte di Andrea Chiaramonte e la confisca di tutti i suoi beni, il castello passò alla famiglia Moncada che ne cambiò il nome in Montechiaro con il chiaro intento di cancellare la memoria dei precedenti signori. Dopo vari passaggi il castello perviene nel XVII secolo, per linea femminile, alla famiglia Tomasi un componente della quale, Carlo Tomasi Caro, ricevette dal re Filippo IV il titolo di duca di Palma. Questi, abbracciata la vita monastica, cedette tutti i suoi beni al fratello Giulio che fu II duca di Palma e I principe di Lampedusa. Il castello successivamente passò ai marchesi Bilotti Ruggi d’Aragona.

Per entrare all’interno del castello bisogna accedere dal lato sud, attraverso una strada acciottolata in salita dalla quale si giunge, superato il portone d’ingresso, nella corte interna. La torre mastra è a pianta romboidale e presenta due livelli; la terrazza mostra ancora merlature di tipo guelfo. Il corpo di fabbrica di pianta rettangolare posto a nord-est è costituito da un piano terra adibito a cappella e da un piano sottostante. Nella cappella è ancora custodita la statua marmorea della Madonna di Montechiaro, opera che i Caro avrebbero fatto eseguire ad Antonello Gagini. Molto interessante è la leggenda in cui si narra che la statua, sottratta dai vicini abitanti di Agrigento, fu riportata dai palmesi nel castello dopo una lunga e furibonda lotta. Ad avvalorare tale fatto è il nome dato ad un corso d’acqua che da allora fu indicato come il “vallone della battaglia”. A collegare la corte con la torre, si sviluppa un percorso a gradoni con due vani ad una elevazione ad essa affiancati sul lato ovest. Del suo antico corredo artistico il castello oggi conserva ben poco. I rifacimenti del ‘700 hanno cancellato gli ultimi avanzi di decorazioni risalenti al ‘400 e al ‘500. Restano ancora le caratteristiche finestrelle quattrocentesche della torre e del bastione a nord che hanno sicuramente sostituito le caratteristiche ogive trecentesche.