Il borgo sorge su un'altura, prospiciente un piccolo lago a forma di cuore. Tutto intorno si elevano le colline dell'anfiteatro morenico del Garda, a pochi chilometri dalle sponde del lago.
L'attuale castello di Castellaro risale al 1100-1200 e deve la sua origine agli Scaligeri, anche se poi, a motivo della sua posizione strategica, di confine fu coinvolto presto nelle controversie tra Verona e Mantova, finendo in possesso, di volta in volta, dei Visconti, dei Gonzaga e della Serenissima Repubblica di Venezia.
Eretto su una altura naturale a nord del piccolo lago, il castello, difeso da possenti mura merlate e da dieci torri, si presentava diviso in due zone: quella verso il lago affidata al castellano e quella verso nord affidata ad un capitano con il compito di difendere il ponte levatoio di ingresso al castello ed al borgo fortificato.
Dall'antico castello rimangono, ancora pressoché intatte, la cinta muraria, quattro torri, alcuni tratti del camminamento di ronda e due case rustiche medievali.
Nel 1600 il castello perse le sue caratteristiche di costruzione di difesa e venne ceduto dalla Serenissima Repubblica di Venezia ai Conti Arrighi che, senza modificarne troppo l'aspetto esteriore, ne trasformarono una parte in comoda e signorile residenza.