Intorno al 1355, il signore di Milano Bernabò Visconti, grande appassionato di caccia, scelse Pandino per farvi costruire un castello per poter comodamente risiedere in questi luoghi e dedicarsi alla sua attività prediletta; il nostro territorio infatti, in quell’epoca era ancora ricco di boschi abitati e selvaggina. La costruzione ha la forma tipica dei castelli viscontei di pianura dell'epoca: pianta quadrata con quattro torri quadrate angolari, cortile interno con porticato ad archi acuti al piano terra e loggiato superiore con pilastrini quadrati. All'esterno sono visibili le numerose finestre, monofore al piano terra, in origine destinato alla servitù, bifore al piano superiore, riservato ai nobili.
Il lato est del piano inferiore era originalmente aperto come una sorta di secondo porticato, ed era adibito a salone dei banchetti.
Il castello nel '300 fu completamente decorato in ogni suo spazio, persino nella scuderia oggi occupata dalla biblioteca. Le pitture , ancora oggi in gran parte conservate, sono costituite da svariate forme geometriche, decorazioni di tipo architettonico e ovunque gli stemmi dei signori del castello, ossia il biscione di Bernabò Visconti e la scala insegna della famiglia della moglie di Bernabò, Regina della Scala, figlia del signore di Verona.
Tra i pochi dipinti con figure umane si distinguono S.Antonio abate e S.Cristoforo, dipinti ai lati dell'ex-salone dei banchetti per proteggere il primo la salute degli abitanti del castello e il secondo dalle morti improvvise; purtroppo, nel corso del '400, a causa di problemi di stabilità, si rese necessario aggiungere ad ogni angolo del porticato degli arconi di rinforzo, che sono andati a coprire in parte il S. Antonio e del tutto il S.Cristoforo.
Ancora nel corso del xv secolo, sui due ingressi del castello, vennero aggiunti due torrioni di difesa, poiché in quel periodo i veneziani si erano avvicinati sempre più al territorio pandinese; le precauzioni difensive non bastarono, dal momento che Venezia prese senza difficoltà il castello per due volte, occupandolo però per pochi anni.
Eliminato Bernabò con un colpo di stato, il nipote GianGaleazzo divenne il nuovo signore di Milano, e sappiamo che anche lui veniva spesso a Pandino per la caccia. Il figlio di GianGaleazzo, Filippo Maria è l’ultimo Visconti a governare Milano, dopo di lui prende il potere la famiglia Sforza, alla quale passa anche il nostro castello; in particolar modo fu conte di Pandino, dal 1470 circa, Ludovico Maria Sforza, meglio noto come Ludovico il Moro. Divenuto successivamente il Moro duca di Milano, il castello di Pandino passò nelle mani di altre famiglie, alcune delle quali lo tennero per pochi anni. 
Gli ultimi proprietari furono i D’Adda, che nel corso del XIX secolo diedero il castello in affitto, sia come abitazione che come sede di svariate attività. Nel 1947 il comune riuscì ad acquistare il castello e negli anni ’50 cominciarono i lavori di restauro. Oggi il castello ospita gli uffici comunali , la mensa della scuola casearia e numerose manifestazioni.
E’ importante sottolineare che il nostro castello è una delle residenze meglio conservate di tutta la Lombardia, poiché è ancora oggi molto simile al proprio aspetto originario.