Edificato nel 1874 in località Bastia, su disegno di Francesco Sarti per conto del conte Cesare Scarselli, fu per anni uno dei più “imponenti” palazzi padronali di Pegola, come l'edificio della vicina ex azienda agricola Cacciari, oggi conosciuto come Palazzo Tesi. Nei primi anni del Novecento, Palazzo Scarselli e l'omonima azienda agricola furono acquistati dal signor Brenno Venturi che utilizzò una piccola parte dell'edificio per uso abitativo, mentre la maggior parte dei vani furono adibiti a magazzino per lo stivaggio del riso e come ricovero di attrezzi agricoli.
Nello stesso luogo, sorge il piccolo oratorio originariamente dedicato a “Santa Maria della Valle”, fatto edificare dalla nobile famiglia Guastavillani che cedette l'intera azienda agricola alla famiglia Scarselli, quindi ai Venturi. Nei primi anni del Novecento, l'oratorio fu dedicato alla “Madonna del Rosario”. Oggi, purtroppo, è in totale abbandono come l'intero borgo Bastia.