L'aparença actual del castell és la d'un edifici relativament modern (sembla una gran casal del segle XIX), amb una arquitectura molt allunyada de la d'una fortificació d'època medieval, i no es visualitzen elements o restes relacionables amb el moment de la seva fundació o amb altres reformes d'època medieval. L'edifici presenta actualment tres torres, les dues més altes són de planta rectangular i amb coberta "piramidal" de teules. La tercera torre, ubicada davant de les dues anteriors, és més baixa i de planta hexagonal. Les tres torres, igual que la resta de murs del castell, estan arrebossades i pintades, presenten petites obertures o espitlleres a la seva part superior, i finestres grans en els pisos intermitjos. Malgrat que aquest castell respongui a una estructura i aparença moderna, és molt possible que alguna de les torres es fonamenti damunt dels murs de l'antic castell o que sota dels paviments actuals restin conservades estructures medievals.
Les primeres mencions documentals del castell de la Nou de Gaià daten de l'any 1011. Poc després s'esmenta altra vegada l'any 1023 en la venda feta pel comte de Barcelona Ramon Berenguer I de Castellví de la Marca a Guillem Amat de Claramunt. El lloc es vincula al llinatge dels Claramunt i l'any 1179 es tornen a tenir notícies arran d'una disputa entre Berenguer de Claramunt i el monestir de Santes Creus per uns indrets situats a la confluència dels termes de Montornès, Altafulla i la Nou. D'ençà del segle XIII la història del castell i lloc de la Nou va unida a Altafulla en els aspectes senyorials i religiós, essent vicaria d’ Altafulla fins a començament del segle XIX. En l'aspecte senyorial, la Nou al segle XIV és de la família Requesens. El fogatge de 1358 consta junt a Altafulla, amb quaranta-cinc famílies. L'any 1472 Lluís de Requesens ven a Pere de Castellet i de Requesens, parent seu, el lloc de la Nou junt amb Altafulla. L'any 1496 els fogatges comptabilitzen la població de la Nou amb vuit famílies. Al segle XVI, amb el casament de Violant de Castellet, pubilla, passa als Corbera-Santcliment fins que en una data situada entre el 1669 i el 1673, Josep de Corbera-Santcliment i Ponç ven la senyoria a Francesc de Montserrat i Vives, marquès de Tamarit. Els Montserrat retenen la jurisdicció sobre la Nou fins a l'extinció dels senyorius ocorreguda l’any 1837. És amb posterioritat quan el castell es constitueix en casa pairal de la baronia de les Quatre Torres i és habitat fins poc abans de la guerra civil. El seu darrer propietari és el capità general de les Balears, Lluís de Morenés i Carbajal, marquès de Nules, que enfront les grans despeses que suposava el manteniment del castell decideix l'any 1982 cedir-lo a l'ajuntament. Actualment l'edifici ha estat restaurat i destinat a usos socials. Sorprenentment, no consta que en tota la reforma que s'ha efectuat en el castell i voltants, s'hagi fet cap mena de control arqueològic.
La baronia de les Quatre Torres fou concedida l’any 1790 al cavaller Carles de Morenes i de Caçador (1729-1809).
La Casa senyorial de la baronia fou establerta al Castell de la Nou de Gaià, El castell i els seus jardins foren donats al municipi per Lluís de Morenes i Carbajal, marquès de Nules, l'any 1982.
La família dels Morenes, originària d'El Vendrell, després establerta a Tarragona, adquirí títols de noblesa que es multiplicaren per enllaços matrimonials, de manera que a la baronia de les Quatre Torres, afegiren el títol de comte d'El Asalto (amb grandesa d'Espanya) i de marquès de Grigny.
Adossada a castell hi ha la Capella de la Verge de les Neus, patrona del poble, i al seu costat es troba el celler on es fabricava el vi i l'oli, amb la premsa, el molí, els cubs, botes, bombes i d'altres elements i estris recuperables, ja que fins als anys 60 del segle passat encara va ser utilitzat pels habitants de la Nou de Gaià.
Cap dada dels mestres d’obres i/o arquitectes autors d ela transformació d’aquest edifici, sou pregats de fer-nos-ho saber a l’email coneixercatalunya@gmail.com
