Počas ďalších 300 rokov vystriedala obec viacerých majiteľov - Matúša Čáka, sudcu Lamperta, v roku 1324 ju kráľ Karol I. prinavrátil pôvodným vlastníkom - Bugárovcom a tí ju v roku 1337 vymenili so šľachticmi z Lipovníka. Títo vlastnili obec necelých 200 rokov a v roku 1519 ju získal Vavrinec Ujlak, neskôr hodnostár Alexej Thurzo a v roku 1533 Barnabáš Literár. Nová kapitola Malých Dvorian sa začala písať v rokoch 1546 - 1549, keď od kráľa Ferdinanda I. získala donáciu na obec rodina Mérey, ktorá vlastnila obec ešte vyše 350 rokov celkom v dvanástich generáciách. Bratia Gašpar II., Michal a Ján Méreyovci postavili v rokoch 1547 - 54 v obci kaštieľ, vlastne prízemnú kamennú kúriu (domus lapidea), pričom Gašpar II. tu už v roku 1549 býval. Kaštieľ prešiel viacerými úpravami. Výskum ukázal, už krátko po jeho výstavbe, koncom 16. storočia, prechádza druhou stavebnou etapou, ktorá bola najrozsiahlejšou v celom jeho vývoji. Prízemný objekt bol nadstavaný o jedno podlažie a zmenil svoj celkový architektonický charakter. V roku 1648 Gašpar IV. Mérey s manželkou Evou Plathyovou uskutočnil ďalšiu prestavbu, o čom svedčí datovanie pod erbom, ešte donedávna osadenom na exteriérovej fasáde. Kaštieľ dostal renesančný výraz, trámové priestory boli preklenuté valenými klenbami so štukovou výzdobou (dodnes zachovanou len sčasti, a to v narušenom stave), zmenené boli arkády, okenné otvory a došlo aj k dispozičným zmenám. Do tohto obdobia datujeme aj dnes existujúci bastión. Ďalšia, štvrtá stavebná etapa sa týkala hlavne dispozičných zmien, keď v roku 1764 kaštieľ rozdelili na dva samostatné objekty medzi Adama a Antona Meréya a po ich smrti medzi Adamových potomkov. Pravdepodobne pri tomto rozdelení sa zbúraním stredného krídla kaštieľ rozdelil na dva samostatné objekty. Z tejto stavebnej úpravy môžu pochádzať klenby v prízemí bastiónu a schodiskového priestoru. Preto od 18. storočia už hovoríme nie o jednom, ale dvoch, dnes nazývaných „starý“ (už neexistujúci) a „nový“ kaštieľ. V roku 1866 sa juhozápadne od kaštieľov nachádzal rozsiahly majer s hospodárskym dvorom a pálenicou, severne stál pivovar a park sa pôvodne rozprestieral severne od kaštieľa. Poslednou radikálnou prestavbou prešiel dvoranský kaštieľ na sklonku 19. storočia, keď ho vlastnil Leopold Kufler. Dokladujú ju aj katastrálne mapy z 19. storočia, zachytávajúce kaštieľ ešte s pôdorysom tvaru „U“, a mladšie stavebné podklady, datované do konca 19. storočia, ktoré zachytávajú blokovú stavbu tak, ako ju poznáme dnes. Mapa z roku 1904 a 1908 zaznamenáva posledný zvyšok južného krídla „starého“ kaštieľa, ktorý bol údajne zvalený v roku 1921. Po roku 1945 prešiel kaštieľ do vlastníctva štátu a začína sa jeho ďalšia etapa. Nepostačujúcou údržbou a nevhodným využitím kaštieľ pomaly chátra a jeho stavebno-technický stav sa narúša. Od roku 2001 má objekt s areálom nového majiteľa, ktorý vzhľadom na jeho narušený stav požiadal Pamiatkový úrad Slovenskej republiky o odstránenie stavby so zámerom následnej výstavby kópie pamiatky. Dnešný kaštieľ charakterizujeme ako renesančnú blokovú dvojtraktovú, čiastočne podpivničenú stavbu, s takmer obdĺžnikovým pôdorysom, pričom suterén pôdorysne presahuje hmotu prízemia juhozápadným smerom ako doklad pozostatku dispozične väčšieho objektu. Renesančné valené klenby s výsekmi a štukovou výzdobou sú z väčšej časti prepadnuté a tie, čo ešte ostali, sú v havarijnom stave. Fasády sú dokladom viacerých prestavieb objektu, s čitateľnými znakmi stavebno-historického vývoja v jednotlivých slohových etapách. Objekt vykazuje významné architektonicko-výtvarné prvky a ako taký je dokladom vývoja obce i danej lokality. Dnešný stavebno-technický stav objektu je však taký narušený, že zachovať tieto hodnoty by bolo technicky a finančné neúnosné. Dôsledkom toho sa po trojročnom boji o záchranu objektu vyňal kaštieľ z Ústredného fondu kultúrnych pamiatok Slovenskej republiky a stavba sa môže odstrániť. Bohužiaľ, kaštieľ v Malých Dvoranoch nie je na Slovensku jediný, ktorého dlhoveká história sa skončila pomerne rýchlo. Osud kaštieľa v Malých Dvoranoch je už vyrieknutý. Nech je výstrahou a ponaučením, ako nás neudržiavanie a neprimerané zaobchádzanie môžu pripraviť o naše kultúrne dedičstvo, ktorým nie sú len stavebné pamiatky.
