Margam Castle ist ein viktorianisches Herrenhaus aus dem 19. Jahrhundert. Doch bereits im 16. Jahrhundert stand hier ein Herrenhaus der Familie Mansel, welche dieses aber Ende des 18. Jahrhunderts abreißen ließen. Das heutige Haus wurde in den 1830er Jahren erbaut und kostete rund £ 50.000 GBP, was heutzutage in etwa £ 5.7 Millionen Britische Pfund entspricht. Margam Castle trägt zwar Schloss bzw. Burg im Namen, doch wurde es im neugothischen Stil... lediglich als eine Nachahmung einer Burg erbaut, was zu dieser Zeit sehr üblich in England war.

Besonders beliebt war die Abtei auf dem Gelände, Margam Abbey, welche ein Treffpunkt für die hohe viktorianische Gesellschaft wurde. Zu seinen Gästen zählten König Eduard VII und seine Frau Alexandra.
Während des Zweiten Weltkriegs wurde das Herrenhaus 1939 von der Armee genutzt und der letzte Besitzer von Margam, Andrew Mansel Talbot Fletcher, ließ die gesamte Einrichtung des Hauses versteigern. 1942 verkaufte er den gesamten Besitz und wurde nur noch einige Zeit von britischen und amerikanischen Soldaten genutzt, bis es langsam verfiel. 1973 erwarb das Glamorgan County Council den Grundsitz und ließ den Park sowie das Herrenhaus renovieren.