Im 12. Jahrhundert ließ Bischof Arnold an der schottischen Nordseeküste erst die St. Andrews Cathedral bauen, danach wurde St. Andrews Castle ganz in der Nähe von Bischof Roger als Bischofssitz errichtet.

Die Burg wurde im 14. Jahrhundert oft in Kämpfe verwickelt und angegriffen. Dabei wurden immer wieder Teile zerstört und wieder aufgebaut. Auch die Besitzverhältnisse zwischen den Schotten und Engländern wechselten sich ab. 1336 zerstörten die Schotten die Burg ganz, um zu verhindern, dass die Engländer den Sitz der Bischöfe benutzen konnten.

Bischof Walter Trail ließ die Ruine erst ende des 14. Jahrhunderts wieder... aufbauen, er starb ein Jahr später (1401) in seiner fertigen Burg, die den Grundriss der heutigen Burg hatte. Bischof Henry Wardlaw ließ 1410 die University of St. Andrews bauen, welche sich nur wenige Meter entfernt von der Burg befindet.

Viele mächtige Männer wurden in der Burg geboren und erzogen, wie König Jakob III. im Jahre 1445.

Im 15. Jahrhundert schlug man eine Kammer als Gefängnis in den Fels unter dem Nordwestturm, in dem später viele prominente Männer einsaßen,  verurteilt von den Bischöfen.

James Beaton, Erzbischof von Glasgow, wurde 1521 auch zum Erzbischof von St. Andrews ernannt. Er ließ die Verteidigungsanlagen so verstärken, dass auch ein Artilleriefeuer ihnen so leicht nichts anhaben konnten.

Sein Neffe Kardinal David Beaton, folgte 1538. Er war ein erbitterter Feind der protestantischen Engländer z. Z. Heinrichs VIII. So ließ er einen protestantischen Priester verhaften, in den Tower einsperren und später vor der Burg auf einem Scheiterhaufen verbrennen. Ein Freund des Priesters schlich sich mit anderen Rebellen in die Burg und tötete Beaton.

Nachdem sie die Burg eingenommen hatten, wurde die erste protestantische Kongregation in Schottland gebildet. Doch schottische Truppen belagerten sie und gruben einen Stollen in den Fels, den die Verteidiger mit einer Gegenmine beantworteten. Dieser wurde 1879 erst wieder entdeckt und freigelegt.

Mitte des 16. Jahrhunderts griff die französische Flotte die Burg mit einem Artilleriebombardement an und die Protestanten unterlagen innerhalb von wenigen Stunden.

Die Gefangenen wurden nach Frankreich gebracht oder auf Galeeren zum Dienst verpflichtet.

Erzbischof John Hamilton baute die halbe Ruine zu seinem Wohnsitz wieder auf, aber nach seinem Tod zerfiel sie immer mehr. Die Steine wurden teilweise zur Ausbesserung des Piers benutzt.

1801 brach die große Halle ein und vieles davon stürzte ins Meer. Damit nicht noch mehr zerstört wird, baute man eine Seemauer.