城堡的[[防御工事]]大约在1080年代修好，整体于1115年前完工，这就是现在的拉德洛城堡内城。城堡有五座高塔，两侧挖有壕沟，挖掘出来的石头后来又用在了城堡的建筑中。它由此成为英格兰最早的一座庄园式城堡。1096年，罗杰因叛乱而被[[威廉二世]]褫夺封地，城堡转赐给他的兄弟休（Hugh）。