Château Saint Jean X, XII et XIIIéme siècle