南北朝時代の古戦場となった大可島城跡（おおがしま）に慶長年間に建立されました。戦国時代には村上水軍の拠点として、江戸時代には朝鮮通信使が来日した際の上官の常宿として、いろは丸事件の談判では紀州藩の宿舎として使用されました。松尾芭蕉の句碑もあります。