购买房屋贷款的担保人如何免责?

请问:我的农村邻居在修建住房时,因无力提供后期修建款,在找信用社贷款时,我充当了还款担保人。当时邻居离婚,唯一的儿子在监狱服刑到现在。不久前,邻居因病死亡,房屋无人居住。如今信用社要求邻居还清贷款,我如何在这件事情中免于连带责任?