房貸保證人 - 貸款

大家好，
想請教一下，之前父親過世弟弟繼承有貸款的房產（目前弟弟居住在內），
因弟弟收入較不足，當時銀行要求必須要由我當保證人才能貸。

目前與弟弟因為理財規劃的理念不合，
想請問有沒有辦法讓我脫離保證人的身份？

感謝大家！

--