房貸核准但對保前放棄的問題 - 貸款

想請教一個問題
前陣子有幸買到人生第一棟房子
現在正在申辦貸款
由於怕房貸不過
所以同時向兩間銀行進行申辦

分別是
台X的青年安心成家專案
富X的房貸特惠專案

現在兩間都已經確認貸款核准
要進行對保的動作了

因為富X的利率比較好所以選擇富邦
委託的代書跟台X回絕後
台X的人員說由於已經花費不少資源在核准這些貸款
所以會又一筆2千多元的手續費產生要我繳...

我的問題是
還沒對保之前的貸款應該是都沒有合約成立的
因此若此時不對保照理說也不會有手續費的產生
不應該跟我收錢
我這樣的理解對嗎?

想請問這筆錢我是否是非繳不可
如果不繳的話會怎麼樣?
謝謝

--