請問4年前報稅多繳的後續 - 稅務

小弟之前在一家人力仲介公司上班，約在2008年11月上班一直到2009年2月，
後來就出國了。但後來那家人力仲介公司除了付給我薪資外，還將我薪水預扣約7~8
萬報稅用(人力仲介是說我薪水較高所以做了預扣的動作給國家)，經過4年後小弟回
來台灣工作今年要報稅用自然人發現並沒有自動抵稅，請問我如果想要退之前多繳的稅
是要跟那一個單位查詢申請呢?會不會時間過太久錢被吃掉了?再麻煩各位大大回覆，
謝謝。

--