關於給付非境內居住者所得扣繳問題 - 稅務

最近接觸到一些扣繳的相關事項，有一些疑問，
我知道如果公司給付給國外公司或個人一些所得需要先辦扣繳，
雖然說名義上這個稅是由所得人負擔，
但實際上對方當然不會願意負擔這個稅，最後都是轉嫁到我們身上，
所以我們老闆一直對這方面感到很困擾，

他說他曾"聽別人說"，
如果我們直接到國外當地付款或用當地的銀行帳戶匯款，
就不會有這20%的稅，而且是合法的節稅方法。

我覺得很疑惑，就我了解，扣稅與否是看所得來源，
以勞務費來說，勞務使用地如果是在台灣就要扣稅，
這應該跟在哪邊付錢沒有直接關係，
頂多就只是小公司這樣操作不容易被查到而已，
但這應該不是合法的吧~

但我們老闆是認真以為這不違法，
還說如果不合法當然不要做，但如果合法為什麼不利用?
看他那麼有自信我想說確認一下實際的規定究竟是什麼?
真的有這種合法的操作方式可以不必扣繳20%的稅?

還有就是我也不太了解有那些所得是需要扣繳的?
我只知道勞務外包是一定要，
如果是和國外廠商單純的買賣行為應該是不用吧?
像租借虛擬主機那種呢?

想查清楚實務上的規定，翻了很多書籍但都不太了解，
為了避免之後會不小心誤觸規定，想好好了解一下，
謝謝。

--