撫養姪女 - 稅務

目前與哥哥一家住在一起三年多(現居北部老家中部)
因哥哥年收不高,只有30幾萬,有兩個小孩分別為3歲及5歲,
大嫂為陸配在家帶孩子,平常經濟上也是靠我支援比較多
小孩的日常生活費及教育費幾乎都是由我負擔,但都是直接用現金給付

想請問的是,我事實上有符合
1.以共同生活為目的同居一家
2.小孩無謀生能力且確實受我扶養
3.哥哥也願意寫扶養切結書
這種條件下,我是不是一定可以報扶養兩個姪女呢?

目前遇到的狀況是,大前年我們全部同戶籍(中部)
我申報扶養姪女有成功
前年因為小孩就學的問題,哥哥一家戶籍遷至北部,我雖一同住北部但戶籍仍在老家中部
去年報稅在今年一月被通知補繳稅,說不符合扶養姪女的條件

詢問承辦人員,一直跳針說扶養小孩是父母的責任,除非父母有重大疾病傷殘無謀生能力
而且順位也應是祖父母再來才會是我,但現實是我父母也沒收入,哥哥經濟狀況又差,
嫂嫂也沒工作,
請問這種條件下我可以提出什麼方法或論點來合理報扶養姪女呢?
一人養這一大家很吃力,然後又被這扶養條件給卡住不能節稅實在很悶>"<...


--