个人所得税以家庭为单位征收难度有多大

非常大，像是中国一个家庭三口人，都有可能三个户口本，而且像是有人离异，还继续住在一起得，或者夫妻二人是异地工作的，不住在一起。等等情况。
中国人口太多了，不好统计。