违章建筑的认定权属于城市规划行政主管部门，而非拆迁人或房屋拆迁主管部门。依据《城市规划法》规定，这一职权范围明确指出，判断某建筑是否属于违章建筑需由房屋所在地的城市规划行政主管部门出具证明。

违章建筑的建造者虽违法，但对违章建筑享有一定权利。首先，有权处分建筑材料。建造人虽不享有所有权，但对违章建筑物的构筑材料享有所有权，因此也享有处分权。其次，有权占有建筑物。占有并非权利，而是对物的控制与支配状态。这一状态可因拥有所有权、他物权或其他权利产生，也可能因缺乏权利依据的行为或单纯的自然事实产生。尽管违章建筑无法取得所有权，但建造人对违章建筑具有事实上的管领力，因此能成立占有。这种占有状态受法律保护。再次，有权使用建筑物。使用目的在于利用物的物理性能和用途，违章建筑之上的使用权属于临时性质。一旦建筑物被拆除，使用权随之消失；若违章建筑最终取得合法性，那么其违章建筑性质即被解除。

综上所述，违章建筑的认定及建造者权利的详细解答如上所述。在理解相关法律法规的基础上，正确处理违章建筑问题，既维护法律尊严，也保障各方权益。