农村建房需要向政府交钱主要是因为政府要对农村建房进行规划和管理。政府需要对农村建房进行审批，确保建筑符合规定标准，不会危及人民生命财产安全。

同时，政府还要对农村建房进行登记管理，以便在后续的土地流转、继承等交易中能够提供准确的房产信息。

因此，农民在建房时需要向政府交纳相关的费用，以保证房屋的合法性和规范性，并确保自己的权益不受到侵害。