物流异常退货的责任应由物流公司和商家共同承担。

因为物流公司是承载物品运输的重要环节，如果出现异常退货，说明物流公司在运输过程中出现了问题，如未能按时送达或损坏商品等。

商家也应该在发货前做好货品包装和保护工作，确保商品能够安全到达消费者手中。

如果商家没有做好包装和保护工作，导致商品受到损坏，则商家也应该承担相应的责任。

同时，如果出现物流异常退货，双方应该共同进行沟通协商，找出问题所在，尽快解决，确保消费者的合法权益。