算，除非自己没有行为能力，比如精神病或其他特殊原因，孩子出生以后父母是第一监护人，不抚养就是遗弃，爷爷没有理由控制，如果爷爷丧失了劳动能力，也和孩子一样享有抚养权，没有理由独霸，更没有理由控制，不然也是犯法的。