拿着委托书去房管局是可以查阅合同的，但需要注意的是，委托书应当是合法有效的，并且授权人的身份应当得到确认，否则可能会被拒绝查阅合同。此外，房管局也有可能会要求提供其他证明材料，并按照相关规定收取服务费用。