核桃果肉残留不刷掉是不能盘的。因为果肉残留会导致文玩核桃变脏，甚至可能形成油泥，影响盘玩效果。此外，果肉残留也会影响文玩核桃的纹路和质地，使其表面变得粗糙，降低其美观度。因此，在盘玩文玩核桃之前，一定要将其清理干净，尤其是果肉残留物要彻底刷掉。

如果残留物已经形成油泥或污渍，可以使用适当的清洗剂进行清洗，但清洗后一定要将文玩核桃彻底晾干后再进行盘玩。