防水剂如果不小心刷到了窗户框上，可以先用纸巾或者毛巾擦拭去除表层的部分，然后可以用肥皂水或者专门的清洁剂来清洗，坚持擦拭几次直到完全清除。

如果防水剂已经干了，可以用刮刀或者针进行轻微刮除，再用上述方法进行清理。同时，对于下次使用防水剂时，可以在窗户框周围粘贴胶带或者纸板进行遮挡，避免涂抹到不该涂抹的地方。