苹果手机设置分组仅仅只是将联系人进行分类管理，不影响其他人查看你的联系人。如果其他人能够看到你的联系人，可能是因为你允许了某些应用程序或平台获取你的联系人，或者你选择了与他们共享你的通讯录。

此外，如果你使用了iCloud，可能会将联系人备份到云端，这些备份也可能被其他人访问。因此，在确保你的隐私安全的前提下，你需要注意一些隐私设置和权限控制，以避免不必要的信息泄露。