根据中国相关法规，所有在中国境内提供网站、服务器等互联网基础设施服务的机构和个人，都需要进行备案。因此，如果您的香港服务器提供服务对象是中国大陆用户，那么需要进行备案。但是如果您的服务对象是国外用户，就不需要进行备案。
