Parce que comme beaucoup d'insultes, elles s'inscrivent dans un contexte qui leur est propre.

Si être une "vierge involontaire" jusqu'à un âge avancé était devenu une norme pour les femmes, ça pourrait aussi être utilisé comme une insulte.