On utilise "là" pour définir un lieu : "il est là".

Donc quand on écrit "ferme-la" c'est comme si on disait "la ferme" donc rien à voir avec le lieu.

Et on écrit "rien à voir" et non "rien avoir".