Du darfst ablehnen und musst ggf. später nur begründen warum. Du hast einen sehr guten Grund. Ich hab bei weniger wichtigen Gründen, etwas abgelehnt und dies wurde auch akzeptiert.

Du kannst dich alternativ aber selbstständig wo anders bewerben und dies dann vorzeigen. So sieht man das du auch wirklich willst und das es dir wirklich nur um diese eine Arbeitsstelle geht.