Hallo @pixolin,
erst einmal vielen Dank für deine schnelle Antwort!
Ich habe das SMTP Plugin deaktiviert und mit dem von dir genannten Plugin eine Test Email gesendet, was einwandfrei funktioniert hat. Kurz darauf habe ich noch einmal das Kontaktformular getestet und dieses funktionierte auch problemlos.
Die Emails werden jetzt von der Email Adresse wordpress@(meine-domain) gesendet. Vermutlich lag der Fehler bei dem SMTP Plugin.