WordPress empfiehlt PHP-Version 5.6 oder höher.
Hast du es mal mit der Änderung zu einer höheren Version probiert?
In der verlinkten Anleitung von Strato sind PHP 5.3, PHP 5.5 und PHP 5.6 zu sehen (siehe Abb. 3). Disclaimer: Bin Anfänger, es können also auch noch anderslautende Tipps von Profis folgen.
Falls das nach Umstellung auf PHP 5.6 immer noch passiert:
Schau mal in deiner htaccess-Datei im WP-Rootverzeichnis nach (wo auch die Ordner wp-content oder wp-includes liegen), ob da eine Zeile drin ist, die so beginnt:
AddHandler application/x-httpd-php
Falls ja, was folgt noch dahinter?
Schau mal in den Einstellungen Deines Webproviders. Das ganze sieht so aus, als ob der Webserver nicht weiss, was er mit einer php-Datei anfangen soll.
Und wenn Du einmal dabei bist, ändere das Ganze auf mindestens PHP 5.5. Die Version 5.3. wird bereits seit August 2014 nicht mehr gepflegt und erhält auch keine Sicherheitsupdates mehr.
Ich hab es erst mit PHP bis Version 7 versucht keine Verbesserung.
Dann hab ich es bei nem Kumpel versucht, da ging es dann auf einmal.
Ergebnis meine Firewall hat mit meiner Internet Verbindung Unfug getrieben.