Ernst Neef wurde am 5. Mai 1905 in Gebweiler im Elsass geboren. Da Neef in der KPD aktiv war, wurde er am 2. Februar bis zum 26.April 1933 von den Nazis in Müllheim in „Schutzhaft“ genommen. 
Am 15. Juni 1946 gab Ernst Neef gegenüber der „Badischen Landesstelle für die Betreuung der Opfer des Nationalsozialismus“ an, dass der Gendarmerieinspektor Braun, „der schon in der damaligen Zeit als Chef der Gendarmerie in Müllheim tätig war“ dies bestätigen könne.
Dies tat Braun auch und erklärt, dass Neef in der genannten Zeit im Amtsgefängnis Müllheim   in Schutzhaft war: „Wegen Gefährdung der nationalen Volkserhebung.“
So steht es in dieser Bescheinigung, die ein Jahr nach der Befreiung Deutschlands vom Faschismus ausgestellt wurde. Als habe das nazionalistsche Regime Ernst Neef rechtmäßig verhaftet.
Ernst Neef selbst erklärte am 15. Juni 1946:
„Im Zusammenhang meiner pol. Tätigkeit in der Kommunistischen Partei Ortsgruppe Müllh. Weilertal war es unvermeidlich, sofern man zu seiner Sache stand, dem Naziterror zu entkommen u. ging wie abertausende Andere in den Kerker. Nach meiner Entlassung am 26.4.33 war es schwer in Müllh. eine entsprechende Arbeit zu finden u. zu diesem Leidwesen, dass es mir nicht möglich war meinen Lebensunterhalt zu verdienen, wurde meine Mutter, die im Arbeitsverhältnis bei der Firma Vollmer Zigarrenfabrik, in der sie weit über 9 Jahre arbeitete, auch entlassen mit der Begründung, sie habe Unwahrheiten über die Firma einer kommunistischen Zeitung gegeben. Jedoch wurde sie im Zusammenhang  meiner Angelegenheit u. auf Drängen verschiedener Nazis aus dem Betrieb entlassen. Wir lagen also beide mit so gut wie gar keinen Mitteln auf der Strasse. So geht die Verfolgung, man kann sagen, bis zum heutigen Tag, denn mit der Beschlagnahmung meiner zwei Betten vollzogen dieselben Geschöpfe, die 1933 die Geige spielten. Meiner Frau wurde der Familienunterhalt, 1939 wie ich eingezogen wurde, abgelehnt, eine Begünstigung oder Befürwortung seitenes einer Naziorganisation konnte ich nicht in Anspruch nehmen, da ich keiner angehörte u. somit Recht u. Schutzlos war. Diese Tatsache hatte zur Folge, dass der Hausstand in Stücke ging, die Möbel während meiner Abwesenheit untergestellt wurden u. zu guter Letzt ein Teil, u. das sind meine Betten, für die Franzosen ohne eine vorangegangene Verständigung meiner Frau noch nächster Angehörigen, requiriert wurde. Die Betten stehen in Müllheim, Haus Fesebecker, in Benützung, die Franzosen geben die Betten raus, wenn ihnen die Gem. Müllh. einen entsprechenden Ersatz beschafft. Die Gemeinde selbst hat aber wenig Interesse diesbezüglich etwas zu tun, sonst müssten sie einem Nazi die Betten wegnehmen.
Ich bitte daher seitens der Betreung baldigst etwas zu unternehmen, damit mir die Betten als einzige Habe nicht noch verlustig gehen.“

Nach der Befreiung vom Faschismus gab Neef als Berufswunsch, er wolle in Familiengemeinschaft mit W.Neef  „die Wiederaufnahme meines Fuhrgeschäftes (betreiben), das mir im Jahr 1939 mit der Einziehung der Fahrzeuge und mir selbst verlustig ging.“