Seit 1948 konnte Karl Gräf aus gesundheitlichen Gründen nicht mehr arbeiten. Am 14. Juni 1948 wurde er glücklicherweise als Verfolgter anerkannt, was ihm einige Rechte und Unterstützungen sicherte. Am 7. Mai 1949 starb seine Frau – ein schwerer Schicksalsschlag für ihn.

Am 19. November 1949 beantragte Karl eine Wohnung, hatte aber kein Geld und war auf die Unterstützung seiner überlebenden Kinder angewiesen. Der Beigeordnete Alex, der später Stadtdirektor wurde, glaubte nicht, dass Karl in einer festen Wohnung leben wollte, da er sein ganzes Leben im Wohnwagen gelebt hatte. Der Arzt Dr. Fritz betonte hingegen, dass Karl dringend eine Wohnung benötigte. Am 8. Februar 1950 erhielt er eine Wohnung in der Straße Weiherbusch, Hausnummer 21e.

Am 13. Januar 1950 entschied ein Ausschuss, dass Karl nicht mehr als Verfolgter anerkannt wird, weil nicht klar sei, ob er wirklich „Zigeuner“ ist. Hiergegen wehrte er sich. Die Bezirksberufungskammer für die Verfolgten der Nazis entschied am 10. Januar 1951, dass Karl weiterhin als Verfolgter anerkannt bleibt. Im Januar 1951 erhielt er eine Rente von 155 DM, was auf eine gewisse Form der Unterstützung hinweist, aber nicht ausreichend war, um seine Bedürfnisse zu decken. Am 22. August 1951 wurde seine Anfrage für eine Unfallrente von der Unfallversicherung in NRW abgelehnt, da seine Gesundheitsprobleme als normal für sein Alter betrachtet wurden.

Karl Gräf kämpfte bis 1957 immer wieder um seine Rechte und die Anerkennung als Verfolgter. Dies zeigt den langwierigen und oft frustrierenden Prozess, den viele Überlebende durchlaufen mussten, um Entschädigung und Unterstützung zu erhalten. Die Behörden lehnten seine Ansprüche ab, die sich auf verschiedene Schäden bezogen, was die Herausforderungen verdeutlicht, mit denen viele Überlebende nach dem Krieg konfrontiert waren.