Wszystko zaczęło się w marcu 1922 roku. Komitet Wychowania Fizycznego poprosił o wydzielenie miejsca na budowę boiska. Prośbę poparł generał Władysław Jung. Szukano odpowiedniego miejsca i wybór padł na osiedle Bielawy i ulicę Sportową. Stadion zaprojektował bydgoski architekt Bogdan Raczkowski.
3 sierpnia 1924 roku nastąpiło oficjalne otwarcie stadionu, który w 2016 zostanie „ochrzczony” imieniem marszałka Piłsudskiego. Udział w wydarzeniu brali ówczesny prezydent oraz wojewoda.
Na początku obiekt był typowo piłkarski i lekkoatletyczny, potem dodano tor kolarski oraz rozpoczęto budowę trybun. Stopniowo pojawiały się boiska do siatkówki, koszykówki, korty tenisowe oraz tor żużlowy. Podczas II wojny światowej Niemcy urządzali tam wyścigi konne. 26 maja 1942 hitlerowcy powiesili tu 10 Polaków.
Stadion modernizowano pod potrzeby rozgrywanych imprez żużlowych. Z roku na rok skracano tor, by długość była zgodna z międzynarodowymi wytycznymi.
