Bystrého kluka z vesnice, který po škole chodil pást krávy, dal jeho otec na prestižní reálné gymnázium v Turnově. Už tam začala jeho první vážná setkávání s poezií. Po škole se z něj stal učitel, a to takový, na kterého se nezapomíná. Třebaže byl kvůli svým názorům trnem v oku vládnoucí garnituře. Po celý život vedle svého povolání psal básně a vydával básnické sbírky. Těch má na kontě více než čtyřicet. A ve své práci neustává ani nyní, v pětadevadesáti letech.
Největší celoživotní inspirací se Josefu Brožovi stala krajina. Nejen krajina Českého ráje, na jehož okraji vyrůstal, ale také příroda Podještědí a Podbezdězí. Mnohé ze svých básní věnoval přírodním útvarům, například Mužskému, Vrátenské hoře, Plakánku či milovaným Lhoticím.
Publikovat básně začal jako patnáctiletý mladík, který svá dílka neúnavně zasílal do řady různých periodik do Rodného kraje, Venkova, Rozkvětu nebo do Kritického měsíčníku Václava Černého. Na první sbírce pracoval už během druhé světové války, sám ale její přípravu zastavil vlastní poezie mu tehdy ještě nepřišla dostatečně vyzrálá.
Osvobození prožil v Plzni, kde docházel do prázdninového kurzu pro budoucí učitele, byl svědkem přehlídky armády generála Pattona a tyto své zážitky rovněž básnicky zpracoval. Později vystudoval Pedagogickou fakultu Univerzity Karlovy.
V roce 1955 byl ověnčen první cenou v literární soutěži Libereckého kraje a po celý život se účastnil soutěže Mělnický Pegas, kterou vyhrál v roce 1995. O patnáct let později jej porota zvolila Osobností Pegasu.
Své žáky učil Josef Brož vždy v duchu humanismu a masarykovských ideálů. A to i v dobách, kdy datum 28. října 1918 oficiálně zmizelo z učebnic dějepisu. Býval sledován, bylo na něj donášeno a v roce 1958 se musel z politických důvodů s katedrou rozloučit. Ovšem ne nadlouho. Když přišla nabídka vrátit se na učitelský stupínek, kolektiv z Liazu, kde tehdy pracoval, se za něj zaručil, a tak mohl ve výuce mladých lidí pokračovat až do roku 1981, kdy odešel do penze.
I dnes má Josef Brož plnou hlavu nápadů na nové básnické sbírky plné básní a fotografií, stále žije ve Lhoticích a stále by o přírodních krásách našeho kraje dokázal vyprávět celé hodiny.