W okresie międzywojennym zrodziła się w Chorzowie potrzeba budowy nowych kościołów. Wiązało się to z rozwojem przemysłu i stałym wzrostem liczby mieszkańców miasta. W tym czasie powstają nowe parafie: św. Antoniego, św. Franciszka oraz Najświętszego Serca Pana Jezusa. Dostrzegano też potrzebę wybudowania kościoła w rejonie koszar, który byłby poświęcony św. Florianowi – patronowi hutników. Przygotowano nawet plany koncepcyjne.
Wybuch II wojny światowej oddalił realizację tych zamierzeń. Dopiero w 1946 r. zakupiono teren pod budowę i zawiązał się Komitet Budowy. Inicjatywa spotkała się z życzliwym odzewem okolicznych parafii, wielu zakładów – zwłaszcza metalurgicznych – oraz całej społeczności miasta. Dnia 11 maja 1947 r., z okazji uroczystości hutniczych ku czci św. Floriana, poświęcono teren pod budowę kościoła. Rok później, 9 maja 1948 r. biskup pomocniczy Juliusz Bieniek poświęcił kamień węgielny. W akcie erekcyjnym napisano, że kościół św. Floriana będzie „kościołem parafialnym, hutników, garnizonowym i strażackim. Kościołem-pomnikiem wdzięczności mieszkańców Chorzowa i okolicy względem św. Floriana za ocalenie naszych domów i zakładów pracy od pożarów w czasie ostatniej wojny.”
Okres budowy przypadł na trudne lata. Pogarszające się relacje na linii Kościół-państwo, odbijały się na sytuacji budownictwa sakralnego. Budowa, którą w pierwszym okresie prowadził ks. Konrad Lubos, została dwukrotnie przez władze państwowe przerwana. Dopiero po odwilży październikowej zezwolono w 1957 roku na kontynuowanie budowy. Prowadził ją wówczas ks. Konrad Szweda, mianowany w 1957 roku pierwszym proboszczem rodzącej się parafii. Już 23.11. 1959 r. biskup koadiutor Herbert Bednorz poświęcił prezbiterium, natomiast konsekracja kościoła miała miejsce 28.10.1961 r. W kolejnych latach kościół został wyposażony w dzwony, organy, witraże oraz inne elementy wystroju.
Z biegiem czasu wnętrze kościoła domagało się dostosowania do wymogów liturgii soborowej. Nową aranżację przeprowadził ks. Tadeusz Pietrzyk, w oparciu o projekt architektoniczny prof. Adama Lisika. Autorem elementów rzeźbiarskich (krzyż i tabernakulum, ołtarz i ambona, figura św. Floriana) jest chorzowski artysta-rzeźbiarz Gerard Grzywaczyk. 4 maja 1993 r. ks. Abp Damian Zimoń konsekrował nowy ołtarz z brązu.
Kościół od swoich początków jest miejscem dorocznych nabożeństw ku czci św. Floriana, patrona archidiecezji (obok Matki Boskiej Piekarskiej, św. Jacka i św. Barbary). 4 maja 1994 r. złożono w nim relikwie św. Floriana Męczennika. Posiada także drugą swoją specyfikę. Od samego początku jest miejscem odprawianych tu dni fatimskich w 13 dniu każdego miesiąca.