沙爾克04的前身是於1904年成立的威斯伐倫1904沙爾克俱樂部（Sportclub Westfalia 1904 Schalke），隊名的來歷是一座叫做「沙爾克」的礦井。因為蓋爾森基興是煤礦城市，所以成員都是煤礦工人。1924年改名為沙爾克04足球俱樂部（FC Schalke 04）；5年後的1929年因獲得蓋爾森基興市的財政協助而興建新球場，更名為蓋爾森基興沙爾克04足球俱樂部（FC Gelsenkirchen-Schalke 04）。
沙爾克04總部
當時未成立德甲，聯賽是德國錦標賽。沙爾克04在1934年首度奪得聯賽冠軍；1937年沙爾克04贏得了首個德國盃冠軍。此後至1958年，沙爾克04一共贏得了17次德國錦標賽冠軍。
沙爾克04是1963年德甲成立時的創始成員，但由於實力所限，多年來沙爾克04都未曾贏得德甲聯賽冠軍。1972年德國盃是沙爾克04當時之唯一錦標。自1981年至1991年，沙爾克曾三度降至德乙。至2001年和2002年兩贏德國盃，沙爾克04才得以挽回顏面。
2009/10賽季，沙爾克04獲得德甲聯賽亞軍，這是該隊近年來在德甲聯賽的最佳戰績，也因此直接晉身2010/2011賽季歐洲冠軍聯賽分組賽。這一賽季的歐洲冠軍聯賽1/4決賽中，沙爾克04以兩回合7比3的懸殊比分淘汰衛冕冠軍國際米蘭（客場5-2，主場2-1），首次晉身歐冠四強，然而好景不長，他們在隨後的四強中被曼聯淘汰。
2017/18年賽季，沙爾克04又奪歐冠資格，不過在2018/19年賽季歐冠16強被曼城雙殺。
2020/21賽季，沙爾克04延續上季16連不勝的低潮，以一波開季14連不勝穩居榜尾。直到2021年1月9日第15輪的比賽終於以4-0大勝霍芬海姆取得賽季首場勝仗，但截至當日累積只有7分維持榜尾。這麼糟糕的表現降級是遲早的問題。
2021年4月20日，沙爾克04在德甲第30輪的比賽0-1負於比勒費爾德，持續一落千丈的表現，降級的事實亦無法改變，故提前確定2021/2022賽季降級至德乙。[1]
2022年5月15日，沙爾克04德乙排名榜首奪冠，重新升級至德甲。
2022/23賽季，沙爾克04最終輪客場2-4不敵RB萊比錫，以倒數第二之排名再次降級至德乙[2]。