張公山系涂山山脈，涂山一帶曾是原始社會(huì)后期涂山氏居住的地方。涂山腳下的禹會(huì)村，傳說(shuō)是當(dāng)年治水英雄大禹會(huì)諸侯之地，作為行政村村名屬全國(guó)唯一，這里至今流傳著大禹治水三過(guò)家門(mén)而不入的動(dòng)人故事。

張公山是歷史文化名山涂山山脈的組成部分，有著悠久的歷史，據(jù)《懷遠(yuǎn)縣志》記載：明朝嘉靖年間此山就叫張公山，山下一湖，名化陂湖，現(xiàn)更名為張公湖。相傳，明朝有個(gè)張姓戰(zhàn)將，解甲歸田，隱居山下，由于他德高望重，當(dāng)?shù)匕傩兆鸱Q(chēng)張公，張公山因此得名。

清朝，張公山頂建有寺廟，每年還有一次初春廟會(huì)。該廟原名“寺山廟”，后改名“中岳廟”，又改為“觀(guān)音廟”。由于廟的基礎(chǔ)南高北洼，廟門(mén)朝北，當(dāng)?shù)匕傩沼址Q(chēng)之為“倒座觀(guān)音廟”。

民國(guó)27年（1938年）日軍侵占蚌埠后，寺山廟遭到徹底毀壞。

1973年，蚌埠市政府決定利用張公山與化陂湖的自然風(fēng)景和優(yōu)美環(huán)境，將此山辟為公園，1975年建園工程全面開(kāi)工。1983年7月1日，張公山公園正式對(duì)外開(kāi)放。

          從1986年以來(lái)，張公山公園各項(xiàng)基礎(chǔ)設(shè)施和景點(diǎn)建設(shè)日益完善。先后建成了湖濱餐廳、水榭長(zhǎng)廊、園中園、望淮塔、兒童樂(lè)園、月季園、動(dòng)物園等。

2009年被國(guó)家旅游局授予國(guó)家AAAA級(jí)風(fēng)景區(qū)稱(chēng)號(hào)。

2012年，經(jīng)蚌埠市政府會(huì)議研究，由城投公司承擔(dān)資金保障工作對(duì)張公山景區(qū)進(jìn)行提升改造。