西蒙出生於[[南卡羅萊納州]]的[[崔恩鎮]]（Tryon），家中共有八個孩子，她就像當時的非裔孩童一樣，喜歡在[[教會]]裡唱[[福音]]聖歌，並受到了聲樂家[[瑪麗安·安德森]]（Marian Anderson）的啟蒙。在西蒙的童年時期，她就開始學[[鋼琴]]，並顯現出她卓越的演奏天份，在她10歲公開演奏時，西蒙的父母一反當時種族順位的慣例（凡不是白人者，一律都坐在後排位置），往前坐到了前排的位置，而且拒絕換位到後面，這件事情讓西蒙後來加入了美國[[種族平權]]的活動。

17歲時，西蒙搬到了[[賓州]]的[[費城]]。並開始教鋼琴，同時也做一些伴奏歌手的工作，當時她曾獲[[紐約市]]知名的[[朱利亞德音樂學院]]入學許可，但由於她籌不足學費，也找不到有力的保證人，只好放棄入學（同時也放棄了她很有可能是美國第一位非裔鋼琴演奏家的希望）。後來西蒙又向另一家科提斯音樂學院（Curtis Institute）申請入學，主修鋼琴，但在面試時被拒絕了。西蒙曾說，她認為被拒的原因有很大一部份在於她的膚色。