小青岛拥有“琴岛”、“琴屿”的别称，该别称的起源说法不一。有说法称因岛屿形状像古琴故名，或称有一名为《琴岛诗话》的书籍提到“取其山如琴，水如弦，清风徐来，波声铮铮如琴声之故”。另有说法称此别名来自于“琴女传说”。《琴岛诗话》出自何时、何人尚不清楚，“琴女传说”也没有古籍等资料加以佐证。另外也有说法认为该名称源于“青岛”（Tsingtau）的早期德文拼写“Tsintau”，为中文误译之故。