每棟建築都有過去。在埃利斯島重建之前，該島曾經被位於北美東北部地區的美洲原住民部落佔領，稱為阿爾岡昆部落。據說，美洲原住民部落蜂擁而至，因為該島是新鮮牡蠣、貝類、鰭魚和條紋鱸魚的家園，這些都是食物供應的來源。該島後來被荷蘭人命名為「牡蠣島」。。考古學來源於1985年，當時在埃利斯島進行了修復，發現了鴨骨，龜骨和鹿骨，使研究人員更清楚地瞭解了自由島和埃利斯島之間的飲食。

1624年，荷蘭人建立了一個毛皮貿易站。1664年，英國人來到這裡，將曾經的「新荷蘭」更名為「紐約」。。在接下來的一百年裡，該島經歷了許多名字，1774年，撒母耳·埃利斯（Samuel Ellis）購買了該島。撒母耳·埃利斯（Samuel Ellis）去世后，紐約州購買了該島，使其成為政府正式擁有的島嶼。