Met elk gebouw is er een verleden. Vóór de heroprichting van Ellis Island werd het eiland ooit bewoond door indianenstammen die bekend stonden als de Algonquin-stam en die zich in het noordoosten van Noord-Amerika bevonden. Er werd gezegd dat de indianenstam naar het eiland trok omdat het eiland de thuisbasis was van verse oesters, schelpdieren, vis en gestreepte zeebaars, allemaal een bron van voedselvoorziening. Het eiland kreeg later van de Nederlanders de naam 'Oestereiland'. De archeologie ontdekte in 1985, toen de restauratie van Ellis Island plaatsvond, dat botten van eenden, schildpadden en herten werden gevonden, waardoor de onderzoekers een duidelijker idee kregen van het dieet dat tussen Liberty en Ellis Island werd aangetroffen.

In 1624 stichtten de Nederlanders een handelspost voor bont. In 1664 kwamen de Engelsen en doopten het voormalige 'Nieuw-Nederland' om tot 'New York'. In de daaropvolgende honderd jaar zou het eiland een aantal namen krijgen en in 1774 werd het eiland gekocht door Samuel Ellis. Na de dood van Samuel Ellis kocht de staat New York het eiland, waardoor het officieel staatseigendom werd.