Kwa kila jengo kuna zamani. Kabla ya kuanzishwa upya kwa kisiwa cha Ellis kisiwa hicho kiliwahi kukaliwa na makabila ya Asili ya Marekani yanayojulikana kama Kabila la Algonquin ambalo lilikuwa katika eneo la kaskazini mashariki mwa Amerika ya Kaskazini. Ilisemekana kwamba kabila la Asili la Amerika lilikusanyika kisiwani humo kwa sababu kisiwa hicho kilikuwa nyumbani kwa oysters safi, samakigamba, samaki wa fin na striped bass wote chanzo cha usambazaji wa chakula. Kisiwa hicho baadaye kilipewa jina na Kiholanzi, 'Kisiwa cha Oyster.' Akiolojia ilianzishwa mwaka 1985 wakati marejesho yalipotokea kwenye kisiwa cha Ellis ambacho mifupa bata, mifupa ya kasa na mifupa ya kuni ilipatikana kuwapa watafiti wazo wazi la mlo unaopatikana kati ya uhuru na Ellis Island.

Mnamo 1624, Kiholanzi kiliunda kituo cha biashara ya fur. Mnamo 1664, Waingereza walikuja pamoja na kuita jina la 'New Uholanzi' kwa 'New York.' Ndani ya miaka mia moja ijayo, kisiwa hicho kingepitia majina kadhaa na mwaka 1774 kisiwa hicho kilinunuliwa na Samuel Ellis. Baada ya kifo cha Samuel Ellis, Jimbo la New York lilinunua kisiwa hicho na kuifanya serikali rasmi kumilikiwa rasmi.