Nel XVII secolo, gli indiani Algonquin scoprirono diverse isole nella baia di New York che non erano interamente sommerse dall'acqua. Solo a tre isole fu dato il nome di "Oyster Island", a causa della quantità di molluschi, spigole e ostriche che si trovavano nell'area della baia. Le tre isole ora conosciute come Ellis, Liberty e Black Tom ricevettero questo nome dai coloni di New Netherland. L'isola rimase una fonte di approvvigionamento alimentare per i successivi tre secoli.