Au XVIIe siècle, les Amérindiens algonquins ont découvert plusieurs îles dans la baie de New York qui n'étaient pas entièrement submergées par l'eau. Seules trois îles ont reçu le nom d'"Oyster Island", en raison des quantités de coquillages, de bars et d'huîtres que l'on trouvait dans la baie. Les trois îles connues aujourd'hui sous le nom d'Ellis, Liberty et Black Tom ont été baptisées ainsi par les colons des Nouveaux Pays-Bas. L'île est restée une source d'approvisionnement en nourriture pendant les trois siècles suivants.