No século XVII, os índios nativos Algonquin descobriram várias ilhas na baía de Nova Iorque que não estavam totalmente submersas na água. Apenas três ilhas receberam o nome de "Oyster Island", devido às quantidades de marisco, robalo e ostras encontradas dentro da área da baía. As três ilhas agora conhecidas como Ellis, Liberty e Black Tom receberam o nome dos colonos de New Netherland. A ilha continuou a ser uma fonte de abastecimento alimentar durante os três séculos seguintes.