Im 17. Jahrhundert entdeckten die Algonquin-Indianer mehrere Inseln in der New York Bay, die nicht vollständig unter Wasser lagen. Nur drei Inseln erhielten den Namen "Oyster Island" (Austerninsel) aufgrund der großen Mengen an Muscheln, Barschen und Austern, die in der Bucht zu finden waren. Die drei Inseln, die heute als Ellis, Liberty und Black Tom bekannt sind, erhielten diesen Namen von Siedlern aus den neuen Niederlanden. Die Insel blieb für die nächsten drei Jahrhunderte eine Quelle der Nahrungsversorgung.