Vào thế kỷ 17, người da đỏ bản địa Algonquin đã phát hiện ra một số hòn đảo trong Vịnh New York không hoàn toàn chìm trong nước. Chỉ có ba hòn đảo được đặt tên là 'Đảo Oyster', do số lượng động vật có vỏ, cá vược và hàu được tìm thấy trong khu vực vịnh. Ba hòn đảo hiện được gọi là Ellis, Liberty và Black Tom được đặt tên bởi những người định cư New Netherland. Hòn đảo vẫn là một nguồn cung cấp thực phẩm trong ba thế kỷ tiếp theo.