Dengan setiap bangunan ada masa lalu. Sebelum penubuhan semula Pulau Ellis, pulau ini pernah diduduki oleh puak-puak asli Amerika yang dikenali sebagai Puak Algonquin yang terletak di kawasan timur laut Amerika Utara. Dikatakan bahawa suku asli Amerika berduyun-duyun ke pulau itu kerana pulau itu adalah rumah bagi tiram segar, kerang, ikan sirip dan bas berjalur semua sumber bekalan makanan. Pulau ini kemudiannya diberi nama oleh Belanda, 'Pulau Tiram.' Arkeologi yang diperoleh pada tahun 1985 apabila pemulihan berlaku di Pulau Ellis bahawa tulang itik, tulang penyu dan tulang rusa didapati memberikan penyelidik idea yang lebih jelas mengenai diet yang terdapat di antara Liberty dan Pulau Ellis.

Pada tahun 1624, Belanda mencipta stesen perdagangan bulu. Pada tahun 1664, inggeris datang dan menamakan semula 'Belanda Baru' sekali kepada 'New York.' Dalam tempoh seratus tahun akan datang, pulau itu akan melalui beberapa nama dan pada tahun 1774 pulau itu dibeli oleh Samuel Ellis. Selepas kematian Samuel Ellis, New York State membeli pulau itu menjadikannya milik kerajaan secara rasmi.