Κάθε κτίριο έχει και ένα παρελθόν. Πριν από την επανίδρυση του Ellis Island, το νησί κάποτε κατοικούνταν από ιθαγενείς αμερικανικές φυλές, γνωστές ως φυλή Algonquin, η οποία βρισκόταν στη βορειοανατολική περιοχή της Βόρειας Αμερικής. Λέγεται ότι η ιθαγενής αμερικανική φυλή συνέρρεε στο νησί επειδή το νησί ήταν το σπίτι για φρέσκα στρείδια, οστρακοειδή, ψάρια και λαβράκια, όλα μια πηγή εφοδιασμού σε τρόφιμα. Αργότερα το νησί πήρε από τους Ολλανδούς το όνομα "Oyster Island". Η αρχαιολογία ανακάλυψε το 1985, όταν έγινε η αποκατάσταση του Ellis Island, ότι βρέθηκαν οστά πάπιας, οστά χελώνας και οστά ελαφιού, δίνοντας στους ερευνητές μια σαφέστερη ιδέα για τη διατροφή που βρέθηκε μεταξύ του Liberty και του Ellis Island.

Το 1624, οι Ολλανδοί δημιούργησαν έναν σταθμό για το εμπόριο γούνας. Το 1664, οι Άγγλοι ήρθαν και μετονόμασαν την άλλοτε "Νέα Ολλανδία" σε "Νέα Υόρκη". Μέσα στα επόμενα εκατό χρόνια, το νησί θα περνούσε από διάφορα ονόματα και το 1774 το νησί αγοράστηκε από τον Σάμιουελ Έλις. Μετά το θάνατο του Σάμιουελ Έλις, η πολιτεία της Νέας Υόρκης αγόρασε το νησί, καθιστώντας το επίσημα κρατικό.