مع كل مبنى هناك ماض. قبل إعادة إنشاء جزيرة إليس ، كانت الجزيرة محتلة من قبل قبائل الأمريكيين الأصليين المعروفة باسم قبيلة ألغونكوين التي كانت تقع في المنطقة الشمالية الشرقية من أمريكا الشمالية. وقيل إن قبيلة الأمريكيين الأصليين توافدت على الجزيرة لأن الجزيرة كانت موطنا للمحار الطازج والمحار وأسماك الزعانف والقاروص المخطط وكلها مصدر للإمدادات الغذائية. أعطيت الجزيرة في وقت لاحق الاسم من قبل الهولنديين، "جزيرة المحار". علم الآثار مصدره في عام 1985 عندما حدث الترميم في جزيرة إليس أنه تم العثور على عظام البط وعظام السلاحف وعظام الغزلان مما أعطى الباحثين فكرة أوضح عن النظام الغذائي الموجود بين ليبرتي وجزيرة إليس.

في عام 1624 ، أنشأ الهولنديون محطة لتجارة الفراء. في عام 1664 ، جاء الإنجليز وأعادوا تسمية "هولندا الجديدة" إلى "نيويورك". في غضون المائة عام التالية ، ستمر الجزيرة بعدد من الأسماء وفي عام 1774 تم شراء الجزيرة من قبل صموئيل إليس. بعد وفاة صموئيل إليس، اشترت ولاية نيويورك الجزيرة مما جعلها مملوكة رسميا للحكومة.