مع كل مبنى هناك ماض. قبل إعادة تأسيس جزيرة إليس كانت الجزيرة تحتلها القبائل الأميركية الأصلية المعروفة باسم قبيلة ألغونكوين التي كانت تقع في المنطقة الشمالية الشرقية من أمريكا الشمالية. وقيل إن قبيلة الأمريكيين الأصليين توافدت إلى الجزيرة لأن الجزيرة كانت موطنا للمحار الطازج والمحار والأسماك الزعنفة والباس المخطط، وكلها مصدر للإمدادات الغذائية. أعطيت الجزيرة في وقت لاحق اسم من قبل الهولنديين، "جزيرة المحار". علم الآثار مصدرها في عام 1985 عندما حدث الترميم في جزيرة إليس التي تم العثور على عظام البط وعظام السلاحف وعظام الغزلان إعطاء الباحثين فكرة أوضح عن النظام الغذائي وجدت بين الحرية وجزيرة إليس.

في عام 1624، أنشأ الهولنديون محطة لتجارة الفراء. في عام 1664، جاء الإنجليز وأعادوا تسمية "هولندا الجديدة" ذات مرة إلى "نيويورك". في غضون المائة سنة القادمة، كانت الجزيرة تمر بعدد من الأسماء وفي عام 1774 تم شراء الجزيرة من قبل صامويل إليس. بعد وفاة صموئيل إليس، اشترت ولاية نيويورك الجزيرة مما يجعلها مملوكة رسميا للحكومة.