עם כל בניין יש עבר. לפני הקמתו מחדש של האי אליס האי נכבש בעבר על ידי שבטים אינדיאנים הידועים בשם שבט אלגונקווין שהיה ממוקם באזור הצפון מזרחי של צפון אמריקה. נאמר שהשבט האינדיאני נהר לאי משום שהאי היה ביתם של צדפות טריות, רכיכות, דגי סנפיר ובס מפוספס, כולם מקור לאספקת מזון. מאוחר יותר קיבל האי את השם על ידי ההולנדים, "אי הצדפות". ארכיאולוגיה שמקורה בשנת 1985 כאשר השיקום התרחש באי אליס כי עצמות ברווז, עצמות צב ועצמות צבי נמצאו נותן לחוקרים מושג ברור יותר של הדיאטה שנמצאה בין ליברטי אליס איילנד.

בשנת 1624, ההולנדים הקימו תחנת סחר בפרווה. ב-1664 הגיעו האנגלים ושינו את שמה של "הולנד החדשה" ל"ניו יורק". במהלך מאה השנים הבאות, האי היה עובר מספר שמות וב 1774 האי נרכש על ידי סמואל אליס. לאחר מותו של סמואל אליס, מדינת ניו יורק רכשה את האי והפכה אותו רשמית בבעלות ממשלתית.