O exército transferiu Alcatraz para o Bureau of Prisons (BOP) civil em 1934. O BOP rapidamente converteu a velha prisão militar numa penitenciária civil de segurança máxima e de última geração. Alcatraz tornar-se-ia em breve a prisão federal mais famosa da história dos Estados Unidos.
Alcatraz foi projectada para servir como a primeira penitenciária de segurança máxima e privilégio mínimo da América, o que é hoje referido como uma instituição "super max". De 1934 a 1963, Alcatraz albergou alguns dos criminosos mais notórios da América, artistas de fuga, líderes de gangs e criadores de problemas em geral. Foram mantidos sob as condições mais seguras e regulamentadas, num ambiente praticamente à prova de fugas, numa ilha rochosa no meio da Baía de São Francisco. Para os homens enviados para lá, Alcatraz era o fim da linha.

Alcatraz era por vezes chamada a "prisão dentro do sistema prisional", uma vez que os únicos reclusos enviados para lá eram transferidos de outras prisões federais. Os tribunais não podiam condenar ninguém a Alcatraz. Em vez disso, "The Rock" era o local para onde a BOP enviava os seus prisioneiros mais problemáticos até decidir que podiam ser transferidos em segurança para uma instituição de menor segurança. A permanência média era de cinco anos.

Durante o período de funcionamento da penitenciária federal, 36 prisioneiros estiveram envolvidos em 14 tentativas de fuga. Vinte e três homens foram apanhados, seis foram baleados e mortos e dois afogaram-se. Cinco reclusos desapareceram e nunca mais foram vistos, mas a grande probabilidade é que se tenham afogado e que os seus corpos nunca tenham sido recuperados.

No início de 1963, o Procurador-Geral Robert Kennedy ordenou o encerramento da Penitenciária de Alcatraz, invocando o aumento dos custos de manutenção e de funcionamento. Os últimos condenados foram retirados da ilha a 21 de março de 1963. Quando a ilha foi encerrada, foi substituída por uma nova prisão federal de segurança máxima em Marion, Illinois.

Atualmente, a instituição "super max" do governo está localizada em Florence, Colorado. A sua alcunha não oficial é "Alcatraz das Rochosas".

Para mais informações sobre a Penitenciária dos EUA em Alcatraz, consulte o sítio Web oficial do Bureau of Prisons em BOP Alcatraz history.