Het leger droeg Alcatraz in 1934 over aan de civiele Bureau of Prisons (BOP). De BOP veranderde de verouderde militaire gevangenis snel in een maximaal beveiligde, ultramoderne civiele gevangenis. Alcatraz zou al snel de beroemdste federale gevangenis in de geschiedenis van de Verenigde Staten worden.
Alcatraz werd ontworpen om te dienen als Amerika's eerste maximaal beveiligde, minimaal geprivilegieerde gevangenis, wat tegenwoordig een "super max" instelling wordt genoemd. Van 1934 tot 1963 huisvestte Alcatraz enkele van Amerika's meest beruchte overtreders, ontsnappingskunstenaars, bendeleiders en algemene herrieschoppers. Ze werden vastgehouden onder de meest veilige en gereguleerde omstandigheden, in een omgeving die vrijwel ondoordringbaar was voor ontsnappingen, op een rotsachtig eiland midden in de baai van San Francisco. Voor de mannen die er naartoe gestuurd werden, was Alcatraz het eindpunt.

Alcatraz werd soms de "gevangenis binnen het gevangenissysteem" genoemd, omdat de enige gevangenen die er naartoe werden gestuurd, overgeplaatst werden vanuit andere federale gevangenissen. Rechtbanken konden niemand naar Alcatraz veroordelen. In plaats daarvan stuurde de BOP haar meest lastige gevangenen naar "The Rock" totdat besloten werd dat ze veilig teruggestuurd konden worden naar een lager beveiligde instelling. De gemiddelde verblijfsduur was vijf jaar.

In de periode dat de federale gevangenis operationeel was, waren 36 gevangenen betrokken bij 14 afzonderlijke ontsnappingspogingen. Drieëntwintig mannen werden gepakt, zes werden doodgeschoten en twee verdronken. Vijf veroordeelden verdwenen en werden nooit meer gezien, maar de kans is groot dat ze verdronken en dat hun lichamen nooit werden gevonden.

Begin 1963 gaf procureur-generaal Robert Kennedy het bevel om de Alcatraz Penitentiary te sluiten vanwege de stijgende onderhouds- en operationele kosten. De laatste gevangenen werden op 21 maart 1963 van het eiland verwijderd. Toen het eiland sloot, werd het vervangen door een nieuwe maximaal beveiligde federale gevangenis in Marion, Illinois.

Tegenwoordig bevindt de "super max" instelling van de overheid zich in Florence, Colorado. De onofficiële bijnaam is "Alcatraz van de Rockies".

Ga voor meer informatie over de Amerikaanse gevangenis op Alcatraz naar de officiële website van het Bureau of Prisons op BOP Alcatraz history.