軍は1934年、アルカトラズを民間の刑務所局（BOP）に移管した。BOPは老朽化した軍事刑務所を、最高セキュリティの最新鋭民間刑務所へと早急に改築した。アルカトラズは間もなく、アメリカ史上最も有名な連邦刑務所となった。
アルカトラズは、アメリカ初の最高警備、最低特権の刑務所として設計され、今日では「スーパーマックス」と呼ばれている。1934年から1963年まで、アルカトラズはアメリカで最も悪名高い犯罪者、脱獄犯、ギャングのリーダー、一般的なトラブルメーカーを収容していた。彼らは、サンフランシスコ湾の真ん中に浮かぶ岩だらけの島の、事実上脱獄不可能な環境の中で、最も厳重で規則正しい条件の下に収容されていた。そこに送られた者たちにとって、アルカトラズは終着点だった。

アルカトラズ刑務所は、他の連邦刑務所から移送されてきた受刑者のみを収容していたため、「刑務所の中の刑務所」と呼ばれることもあった。裁判所はアルカトラズ刑務所に誰も送ることはできなかった。その代わり「ザ・ロック」は、BOPが最も厄介な囚人を、よりセキュリティの低い施設に安全に戻せると判断するまで送る場所だった。平均収容期間は5年だった。

連邦刑務所が運営されていた期間中、36人の囚人が14件の脱獄未遂に巻き込まれた。23人が捕まり、6人が射殺され、2人が溺死した。5人の囚人が姿を消して行方不明になっているが、溺死した可能性が圧倒的に高く、遺体は発見されていない。

1963年初頭、ロバート・ケネディ司法長官は、維持費と運営費の増加を理由にアルカトラズ刑務所の閉鎖を命じた。1963年3月21日、最後の囚人が島から収容された。アルカトラズ島が閉鎖されると、代わりにイリノイ州マリオンに新しい最高セキュリティーの連邦刑務所が建設された。

現在、政府の "超最高収容施設 "はコロラド州フローレンスにある。非公式なニックネームは "ロッキーのアルカトラズ"。

アルカトラズ島の米国刑務所の詳細については、BOPアルカトラズの歴史にある刑務所局の公式ウェブサイトをご覧ください。