Als universiteitsmuseum richt Allard Pierson zich zowel op het brede publiek als op wetenschappers. De collecties die het beheert zijn zeer divers: cartografie, boekgeschiedenis, Joodse cultuur, kerkgeschiedenis, zoölogie, muziek en grafische vormgeving. Het gebouw aan de Oude Turfmarkt, waarin het museum nu gevestigd is, is in de negentiende eeuw gebouwd als hoofdkantoor van De Nederlandsche Bank. Het gebouw werd in 1869 als zodanig in gebruik genomen en behield die functie tot 1976, waarna het Allard Pierson erin trok.
Het hoofdkantoor van De Nederlandsche Bank is destijds door architect Willem Anthonie Froger ontworpen op de structuur van de classicistische panden die architect Philips Vingboons er in de zeventiende eeuw al ontworpen had. De wanden die dwars op de voorgevel staan, zijn volgens architect Dorte Kristensen tot die panden door Vingboons terug te herleiden. Als je op de piano nobile of secondo piano nobile van de ene naar de andere tentoonstellingsruimte gaat, beweeg je door die wanden, en merk je hier en daar dat de verdiepingshoogte ook nog steeds iets verschilt.