Das James Madison Memorial Building gehört mit dem Thomas Jefferson Building und dem John Adams Building zu den drei Gebäuden der Library of Congress. Die Bibliothek verfügt insgesamt über 20 Millionen Bücher, 61 Millionen Manuskripte, 5 Millionen Karten und Atlanten und 5 Millionen Noten.