Stofnun Hljóðbókasafns Íslands miðast við reglugerð um Blindrabókasafn frá 7. maí 1982. Fyrir þann tíma var mikið brautryðjenda starf unnið og fóru þar fremst í flokki Helga Ólafsdóttir, fyrsti forstöðumaður safnsins, og Gísli Helgason auk þess sem Blindrafélagið þrýsti á um úrbætur.   

Fyrstu hljóðbækurnar eða fyrsti innlestur bóka urðu til með segulbandstækninni á sjötta áratugnum. Farið var að lesa inn á segulbandsspólur á vegum Blindravinafélags Íslands í kringum 1955 og árið 1957 hófst sams konar lestur hjá Blindrafélaginu. Blindrafélagið innréttaði sérstakt herbergi til hljóðbókainnlesturs í Hamrahlíð 7. Blindravinafélagið lánaði blindu og sjónskertu fólki segulbandstæki til hlustunar en Blindrafélagið sá til þess að blint og sjónskert fólk gat eignast tæki á mjög góðu verði. Allir sem lásu inn gerðu það í sjálfboðavinnu og voru oft að lesa heima hjá sér við ærið misjafnar aðstæður. 

Árið 1975 gerðu Blindrafélagið og Borgarbókasafn með sér samning um útgáfu og miðlun hljóðbóka. Borgarbókasafnið sá um skráningu og dreifingu en Blindrafélagið hljóðritaði bækurnar. Þarna varð til vísir að hljóðbókasafni undir heitinu Bókin heim og var staðsett í Sólheimasafni og síðar í Hólmgarði. Vegna vinsælda var síðan sett á laggirnar hljóðbókadeild innan Borgarbókasafns í tengslum við Blindrafélagið og fjölgaði hljóðbókum ár frá ári. Þessi deild þjónaði ekki eingöngu sjónskertum borgarbúum heldur landinu öllu. 

Árið 1979 var farið að huga að þátttöku ríkisins enda höfðu Norðurlönd þá rekið blindrabókasöfn í mörg ár. Helga Ólafsdóttir og Gísli Helgason gengu á fund Ragnars Arnalds menntamálaráðherra í október 1979 og frumvarp um blindrabókasafn var síðan samþykkt á Alþingi árið 1982.  

Blindrabókasafn Íslands tók til starfa í byrjun árs 1983 og var svo opnað í húsakynnum Blindrafélagsins að Hamrahlíð 17 þann 22. febrúar 1984. Í upphafi voru framleidd 1-10 eintök af hverri bók og vandi safnsins fólst í því að of fáir titlar voru hjóðritaðir, í of fáum eintökum. Segulbandsspólur og síðar geisladiskar voru sendir um land allt og voru lánþegar afar þakklátir fyrir þessa þjónustu.  

Safnið fluttist að Digranesvegi 5 í Kópavogi árið 1994 í rúmgott húsnæði enda þurfti mikið rými undir safnkostinn. Bókakosturinn var framan af eingöngu á snældum og síðar geisladiskum. Einnig var framleitt punktaletursefni en sú starfsemi var flutt um áramótin 2008-2009 til Þjónustu- og þekkingarmiðstöðvar fyrir blinda, sjónskerta og einstaklinga með samþætta sjón- og heyrnarskerðingu. 

Safnið hefur ávallt reynt að fylgjast vel með tækninýjungum í miðlun efnis og strax upp úr aldamótum var stór hluti bóka á safninu hljóðritaður stafrænt í stað segulbandsupptaka sem áður var helsta varðveisluformið.  

Á árunum 2008-2009 má segja að hafi orðið bylting í miðlun hljóðbóka og allri starfsemi safnsins þegar eldri hljóðrit voru yfirfærð á stafrænt form. Mikil vinna var lögð í að gera safnið stafrænt og var verkefnið kostnaðarsamt. Þá kom höfðingleg gjöf hjónanna, Málmfríðar Jóhannsdóttur (1916-2007) og Finnboga Bjarnasonar (1926-2006), að góðum notum en þau arfleiddu safnið að húseign sinni til eflingar starfseminni.  

Nafni safnsins var breytt árið 2013 og til varð Hljóðbókasafn Íslands. Í reglugerð um safnið segir: „Hlutverk Hljóðbókasafns Íslands er að sjá þeim sem ekki geta fært sér venjulegt prentað letur í nyt fyrir bókasafnsþjónustu með miðlun á fjölbreyttu safnefni. Hér getur m.a. verið um að ræða blinda, sjónskerta, lesblinda o.fl. Sérstök áhersla skal lögð á námsþjónustu.“ 

Safnið fagnaði 40 ára afmæli á árinu 2022. Haldin var hátíðleg athöfn að Digranesvegi þann 5. maí, unnin var heildarstefnumótun og framtíðarsýn og unnið að gerð nýs vefs. Hljóðbókasafnið hefur breyst mikið á þessum fjörutíu árum enda í dag að mestu leyti rafrænt safn þó enn séu brenndir geisladiskar fyrir þann hóp sem kýs að nýta þá tækni. Í fyrstu var safnið eingöngu hugsað fyrir blinda og sjónskerta en uppúr 1990 var starfsemin víkkuð út og farið var að taka við vottorðum frá fólki sem glímir við lesblindu í takt við það sem gerðist hjá systurstofnunum á Norðurlöndum. Í endurskoðuðum höfundalögum frá árinu 2021 er skilgreint hverjir hafa rétt á að gerast lánþegar hjá safninu. 

Bakhjarlar Blindrabókasafnsins/Hljóðbókasafnsins hafa styrkt starfsemina frá upphafi. Mörg félagasamtök og einstaklingar hafa lagt mikið af mörkum með sjálfboðavinnu og stuðningi við safnið og þar fer Blindrafélagið fremst í flokki. Einnig veitti Kvennadeild Reykjavíkurdeildar Rauða kross Íslands safninu mikinn stuðning um árabil og um tíma fékk safnið sértekjur frá Styrktarsjóði Blindrabókasafnsins (stofnaður 1989) og frá Vinafélagi Blindrabókasafns Íslands (stofnað 1993).