Pálshús er eitt af elstu húsum Ólafsfjarðar er nefnt eftir Páli Bergssyni sem var einn af athafnamönnum fjarðarins í byrjun tuttugustu aldar.  Páll byggði húsið sem stendur við Strandgötu 4, ásamt konu sinni og hefur húsið alla tíð hýst þjónustu af einhverju tagi,  nú síðast byggingavöruverslunina Valberg sem starfrækt hefur verið þar, síðustu áratugi.  Nú er þeirri starfsemi að ljúka og mun húsið verða „Safnahús Ólafsfjarðar“.  Húsið er byggt árið 1912 og er skráð tæpir 540 fm. Fyrsti hluti hússins var byggður rétt fyrir aldamótin 1900, en aðal byggingartíminn telst vera árið 1912.

Hollvinir Pálshúss og Fjallasalir SES (Sigurhæð SES), standa að uppbyggingu hússins.  Félög þessi eru sjálfboðaliðasamtök sem standa að uppbyggingu safnamála í Ólafsfirði. Fjallasalir SES hlaut 15,6 milljón króna styrk frá Fjallabyggð árið 2016 til uppbyggingar hússins og einnig styrk frá Norðurorku sama ár.  Sigurhæð SES eignaðist húsið árið 2015.

Fyrirhugað er að setja upp svokallaða Ólafsfjarðarstofu, þar sem m.a. er gert ráð fyrir að Náttúrugripasafnið verði staðsett svo og myndasafn Brynjólfs Sveinssonar, ásamt sögu Ólafsfjarðar og þeim söfnum sem félaginu hefur áskotnast. Einnig er fyrirhugað að gera grein fyrir íþróttasögu Ólafsfjarðar og meðal annars skíðasögunni.