I 1846 var Tønsberg en stor sjøfartsby, og kapteinene Gjersøe, V. Lerche og Falck tok initiativet til en innbydelse dannelsen av en sjømannsforening, og interessen var stor, og 26 redere og kapteiner tegnet seg som medlemmer. Blant disse var også Svend Foyn (bilde til høyre).
Den 5. desember i 1846 ble Tønsberg Sjømannsforening stiftet med skipsreder / kaptein Vincent Stoltenberg Lerche som foreningens første formann.
Foreningens formål var i første rekke å ivareta redernes interesser, drøfte felles interesser, avhandle søevesenets anliggender, samt virke til standens Utvikling, Fremadskriden, og Moralitet.
Ved stiftelsen av Tønsberg Sjømannsforening var dette landets nest eldste sjømannsforening. (Drammen Sjømannsforening var to år eldre)
Tønsberg hadde en voldsom økning i tonnasje i 1830 til 1850, og i 1837 ble 148 seilfartøyer registrert i Tønsberg Tolldistrikt, og Tønsberg var på dette tidspunkt større enn både Arendal og Bergen i tonnasje.
På Tønsberg Sjømannsforenings generalforsamling i 1848 ble man enige om å etablere et understøttelsesfond til trengende sjøfolk. Dette fondet bestod av 3 kategorier, Kapteiner, Styrmenn og matroser. Dette fondet skulle støtte sjøfolk / deres familier ved et eventuelt forlis. Dette var et sosialt tiltak som vakte oppmerksomhet langt utenfor landets grenser.
I 1915 opprettet styret i Tønsberg Sjømannsforening en komitee som skulle utrede muligheten til å kjøpe et hus eller tomt hvor man kunne bygge et sjømannshjem, da behovet for dette var påtrengende.
I 1925 ble sjømannshjemmet tatt i bruk, og dette var muliggjort ved innsamling av midler på til sammen kr. 250.000
Tønsberg Sjømannsforening var også initiativtaker til opprettelse av en sjømannsskole i Tønsberg, og i 1922 ble sjømannsskolen på Haugar innviet.
Tønsberg Sjømannsforening var også den som opprettet Tønsberg Sjøfartsmuseum i 1919, og i 1922 flyttet man inn i nye lokaler ved sjømannskolen på Haugar. Sjømannsforeningen tok også initiativet til å samle inn penger til en kopi av ”Osebergskipet”
Kirkeskipet som i dag henger i Tønsberg Domkirke er en gave fra Tønsberg Sjømannsforening og har opprinnelse fra Mariakirken og er over 300 år gammelt.
Ved Tønsberg Sjømannsforenings 100 års jubileum i 1946 var Kronprins Olav gjest, og Herman Wildenway leste dikt. Skipsreder Johs. Krøger representerte Vestfold Rederiforening.
Tønsberg Sjømannsforning har vært en pådriver i alle maritime saker som vedrører Tønsberg, og da kan man blant annet nevne alle innseilingsleder til Tønsberg.
Tønsberg Sjømannsforening er også initiativtaker til reising av monumentene over Polfareren Roald Amundsen, Tankskipenes far Kapt. Evn Tollefsen og sjømannsskolebestyrer Kap. Stranger.
1899-31 Marinekaptein C. N. Stranger.
Fra 1925 har Tønsberg Sjømannsforening hatt sine lokaler i Sjømannshjemmet / Hotell Maritim frem til 2005 da foreningen ervervet gamle Tollboden i Nedre Langgate 38.
Tollbodens 2. etg. inneholder Foreningens møtelokaler, selskapslokaler, styrerom og kontor. I byggets 1. eg. har man bygget et Sjøfartshistorisk senter som ivaretar byens sjøfart og hvalfangsthistorie. En kafé er også bygget i tilknytning til Sjøfartshistorisk senter. Tønsberg Sjømannsforening har i dag 280 medlemmer.