Erling vart fødd på Torvholmen i 1912. Han budde storparten av livet sitt på sjølve Flåvær, eller Flåværet. Det er holmen der den store, raude sjøbuda og det kvite, staselege herskapshuset står.

Far til Erling, Petter J. Skorpen, var fødd og oppvaksen på Skorpa og busette seg der. I 1902 døydde kona hans. Dei var barnlause. Året etter gifta han seg med Anna Frilund frå Vanylven. Ikkje lenge etter flytta dei frå Skorpa og slo seg ned på Torvholmen. Petter tok då etternamnet Torvholm. Av dei elleve barna dei fekk, var det sju som nådde vaksen alder. To av brørne til Erling døydde av hjernehinnebetennelse. Johannes, som var eit par år eldre enn Erling, vart berre tolv år. Petter, fire år eldre enn Erling, døydde då han var seksten. Erling fekk allereie i barndomen oppleve at «sorgen og gleden de vandrer til hope».

I 1923 kom Albert Tronstad til Herøy som nyutdanna lærar og vart same året lærar på Flåvær og Skorpa. Dette var før dei fekk eige skulehus på Flåvær. Tronstad skula i den gamle borgstova dei seks fyrste åra han var på Flåvær. Det hende nokså ofte at undervisninga vart uroa av fiskarar som kom for å bøte garn og gjere anna arbeid. Erling Torvholm hadde mykje godt å seie om læraren sin. – Tronstad var idealet vårt. Han lærte oss både å turne og bokse. Den nye læraren var heilt annleis enn dei vi hadde hatt før. Tronstad slo aldri peikestokken ned i pulten og brølte, slik dei andre lærarane hadde gjort. Han var det eg vil kalle ein moderne lærar, og derfor gledde vi oss til kvar einaste skuledag. Vi måtte framleis stå i skammekroken når vi hadde gjort noko gale. Men her innførte han noko heilt nytt som vi Flåvær-elevane såg på som eit stort framsteg: Vi slapp å stå på hovudet medan vi stod der.

Erling hadde lyst til å gå på skule og utdanne seg til lærar. – Då eg nemnde dette til far, syntest han ikkje noko særleg om planane mine. Likevel gav eg ikkje opp tanken, fortalde Erling. Men så skjedde noko svært tragisk som snudde opp ned på mykje i livet til Erling og dei andre i familien. Ein augustdag i 1928 kollsigla og drukna far til Erling, ved Flåvær. Om bord i færingen var også sonen Torleiv på fjorten. Anfinn, eldste broren til Torleiv, som då var ein tur heime frå sjøs, syntest det gjekk så lenge før dei to kom attende til Torvholmen. Då han såg kva som hadde skjedd, løyste han ein færing og fossrodde mot eit skjer som faren hadde klart å få Torleiv opp på. Faren berga dermed livet til sonen, men så tok kreftene slutt. Anfinn fann faren livlaus i fjøra …

– Då Anfinn kom berande med far, stod eg saman med mor og venta redd og spent, fortalde Erling. – Eg forstod med det same at far var død. Eg sa det til mor og såg kor fortvila ho vart. Torleiv var svært medteken, og vi var redde for at han ikkje kom til å overleve, men det gjekk heldigvis bra. No sat mor att på ein kringflødd holme med ansvaret for fem barn i alderen frå to til fjorten år. Det var gjennom si sterke gudstru at ho fekk kraft og styrke til å kome seg vidare. Etter det som no hadde hendt, bestemte Anfinn seg for ikkje å reise til sjøs igjen. – Med fem yngre sysken som ikkje hadde nådd konfirmasjonsalderen, hadde eg ikkje problem med å forstå kva eg no burde bruke tid og krefter på, fortalde Anfinn Skorpen på sine gamle dagar.

I fleire generasjonar hadde det vore slik at dei som eigde Flåværet, var høgt på strå. Dei hadde pengar og makt. Både den store og staselege hovudbygninga og sjøbuda og dei andre bygningane som høyrde til eigedomen på Flåværet, vitna om dette. – Vi barna oppdaga fort at det endåtil på vesle Flåvær var stor skilnad på fattig og rik, mintest Erling. Dei rike var den familien som budde på Flåværet og dreiv handel der. Då Erling gjekk på skule, blanda ungane til dei rike seg ikkje med dei andre ungane på Flåvær-holmane. Den rike familien tilsette ei guvernante som skulle undervise og oppdra barna heime.

Erling hadde nettopp fylt 21 år då han fyrste gongen møtte henne som vart kona hans: Aslaug Sporstøl frå Dragsund. – Eg var på jonsokfeiring i Myrvågane. I trøyelomma mi hadde eg eit par sjokoladar, og like før dei skulle tenne bålet, kom ei fin jente bort til meg og «stal» eine sjokoladen. Det var ho Aslaug. Med det same dei tende jonsokbålet, vart også to hjerte tende. Det gjekk ikkje lenge før vi lova kvarandre å halde i lag. Fem år etter at vi møttest, gifta vi oss. Vi måtte vente så lenge fordi vi hadde så dårleg råd. Vi vart vigde på prestekontoret i Ålesund. Så reiste vi heim til Torvholmen, der mor mi serverte oss rømmegraut. Det var bryllaupet vårt. Noko meir hadde vi ikkje råd til. Men vi var lukkelege, og det var det viktigaste, fortalde Erling Torvholm.