Vid 20 års ålder dömdes Hjert till ett sex månaders fängelse för "första resan stöld". Efter frigivningen ville Hjert ta värvning. Genom att förfalska ett prästbetyg blev han antagen till Svea artilleriregemente. Hjert hade svårt att ta order och följa militär disciplin. Han började åter att stjäla och fick sparken från regementet och tillika åtta månaders straffarbete på Långholmens centralfängelse 1865.

I september 1867 dömdes han för "andra resan stöld" till fem års straffarbete på Långholmen för förfalskning och inbrott. Han skulle ha blivit frigiven 1872, men efter flera rymningsförsök senarelades frigivningen till februari 1874. Under sin tid på Långholmen blev Hjert bekant med Konrad Tector. De planerade under sin tid på Långholmen att råna en postdiligens för att komma över en stor summa pengar så att de sedan kunde emigrera till Amerika. De kom överens om att råna postdiligensen som gick mellan Sparreholm och Eskilstuna när de blev frigivna.

Natten till den 1 augusti 1874 väntade de båda på vagnen. För att tvinga diligensen att stanna hade de stängt en grind. Vagnen kom och kusken, Johan August Larsson, hoppade av för att öppna grinden. Hjert dödade då honom med ett skott. Civilingenjör Herman Upmark som satt i vagnen blev skjuten och dog senare på dagen. Rånarna upptäckte att det var fel vagn de hade stoppat. Vagnen de hade tänkt råna kom strax efter och körde fort därifrån när de såg vad som hade hänt. Tektor och Hjert flydde in i skogen och gav sedan upp försöket att vara postrånare.Avrättningen av Gustav Adolf Eriksson Hjert i Villåttinge, Södermanland 1876. 

Istället försökte de plundra banker utan resultat. Tector föreslog att de skulle åka till Gotland, där hade han varit förut. Han visste om att det fanns flera bra ställen där de kunde stjäla. De reste till Kalmar och därifrån åkte de ångbåt till Visby. När de hade kommit till Gotland startade de en stöldturné. På tretton dagar utförde de 18 inbrott på bondgårdar och i kyrkor. För att ta sig tillbaka till fastlandet stal de en båt i Visby och seglade till Östergötlands skärgård. Planen var att ta sig till Stockholm och därifrån till Göteborg och USA. Polisen var dem dock på spåret och Hjert greps på Liljeholmens järnvägsstation den 5 september 1874, på sin 30-årsdag, och Tector greps på Södertälje station på samma dag.

Tillsammans med sin kumpan Konrad Petterson Lundqvist Tector dömdes han till döden i september 1875 och den 17 mars 1876 fastställdes dödsdomen på de båda av högsta domstolen. De båda sökte sedan nåd hos kung Oscar II, men nådansökan avslogs. Hjert avrättades på Villåttinge härads avrättningsplats på Lidamon i Lilla Malma socken, nordväst om Malmköping i Södermanland den 18 maj kl 7 år 1876 av skarprättaren Johan Fredrik Hjort.

Uppemot 200 bönder från trakten hade kommenderats ut för att stå i så kallad spetsgård. Det visade sig att omkring 3 000 personer hade samlats till platsen för att beskåda avrättningen av Hjert.

[mm] Edit Gunhild Svensson - 1912-1968 > 
[mmf] Per August Svensson - 1861-1939 >
[mmfm] Marta Lisa Danielsdotter - 1825-1897 >
[mmfmm] Maria Hemmingsdotter - 1797-1837 > hennes syster var
Brita Lisa Hemmingsdotter - 1805-1869 hennes son var
Gustaf Adolf Eriksson Hjert - 1844-1876