Johnson werd geboren in de kleine nederzetting Bogansville, vlakbij de steden Union en Jonesville in South Carolina. Zijn oudere broer, Roosevelt, leerde Johnson de beginselen van het gitaarspel, en hij werd verder geïnstrueerd door zijn neef Thelmon Johnson. Zijn stijl van spelen, was die in de stijl van de Piedmontblues. Zijn bijnaam Rufe, die hij in zijn jeugd al kreeg stond voor Rooster (haantje). In 1933 leerde hij zichzelf ook pianospelen, en speelde in de lokale kerk.In 1952 stapte hij over van boerderijwerk naar een baan in het ziekenhuis, terwijl hij naast zijn kerkelijk werk ook meer wereldlijk materiaal ging spelen. Tijdens de jaren 1970 werd hij ontdekt door Pete Lowry, speelde hij meerdere albums in en trad hij op met zijn jeugdvriend 'Peg Leg Sam' Jackson, met Willie Moore en Guitar Shorty.Hij vond eindelijk een groter publiek met zijn album The Union County Flash, zijn roem was echter van korte duur, want hij stierf binnen een jaar na de albumrelease aan nierfalen.
- 1972: Union County Flash (Trix Records)
- 1973: Carolina Country Blues (Trix Records)
- 1972: Peg Leg Sam: Medicine Show Man (Trix Records)
- Andrew M. Cohen The Hands of Blues Guitarists American Music 14 (1996): 455–479
| Bronnen, noten en/of referenties |
Verenigde Staten