Cette expression signifie de nos jours, promptement, sur le coup, séchement.
Le pourpoint est une sorte de veste que portaient les hommes entre le XIII° et le XVII° siècles. À cette époque, lorsque l’on tirait au pistolet à bout portant sur une personne, on lui brûlait le pourpoint.
L’expression fait référence à une action d’une grande promptitude, aussi rapide que la vitesse d’une balle de pistolet à brûler un pourpoint !