Andersson tilhørte i mange år den innerste kretsen i det sosialdemokratiske partiet i Sverige. I 20 år, fram til 1982, var han partiets sekretær, før han ble utnevnt til sosialminister i Olof Palmes regjering. Da Palme ble drept i 1985, ble Andersson utnevnt til utenriksminister, en jobb han beholdt i seks år.

Som utenriksminister tok han blant annet initiativ til å få i stand en dialog mellom Israel og palestinske PLO..