Hold Alt while typing Alt codes on your numeric keypad :

Umlaute

Ä : 0196
Ö : 0214
Ü : 0220

ä : 0228
ö : 0246
ü : 0252

Scharfes s

ß : 0223