Почему в слове "ключом" окончание -ом?

Потому что это творительный падеж единственного числа у мужского существительного 2-го склонения «ключ». Для таких слов в творительном падеже ставится окончание -ом. После шипящих ж, ч, ш, щ в этой форме в большинстве слов употребляется именно -ом: ножом, мячом, плащом, ключом. Есть отдельные лексические исключения с -ем (например, мужем, сторожем), но «ключ» к ним не относится, поэтому правильно ключом.