Какое правило при написании окончаний в словах "в ладони" - "в ладошке"?

В обоих вариантах — «в ладони» и «в ладошке» — действует одно и то же общее правило: окончание выбирают по склонению существительного и по падежу, который требует предлог.

1) Почему «в ладонИ»

Слово «ладонь» — существительное 3-го склонения (женский род, на мягкий знак: ладонь, тетрадь, ночь).

Предлог «в» в значении места (где?) требует предложного падежа:

• в чём? — в ладони

У существительных 3-го склонения в предложном падеже единственного числа обычно окончание -и:

• в тетради

• в ночи

• в ладони

Отсюда: в ладони — это нормальная форма предложного падежа для 3-го склонения.

2) Почему «в ладошкЕ»

Слово «ладошка» — существительное 1-го склонения (женский род, окончание -а/-я: ладошка, рука, чашка).

Тот же предлог «в» (где?) → предложный падеж:

• в чём? — в ладошке

У существительных 1-го склонения в предложном падеже единственного числа обычно окончание -е:

• в руке

• в чашке

• в ладошке

Отсюда: в ладошке — это нормальная форма предложного падежа для 1-го склонения.

3) Что тут важно не перепутать

Это не «разные правила для -и и -е», а разные склонения:

• ладонь (3-е склонение) → в ладони

• ладошка (1-е склонение) → в ладошке

Оба выражения грамматически правильны; разница между ними — стилистическая: «ладонь» нейтральнее, «ладошка» разговорнее/уменьшительно-ласкательное.