приехать из Москвы, из Украины, с Кавказа, из Крыма, из Сибири

Правильно: приехать из Москвы, из Украины, с Кавказа, из Крыма, из Сибири.

Здесь нет одного простого правила, которое бы всегда работало только по географии. В русском языке сочетание предлога с названием места часто закрепляется традицией и нормой.

Из Москвы — потому что это город, и для городов обычно используется из: из Москвы, из Петербурга, из Казани.

Из Украины — потому что с названиями государств тоже обычно употребляется из: из России, из Франции, из Украины.

С Кавказа — потому что для горных районов и крупных территорий, которые воспринимаются как «поверхность», норма часто требует с: с Кавказа, с Алтая, с Урала.

Из Крыма — так правильно по литературной норме. Хотя Крым — полуостров, в русском языке здесь закрепилось из, а не с.

Из Сибири — потому что Сибирь — это большая территория, регион, и с такими названиями обычно тоже говорят из: из Сибири, из Поволжья, из Подмосковья.

Итог: эти формы нужно просто запоминать как нормативные сочетания: из Москвы, из Украины, с Кавказа, из Крыма, из Сибири.