Как называют большие группы людей, проживающих на определённой территории (в государстве), говорящих на одном языке, имеющих общие традиции и обычаи?

Это нации (иначе — народы).
В социально-историческом смысле нация — это крупная общность людей, которая сложилась на основе общности территории и хозяйственных связей, общего языка, культуры, традиций и обычаев, а также осознания своей принадлежности к этой общности. Термин подчёркивает именно государственно-территориальную и культурно-языковую общность.

Для ориентира:

• Этнос — более широкий культурно-исторический термин (общность происхождения, культуры, языка), не обязательно связан с единой государственной территорией.

• Народность — ступень исторического развития между этносом и нацией.

По формулировке вопроса (единая территория государства, один язык, общие традиции) наибольше подходит именно понятие «нация».