Как определить степень окисления элемента? если в сумме степень окисления равна нулю, то почему тогда в соединении nh3 азот имеет степень окисления -3, а три атома водорода +1?

Ну все верно.У водорода степень окисления практически всегда равна +1.
+1 умножаем на число атомов водорода в соединении,в данном случае это 3.Получаем +3.Молекула всегда электро нейтральная.Находим степень окисления азота
Она будет равна -3.Сложим два числа -3+3=0