При столкновении двух шаров они подействовали друг на друга с одинаковой силой, но один из них откатился дальше. масса какого шара больше и почему?

Больше масса того шара, который откатился на меньшее расстояние.

Тут работает принцип инертности тел. Это свойство тел сохранять свою скорость. Инертность прямо пропорциональна массе, т. е. чем больше масса, тем больше инертность. Так как один из шаров откатился на большее расстояние, то он сильнее изменил свою скорость, следовательно, его инертность, как и масса, меньше.