Почему обход массива по строкам происходит быстрее чем по столбцам?

На самом деле не всегда. Только в тех системах программирования, где элементы двухмерного массива хранятся построчно. Некоторое ускорение выборки данных связано с тем, что при этом проще вычисляется номер элемента в одномерной последовательности элементов, интерпретируемой системой программирвания как двухмерный массив.
Если же элементы двухмерного массива хранятся по столбцам, то и обходить его быстрее по столбцам.