При каком условии система ax=b из 8 уравнений с 4 неизвестными несовместна, если rangа=4?

Система несовместна, когда ранг расширенной матрицы будет равняться 5. То есть к матрице А надо будет справа записать столбец свободных членов. Теперь ранг у этой матрицы должен быть равен 5, чтобы не было решения.