Через точку р(5; -7) провести касательную к параболе у^2=8х

Точка касания принадлежит как прямой так и параболе
поэтому надо решить систему с двумя неизвестными
y=kx+b
y=ax^2+bx+c
Но у Вас не верно написано уравнение параболы 
y^2=8x y=(8x)^1/2 а это уравнение гиперболы