5sin^2 x + 3sin x*cos x - cos^2 x=3

5sin^2 x + 3sin x*cos x - cos^2 x=3

5sin^2 x + 3sin x*cos x - cos^2 x-3sin^2x-3cos^2x=0   

2sin^2x+3sinxcosx-4cos^2x=0     делим все на cos^2x

2tg^2x+3tgx-4=0

tgx=t

2t^2+3t-4=0

D=9+32=41

t=(-3+корень из 41)/4

возможно ты неправильно списала, так как решение правильное