Стороны треугольника соответственно равны 3: 5 и 6. найдите косинус угла лежащего против стороны, равной 5

Соотношение сторон в произвольном треугольнике.

это теорема косинусов.
В общем случае ( для произвольного треугольника ) имеем:

c 2 = a 2 + b 2 – 2ab · cos C,

где C – угол между сторонами a и b .