Решите уравнение 2 log(3)^2*(2cos x)-5 log(3)*(2cos x)+2=0

Во-первых, знак * между логарифмом и косинусом - неправильный.
Это не произведение логарифма на косинус, а функция логарифма от косинуса. Поэтому пишется просто в скобках:
Делаем замену:
2y^2 - 5y + 2 = 0
(y - 2)(2y - 1) = 0

2cos x = 3^2 = 9
cos x = 4,5 - решений нет.

2cos x = 3^(1/2) = 1/9
cos x = 1/18
x = +-arccos(1/18) + 2pi*k