Запись числа 334 в некоторой системе счисления выглядит так: 1а8(n) найдите основание системы счисления n

Может вы ошиблись?  Не 334, а 344?.
Тогда получаем х^2+10х+8-344=0
находим корни уравнения: это 14 и -24. система счисления не может быть числом отрицательны. Значит остается  - 14. Это основание СС