Можете сказать как это решить лёгким , может формулы и тд, а не подстановкой​

Здесь вряд ли формулы подстановки - самый легкий.

Можно решить второе уравнение относительно y

2x - y = 7

-y = 7 - 2x

y = -7 + 2x

Подставляем: 2x^2-3x(-7+2x)+(-7+2x)^2=21

Раскрываем скобки по формуле (a-b)^2=a^2-2ab+b^2

2x^2+21x-6x^2+4x^2-28x+49=21

Приводим подобные: -7x+49=21

Переносим: -7x=-28

x=4

Подставляем значение x в выведенный нами y

y = -7+2*4 = -7+8 = 1

(x,y)=(4,1)

xy=4*1=4

ответ: D

ответ: 4

Замечание: x=4  получился вычитанием из второго уравнения первого уравнения.