Даны векторы a={2; -1; 1} и b={2; -3; 6} найти вектор единичной длины, перпендикулярный этим двум векторам.

В общем по-быстрому у меня получилось так.

Ищем вектор g c координатами (x, y, z).
Скалярное произведение перпендикулярных векторов равно 0. следовательно можно записать два уравнения:
  [1]

3-е уравнение составляем исходя из того, что модуль вектора g равен 0.

[2]
Решаем систему. 
[3]
Из 1-го и 2-го уравнений системы [3] можно выразить x через z и y через z.

Подставим это в 3-е уравнение [3]

Далее находим x, y

Соответственно искомый вектор g имеет координаты