Coordenadas na reta.

Consideram-se os vetores a = (1, m, 5) e b = (-6m , m, 1). Determine m de modo que o ângulo (a,b) seja, respectivamente, reto, agudo e obtuso e as expressões cartesianas de a e b quando seu produto escalar for mínimo.

Vamos ver qual será o produto escalar... Lembrando que um produto escalar igual a zero denota que os vetores são perpendiculares.
a . b = (1, m, 5) . (- 6m, m, 1) = - 6m + m² + 5 = m² - 6m + 5
Vamos primeiro ver quais as expressões cartesianas de a e b quando seu produto escalar for mínimo. Essa expressão tem um valor mínimo e ele acontecerá quando o valor de m for...
m_mínimo = - (- 6) / 2 = 3
Então os vetores a e b medirão (1, 3, 5) e (- 18, 3, 1) respectivamente.

Agora, para esses vetores serem perpendiculares, aquela expressão deve dar zero. Se a expressão tiver sinal positivo, é porque o ângulo entre os vetores é agudo e se tiver sinal negativo é porque o ângulo é obtuso.
m² - 6m + 5 = 0
∆ = 36 - 20 = 16
m = 6 + 4 / 2 = 10 / 2 = 5 ou m = 6 - 4 / 2 = 2 / 2 = 1
Reto: m = 5 ou m = 1
Agudo: m < 1 ou m > 5
Obtuso: 1 < m < 5

Espero ter ajudado. ^_^