Решение 

Разложим квадратный трёхчлен в левой части неравенства на множители: 

`+`(`*`(`^`(x, 2)), `*`(`+`(`*`(4, `*`(a)), 5), `*`(x)), `*`(3, `*`(`^`(a, 2))), `*`(5, `*`(a))) = 0 

`and`(D = `+`(`*`(`^`(`+`(`*`(4, `*`(a)), 5), 2)), `-`(`*`(4, `+`(`*`(3, `*`(`^`(a, 2))), `*`(5, `*`(a)))))), `and`(`+`(`*`(`^`(`+`(`*`(4, `*`(a)), 5), 2)), `-`(`*`(4, `+`(`*`(3, `*`(`^`(a, 2))), `*`(... 

x = `+`(`*`(`/`(1, 2), `*`(`+`(`+`(`-`(`*`(4, `*`(a))), `-`(5)), `&+-`(`+`(`*`(2, `*`(a)), 5)))))) 

 

iff(`<`(`+`(`*`(`^`(x, 2)), `*`(`+`(`*`(4, `*`(a)), 5), `*`(x)), `*`(3, `*`(`^`(a, 2))), `*`(5, `*`(a))), 0), `<`(`*`(`+`(x, `*`(3, `*`(a)), 5), `*`(`+`(x, a))), 0)) 

Это неравенство задаёт пару вертикальных углов в плоскости aOx: 

Уравнение задаёт окружность с центром (0;0) радиуса 5 (см.рис.)
Image
Решение системы - точки дуг окружности, лежащие в вертикальных углах. 

Абсциссы концов этих дуг находим из систем 

и    

Координаты точек пересечения окружности с прямой `+`(x, `*`(3, `*`(a)), 5) = 0: 

 

Координаты точек пересечения окружности с прямой `+`(x, a) = 0: 

 

Точки окружности лежат в заштрихованной области при 

`and`(`<`(`+`(`-`(`*`(`+`(`*`(5, `*`(sqrt(2)))), `/`(1, 2)))), a), `<`(a, -3)) и  `and`(`<`(0, a), `<`(a, `*`(`+`(`*`(5, `*`(sqrt(2)))), `/`(1, 2)))) 

> expand(`+`(`*`(`^`(`+`(`*`(4, `*`(a)), 5), 2)), `-`(`*`(4, `+`(`*`(3, `*`(`^`(a, 2))), `*`(5, `*`(a))))))); 1; factor(`+`(`*`(`^`(`+`(`*`(4, `*`(a)), 5), 2)), `-`(`*`(4, `+`(`*`(3, `*`(`^`(a, 2))), `*...
expand(`+`(`*`(`^`(`+`(`*`(4, `*`(a)), 5), 2)), `-`(`*`(4, `+`(`*`(3, `*`(`^`(a, 2))), `*`(5, `*`(a))))))); 1; factor(`+`(`*`(`^`(`+`(`*`(4, `*`(a)), 5), 2)), `-`(`*`(4, `+`(`*`(3, `*`(`^`(a, 2))), `*...
expand(`+`(`*`(`^`(`+`(`*`(4, `*`(a)), 5), 2)), `-`(`*`(4, `+`(`*`(3, `*`(`^`(a, 2))), `*`(5, `*`(a))))))); 1; factor(`+`(`*`(`^`(`+`(`*`(4, `*`(a)), 5), 2)), `-`(`*`(4, `+`(`*`(3, `*`(`^`(a, 2))), `*...
expand(`+`(`*`(`^`(`+`(`*`(4, `*`(a)), 5), 2)), `-`(`*`(4, `+`(`*`(3, `*`(`^`(a, 2))), `*`(5, `*`(a))))))); 1; factor(`+`(`*`(`^`(`+`(`*`(4, `*`(a)), 5), 2)), `-`(`*`(4, `+`(`*`(3, `*`(`^`(a, 2))), `*...
expand(`+`(`*`(`^`(`+`(`*`(4, `*`(a)), 5), 2)), `-`(`*`(4, `+`(`*`(3, `*`(`^`(a, 2))), `*`(5, `*`(a))))))); 1; factor(`+`(`*`(`^`(`+`(`*`(4, `*`(a)), 5), 2)), `-`(`*`(4, `+`(`*`(3, `*`(`^`(a, 2))), `*...
expand(`+`(`*`(`^`(`+`(`*`(4, `*`(a)), 5), 2)), `-`(`*`(4, `+`(`*`(3, `*`(`^`(a, 2))), `*`(5, `*`(a))))))); 1; factor(`+`(`*`(`^`(`+`(`*`(4, `*`(a)), 5), 2)), `-`(`*`(4, `+`(`*`(3, `*`(`^`(a, 2))), `*...
expand(`+`(`*`(`^`(`+`(`*`(4, `*`(a)), 5), 2)), `-`(`*`(4, `+`(`*`(3, `*`(`^`(a, 2))), `*`(5, `*`(a))))))); 1; factor(`+`(`*`(`^`(`+`(`*`(4, `*`(a)), 5), 2)), `-`(`*`(4, `+`(`*`(3, `*`(`^`(a, 2))), `*...
 

Критериальное решение. 

Image 

Image 

Image