• (a)

  Si $m=-1$ alors

  $$𝒮=\{(y,y,-1)|y\in ℂ\}\text{.}$$

  Si $m\ne -1$ alors

  $$𝒮=\left\{(\frac{m+1}{2}\mathrm{,0},\frac{m-1}{2})\right\}\text{.}$$

• (b)

  On a

  $$\mathrm{rg}\left(\begin{array}{ccc}\hfill m\hfill & \hfill 1\hfill & \hfill 1\hfill \\ \hfill 1\hfill & \hfill m\hfill & \hfill 1\hfill \\ \hfill 1\hfill & \hfill 1\hfill & \hfill m\hfill \end{array}\right)=\{\begin{array}{cc}1\hfill & \text{ si }m=1\hfill \\ 2\hfill & \text{ si }m=-2\hfill \\ 3\hfill & \text{ sinon.}\hfill \end{array}$$

  Si $m\ne 1\text{ et }m\ne -2$ alors

  $$𝒮=\left\{(-\frac{1+m}{2+m},\frac{1}{2+m},\frac{{(1+m)}^2}{2+m})\right\}\text{.}$$

  Si $m=1$ alors

  $$𝒮=\{(x,y\mathrm{,1}-x-y)|x,y\in ℂ\}\text{.}$$

  Si $m=-2$ alors système incompatible

  $$𝒮=\mathrm{\varnothing }\text{.}$$

• (c)

  Si $m=1$: système incompatible

  $$𝒮=\mathrm{\varnothing }\text{.}$$

  Si $m\ne 1$,

  $$\{\begin{array}{ccccccccccccccccccccc}\hfill mx+y+z+t& =1\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill x+my+z+t& =m\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill x+y+mz+t& =m+1\hfill & & & & & & & & & & & & & & & & & & & \end{array}\iff \{\begin{array}{ccccccccccccccccccccc}\hfill x+y+mz+t& =m+1\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill (1-m)y+(m-1)z& =1\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill (m+2)z+t& =\frac{m(m+1)}{m-1}\hfill & & & & & & & & & & & & & & & & & & & \end{array}$$

  et donc

  $$S=\{(z-\frac{m}{m-1},y=z-\frac{1}{m-1},z,\frac{m(m+1)}{m-1}-(m+2)z)|z\in ℂ\}\text{.}$$

Par les opérations élémentaires: $L_n\leftarrow L_n-L_{n-1},\mathrm{\dots },L_2\leftarrow L_2-L_1$ on obtient le système équivalent:

$$\{\begin{array}{ccccccccccccccccccccc}\hfill x_1+x_2+\mathrm{\cdots }+x_n& =1\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill x_2+\mathrm{\cdots }+x_n& =0\hfill & & & & & & & & & & & & & & & & & & & \\ & \mathrm{⋮}\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill x_{n-1}+x_n& =0\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill x_n& =0\text{.}\hfill & & & & & & & & & & & & & & & & & & & \end{array}$$

Donc

$$𝒮=\left\{(\mathrm{1,0},\mathrm{\dots }\mathrm{,0})\right\}\text{.}$$

$$\{\begin{array}{ccccccccccccccccccccc}\hfill ax+by+z& =1\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill x+aby+z& =b\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill x+by+az& =1\text{.}\hfill & & & & & & & & & & & & & & & & & & & \end{array}$$

$$\{\begin{array}{ccccccccccccccccccccc}\hfill x+by+az& =1\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill b(1-a)y+(1-a^2)z& =1-a\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill b(a-1)y+(1-a)z& =b-1\hfill & & & & & & & & & & & & & & & & & & & \end{array},\text{.}$$

$$\{\begin{array}{ccccccccccccccccccccc}\hfill x+by+az& =1\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill b(1-a)y+(1-a^2)z& =1-a\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill (1-a)(2+a)z& =b-a\text{.}\hfill & & & & & & & & & & & & & & & & & & & \end{array}$$

Cas: $a\ne 1$, $a\ne -2$ et $b\ne 0$.

$$x=\frac{a-b}{(a-1)(a+2)},y=\frac{ab-2+b}{(a-1)(a+2)b},z=\frac{a-b}{(a-1)(a+2)}\text{.}$$

Cas: $a\ne 1$, $a\ne -2$ et $b=0$. On doit avoir simultanément

$$(1-a^2)z=1-a\text{ et }(1-a)(2+a)z=-a$$

ce qui est incompatible: $𝒮=\mathrm{\varnothing }$.

Cas: $a=1$.

$$\{\begin{array}{ccccccccccccccccccccc}\hfill x+by+z& =1\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill 0& =0\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill 0& =b-1\text{.}\hfill & & & & & & & & & & & & & & & & & & & \end{array}$$

Si $b\ne 1$ alors $𝒮=\mathrm{\varnothing }$.

Si $b=1$ alors $𝒮:x+y+z=1$.

Cas: $a=-2$.

$$\{\begin{array}{ccccccccccccccccccccc}\hfill x+by-2z& =1\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill 3by-3z& =3\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill 0& =b+2\text{.}\hfill & & & & & & & & & & & & & & & & & & & \end{array}$$

Si $b\ne -2$ alors $𝒮=\mathrm{\varnothing }$.
Si $b=-2$ alors

$$\{\begin{array}{ccccccccccccccccccccc}\hfill x& =-1-2y\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill z& =-1-2y\text{.}\hfill & & & & & & & & & & & & & & & & & & & \end{array}$$

La matrice de ce système carré n’est pas inversible lorsque $a=1$ ou $a=-3$.

Cas: $a=1$. Le système est compatible si, et seulement si, $b=1$ et ses solutions sont les quadruplets $(x,y,z,t)$ vérifiant

$$x+y+z+t=1\text{.}$$

Cas: $a=-3$. En sommant les quatre équations, on obtient l’équation de compatibilité $0=1+b+b^2+b^3$.

Si $b\notin \{\mathrm{i},-1,-\mathrm{i}\}$ alors le système est incompatible.

Si $b\in \{\mathrm{i},-1,-\mathrm{i}\}$, on conduit la résolution

	$\{\begin{array}{ccccccccccccccccccccc}\hfill x-3y+z+t& =b\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill x+y-3z+t& =b^2\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill x+y+z-3t& =b^3\hfill & & & & & & & & & & & & & & & & & & & \end{array}$	$\iff \{\begin{array}{ccccccccccccccccccccc}\hfill x-3y+z+t& =b\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill 4y-4z& =b^2-b\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill 4y-4t& =b^3-b\hfill & & & & & & & & & & & & & & & & & & & \end{array}$
		$\iff \{\begin{array}{ccccccccccccccccccccc}\hfill x& =y+{\displaystyle \frac{1}{2}}b+{\displaystyle \frac{1}{4}}{b}^2+{\displaystyle \frac{1}{4}}{b}^3\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill z& =y+{\displaystyle \frac{1}{4}}(b-b^2)\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill t& =y+{\displaystyle \frac{1}{4}}(b-b^3)\hfill & & & & & & & & & & & & & & & & & & & \end{array}$

ce qui permet d’exprimer la droite des solutions.
Cas: $a\notin \{1,-3\}$. C’est un système de Cramer…

Sa solution est

	$x$	$={\displaystyle \frac{2+a-b-b^2-b^3}{2a-3+a^2}},$	$y={\displaystyle \frac{ab-1+2b-b^2-b^3}{2a-3+a^2}},$
	$z$	$={\displaystyle \frac{a{b}^2-1-b+2b^2-b^3}{2a-3+a^2}},$	$t={\displaystyle \frac{a{b}^3-1-b-b^2+2b^3}{2a-3+a^2}}\text{.}$

$$\{\begin{array}{ccccccccccccccccccccc}\hfill ax+2by+2z& =1\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill 2x+aby+2z& =b\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill 2x+2by+az& =1\hfill & & & & & & & & & & & & & & & & & & & \end{array}\iff \{\begin{array}{ccccccccccccccccccccc}\hfill 2x+2by+az& =1\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill b(a-2)y+(2-a)z& =b-1\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill (a-2)x+(2-a)z& =0\text{.}\hfill & & & & & & & & & & & & & & & & & & & \end{array}$$

Si $a=2$, on parvient au système

$$\{\begin{array}{ccccccccccccccccccccc}\hfill 2x+2by+2z& =1\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill 0& =b-1\text{.}\hfill & & & & & & & & & & & & & & & & & & & \end{array}$$

Dans le cas $b\ne 1$, le système est incompatible.
Dans le cas $b=1$, on parvient à l’équation $2x+2y+2z=1$.
Si $a\ne 2$, on parvient au système

$$\{\begin{array}{ccccccccccccccccccccc}\hfill 2x+2by+az& =1\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill by-z& =\frac{b-1}{a-2}\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill x-z& =0\hfill & & & & & & & & & & & & & & & & & & & \end{array}$$

puis

$$\{\begin{array}{ccccccccccccccccccccc}\hfill (a+4)z& =\frac{a-2b}{a-2}\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill by& =z+\frac{b-1}{a-2}\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill x& =z\text{.}\hfill & & & & & & & & & & & & & & & & & & & \end{array}$$

Dans le cas $a=-4$, le système n’est compatible que si $b=-2$ et l’on parvient au système

$$\{\begin{array}{ccccccccccccccccccccc}\hfill x& =z\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill -4y& =2z+1\text{.}\hfill & & & & & & & & & & & & & & & & & & & \end{array}$$

Dans le cas $b=0$, le système est incompatible.
Dans le cas général restant, on parvient à

$$x=z=\frac{a-2b}{(a-2)(a+4)},y=\frac{ab+2b-4}{b(a-2)(a+4)}\text{.}$$