On peut supposer l’un des sommets être $(\mathrm{1,0})$ et les deux autres repérés par des angles $0<\alpha <\beta <2\pi$.
Cela nous amène à considérer

$$f:(\alpha ,\beta )\mapsto 2\left(\sin \left(\frac{\alpha }{2}\right)+\sin \left(\frac{\beta -\alpha }{2}\right)+\sin \left(\frac{\beta }{2}\right)\right)$$

sur l’ouvert

$$U=\{(\alpha ,\beta )\in {ℝ}^2|\mathrm{\hspace{0.25em}0}<\alpha <\beta <2\pi \}\text{.}$$

Le maximum, qui existe, est alors point critique de cette fonction de classe ${𝒞}^1$.
Cela nous amène à résoudre le système

$$\{\begin{array}{ccccccccccccccccccccc}\hfill \cos \left(\frac{\alpha }{2}\right)-\cos \left(\frac{\beta -\alpha }{2}\right)=0& & & & & & & & & & & & & & & & & & & & \\ \hfill \cos \left(\frac{\beta }{2}\right)+\cos \left(\frac{\beta -\alpha }{2}\right)=0\text{.}& & & & & & & & & & & & & & & & & & & & \end{array}$$

L’équation $\cos \left(\frac{\alpha }{2}\right)=\cos \left(\frac{\beta -\alpha }{2}\right)$ donne

$$\frac{\alpha }{2}=\frac{\beta -\alpha }{2}\left[2\pi \right]\text{ ou }\frac{\alpha }{2}=\frac{\alpha -\beta }{2}\left[2\pi \right]\text{.}$$

L’alternative $\frac{\alpha }{2}=\frac{\alpha -\beta }{2}\left[2\pi \right]$ est à exclure et il reste $\beta =2\alpha$ avec de plus $\alpha \in ]0;\pi [$.
L’équation $\cos \left(\frac{\beta }{2}\right)=-\cos \left(\frac{\beta -\alpha }{2}\right)$ donne alors $\cos (\alpha )=-\cos \left(\frac{\alpha }{2}\right)$ d’où $\alpha =\frac{2\pi }{3}$ puisque $\alpha \in ]0;\pi [$.

Finalement, le triangle correspondant est équilatéral.

Notons $A,B,C$ les points définissant notre triangle et $O$ le centre du cercle circonscrit.

En introduisant les mesures $\alpha ,\beta ,\gamma$ des angles $(\overrightarrow{OC},\overrightarrow{OB})$, $(\overrightarrow{OB},\overrightarrow{OA})$ et $(\overrightarrow{OA},\overrightarrow{OB})$, on vérifie

$$\alpha +\beta +\gamma =0\left[2\pi \right]$$

et on peut calculer l’aire algébrique des triangles $(OAB)$, $(OBC)$ et $(OCA)$ qui sont respectivement

$$\frac{1}{2}{r}^2\sin (\alpha ),\frac{1}{2}{r}^2\sin (\beta )\mathit{\hspace{1em}}\text{et}\mathit{\hspace{1em}}\frac{1}{2}{r}^2\sin (\gamma )=-\frac{1}{2}{r}^2\sin (\alpha +\beta )\text{.}$$

L’aire algébrique du triangle $(ABC)$ est alors

$$f(\alpha ,\beta )=\frac{1}{2}{r}^2\left(\sin (\alpha )+\sin (\beta )-\sin (\alpha +\beta )\right)\text{.}$$

L’étude des points critiques de cette fonction de classe ${𝒞}^1$ sur ${]0;2\pi [}^2$ conduit à résoudre le système

$$\{\begin{array}{ccccccccccccccccccccc}\hfill \cos (\alpha )=\cos (\alpha +\beta )& & & & & & & & & & & & & & & & & & & & \\ \hfill \cos (\beta )=\cos (\alpha +\beta )& & & & & & & & & & & & & & & & & & & & \end{array}$$

dont les seules solutions dans ${]0;2\pi [}^2$ sont

$$(\frac{2\pi }{3},\frac{2\pi }{3})\text{ et }(\frac{4\pi }{3},\frac{4\pi }{3})\text{.}$$

Ce sont les situations des triangles équilatéraux resp. direct et indirect.
L’extremum trouvé vaut

$$\frac{3\sqrt{3}{r}^2}{4}\text{.}$$

Quitte à échanger $M$ et $N$, on peut supposer le triangle direct et écrire

$$M(a\cos (u),b\sin (u))\mathit{\hspace{1em}}\text{et}\mathit{\hspace{1em}}N(a\cos (v),b\sin (v))$$

avec $0\le u\le v\le 2\pi$. L’aire du triangle $(SMN)$ est alors

$$\frac{1}{2}\left(\begin{array}{cc}\hfill a\cos (u)-a\hfill & \hfill a\cos (v)-a\hfill \\ \hfill b\sin (u)\hfill & \hfill b\sin (v)\hfill \end{array}\right)=\frac{ab}{2}\left(\sin (u)-\sin (v)+\sin (v-u)\right)\text{.}$$

Le problème revient alors à maximiser la fonction

$$f:(u,v)\mapsto \sin (u)-\sin (v)+\sin (v-u)$$

sur le compact $D=\{(u,v)|\mathrm{\hspace{0.25em}0}\le u\le v\le 2\pi \}$.

Puisque la fonction $f$ est continue sur $D$, ce maximum existe et puisqu’il n’est évidemment pas sur le bord de $D$ (qui correspond aux triangles plats), c’est un point critique de la fonction $f$.

On résout alors le système

$$\{\begin{array}{ccccccccccccccccccccc}\hfill \cos (u)-\cos (u-v)& =0\hfill & & & & & & & & & & & & & & & & & & & \\ \hfill -\cos (v)+\cos (u-v)& =0\hfill & & & & & & & & & & & & & & & & & & & \end{array}$$

qui entraîne $\cos (u)=\cos (v)$ donc $v=2\pi -u$. L’égalité $\cos (u)=\cos (2\pi -2u)$ donne alors $u=2\pi /3$ et $v=4\pi /3$.

Cela détermine les points $M$ et $N$ cherchés.