正規部分群

(a)
$H$ の単位元は $G$ の単位元と同じく恒等置換 $e$ であり、$e\in H$ を満たす。
また、$H$ の元は、$S_{n–1}$ の元から $S_n$ の元を、$1$ から $n–1$ までは、$S_{n–1}$ の元によって置換を決定し、$n$ については、$n$ のままであるものに等しい。
$H$ の任意の元 $h\in H$ に対して、その逆元 $h^{-1}$ は、$S_{n–1}$ の逆元に $n$ を変えない置換に等しいので、やはり、$h^{-1}\in H$ となる。
また、任意の $h_1,h_2\in H$ に対して、$h_1\circ h_2\in H$ となることも自明である。
従って、$H$ は $G$ の部分群となっている。

ここで、例えば、$h=(12)\in H$ とし、$g=(1n)\in G$ を考える。
$g^{-1}=g=(1n)$ に注意すれば
$$\begin{array}{rl}g\circ h\circ g^{-1}& =g\circ h\circ g\\ & =(1n)\circ (12)\circ (1n)\\ & =\left(\begin{array}{c}12\cdots n\\ 1n\cdots 2\end{array}\right)\end{array}$$
となり、これは、$H$ に属さない。
ここで、$n\ge 3$ であることを用いた。
従って、$H$ は $G$ の正規部分群ではない。

(b)
簡単のために $n=2$ の場合を考えよう。
任意の $H$ の元 $h\in H$ は $a_{11}{a}_{22}\ne 0$ として
$$\begin{array}{rl}h& =\left(\begin{array}{cc}{a}_{11}& a_{12}\\ 0& a_{22}\end{array}\right)\end{array}$$
と書ける。この逆行列は
$$\begin{array}{rl}{h}^{-1}& =\frac{1}{a_{11}{a}_{22}}\left(\begin{array}{cc}{a}_{22}& –a_{12}\\ 0& a_{11}\end{array}\right)\end{array}$$
となり、$h^{-1}\in H$ となる。
また、明らかに、単位元は2行2列の単位行列 $E_2$ であり、$E_2\in H$ である。
さらに、上半三角行列同士の積は、やはり上半三角行列となり、その行列式は各々の行列の行列式の積となるので、やはり $H$ に含まれる。
従って、$n=2$ のとき、$H$ は $G$ の部分群であることが分かる。

一方で
$$\begin{array}{rl}h& =\left(\begin{array}{cc}1& 1\\ 0& 1\end{array}\right)\in H\\ g& =\left(\begin{array}{cc}1& 0\\ 1& 1\end{array}\right)\in G\end{array}$$
を考えると、
$$\begin{array}{rl}{g}^{-1}& =\left(\begin{array}{cc}1& 0\\ -1& 1\end{array}\right)\end{array}$$
に注意して
$$\begin{array}{rl}g\circ h\circ g^{-1}& =\left(\begin{array}{cc}0& 1\\ –1& 2\end{array}\right)\end{array}$$
となり、これは $H$ に含まれない。
従って、$n=2$ のとき、$H$ は $G$ の正規部分群ではない。

一般の $n$ については、上半三角行列の逆行列はやはり上半三角行列であり、
上半三角行列の積は上半三角行列であることから、$H$ は $G$ の部分群であることが分かる。

また、$h\in H$ として、対角成分が全て1であり、$(1,n)$ 成分も1であり、その他の成分は全て0である行列を考えて、
$g\in G$ として、$g=h$ を取ることにより、$g\circ h\circ g^{-1}$ を計算すれば、上半三角行列とならないことから、$H$ は $G$ の正規部分群ではないことが分かる。