正規部分群

(a)
$H$ の単位元は $G$ の単位元と同じく恒等置換 $e$ であり、$e \in H$ を満たす。
また、$H$ の元は、$S_{n – 1}$ の元から $S_n$ の元を、$1$ から $n – 1$ までは、$S_{n – 1}$ の元によって置換を決定し、$n$ については、$n$ のままであるものに等しい。
$H$ の任意の元 $h \in H$ に対して、その逆元 $h^{-1}$ は、$S_{n – 1}$ の逆元に $n$ を変えない置換に等しいので、やはり、$h^{-1} \in H$ となる。
また、任意の $h_1, h_2 \in H$ に対して、$h_1 \circ h_2 \in H$ となることも自明である。
従って、$H$ は $G$ の部分群となっている。

ここで、例えば、$h = (1\ 2) \in H$ とし、$g = (1\ n) \in G$ を考える。
$g^{-1} = g = (1\ n)$ に注意すれば
\begin{align}
g \circ h \circ g^{-1} &= g \circ h \circ g \\
&= (1\ n) \circ (1\ 2) \circ (1\ n) \\
&=
\begin{pmatrix}
1\ 2\ \cdots\ n \\
1\ n\ \cdots\ 2 \\
\end{pmatrix}
\end{align}
となり、これは、$H$ に属さない。
ここで、$n \ge 3$ であることを用いた。
従って、$H$ は $G$ の正規部分群ではない。

(b)
簡単のために $n = 2$ の場合を考えよう。
任意の $H$ の元 $h \in H$ は $a_{11} a_{22} \neq 0$ として
\begin{align}
h &=
\begin{pmatrix}
a_{11} & a_{12} \\
0 & a_{22} \\
\end{pmatrix}
\end{align}
と書ける。この逆行列は
\begin{align}
h^{-1} &= \frac{1}{a_{11} a_{22}}
\begin{pmatrix}
a_{22} & – a_{12} \\
0 & a_{11} \\
\end{pmatrix}
\end{align}
となり、$h^{-1} \in H$ となる。
また、明らかに、単位元は2行2列の単位行列 $E_2$ であり、$E_2 \in H$ である。
さらに、上半三角行列同士の積は、やはり上半三角行列となり、その行列式は各々の行列の行列式の積となるので、やはり $H$ に含まれる。
従って、$n = 2$ のとき、$H$ は $G$ の部分群であることが分かる。

一方で
\begin{align}
h &=
\begin{pmatrix}
1 & 1 \\
0 & 1 \\
\end{pmatrix} \in H \\
g &=
\begin{pmatrix}
1 & 0 \\
1 & 1 \\
\end{pmatrix} \in G
\end{align}
を考えると、
\begin{align}
g^{-1} &=
\begin{pmatrix}
1 & 0 \\
-1 & 1 \\
\end{pmatrix}
\end{align}
に注意して
\begin{align}
g \circ h \circ g^{-1} &=
\begin{pmatrix}
0 & 1 \\
– 1 & 2 \\
\end{pmatrix}
\end{align}
となり、これは $H$ に含まれない。
従って、$n = 2$ のとき、$H$ は $G$ の正規部分群ではない。

一般の $n$ については、上半三角行列の逆行列はやはり上半三角行列であり、
上半三角行列の積は上半三角行列であることから、$H$ は $G$ の部分群であることが分かる。

また、$h \in H$ として、対角成分が全て1であり、$(1,n)$ 成分も1であり、その他の成分は全て0である行列を考えて、
$g \in G$ として、$g = h$ を取ることにより、$g \circ h \circ g^{-1}$ を計算すれば、上半三角行列とならないことから、$H$ は $G$ の正規部分群ではないことが分かる。