情報理論

瞬時復号可能な符号を作成する手法である「シャノン・ファノ符号化」の手順を例題や練習問題を踏まえながら説明しています。...

今回は情報理論の中でも、実際に瞬時復号可能 & 瞬時復号可能の中でも平均符号長さが最小となる符号を作成するハフマン符号化についてみていきます。...

皆さんはパソコンやスマホなどのコンピュータ上で何事もなく、「日本語」や「アルファベット」などの文字を使ってやり取りしていますね。 しかし、コンピュータ上では0, 1の2進数のみで情報を記録されているのでしたね。言い換えると、「日本語」や「アルファベット」などの情報はそのままコンピュータ上で保存されているわけではなく、2...

こんにちは、ももやまです！ 今回は情報理論で習う「情報量」について簡単にまとめてみたいと思います！     情報量、エントロピーの理解には「確率」に関する知識が必須です。 確率についてあまりよく分かってない、苦手だなと思う人のために確率の要点をまとめた記事を下に用意したので、ぜひご覧ください。 www.momoyama...