Network In Network 是13年的一篇paper
引用:Lin M, Chen Q, Yan S. Network in network[J]. arXiv preprint arXiv:1312.4400, 2013.
文章的新點:
1. 採用 mlpcon 的結構來代替 traditional 卷積層;
1.信息量與信息熵
香農在他著名的論文”通信的數學原理“(A Mathematic Theory of Communication)中提出了”信息熵“的概念,解決了信息的度量問題,並且量化出信息的作用。
一條信息的信息量與其不確定性有着直接的關係。比如説,我們要搞清楚一件非常非常不確定的事,或是我們一無所知的事情,就需要了解大量的信息。相反,