最优化理论在信息论中的应用_(9)

最优化课程的具体应用,结合具体的专业。

，得到最优解 k，更新x(k)为K-T点，目标函数的最优值为0.否则求解一维搜索问题（13）

k, x(k)的值，并返回步骤（2）继续迭代。

4.1.2 实验结果及分析：

在matlab中编写程序并运行，可得到如下的实验结果：

x0 =

0.500000027157568

0.499999972842432

f_val =

k =

2

x0即为最优解，目标函数的最优值为f_val，k表示迭代的次数。因此这个结果表示经过-0.999999999999998 两次迭代目标函数取得最优值f_val =-0.999999999999998，此时x的最优解为

x1=0.500000027157568，x2=0.499999972842432。理论上最大熵问题的最优解应该是

x1=x2=0.5，目标函数值为f_val=-1，理论与编程结果对比后可以发现Zoutendijk可行方向法求得的结果非常接近实际结果。

这个结果是符合实际情况的，熵表示信源的平均信息量，是对事件不确定性的度量，事件的不确定度越大，熵越大，而当一个事件所有可能的消息发生概率相同时，事件的不确定性是最大的。对应于离散二进制信源就是当消息0和1发生的概率相同时熵具有最大值，此时0和1发生的概率应该为0.5，熵的最大值为目标函数值的相反数，即为1。这表明了对于1位的二进制数，它所能携带的最大的信息量是1bit。所以使用Zoutendijk可行方向法求得的最优化问题结果完全符合信息论里的结论。

4.2 利用Zoutendijk可行方向法求解信道容量

4.1.1 算法设计

信道容量问题是前面公式（9）所述的优化问题，类似于求最大熵时的处理，同样用x1来代替p(x1)，x2来代替p(x2)，同时将不等式约束化为小于等于的标准形式，则目标函数和约束条件变为：