基于Q学习的异构网络选择新算法(4)

１４６４

计算机应用第３１卷

率达不到，该会话将被阻塞。４．２仿真结果分析

本文用Ｍａｄａｂ对该算法过程进行仿真与分析。在仿真

过程中，每次会话到达都会触发Ｑ学习算法迭代，ＪＲＲＭ控制器共学习了２００００个仿真时刻，即进行了２００００次迭代，并且分了２０个相等的学习阶段分别进行统计。

表１仿真参数设置

图３是学习前后两种业务在两个网络的分布情况。可以很明显地看出，在仿真的初始阶段，两种业务在两个网络基本是平均分配的，这显然不是我们想要的结果，但是学习到最后，语音业务多数选择接入到ＨＳＤＰＡ而数据业务则多数选择接入到ＷｉＭａｘ，这正好与ＷｉＭａｘ网络适合于数据业务而ＨＳＤＰＡ网络适合于语音业务的属性相吻合，是我们想要达到的效果。

丑

众

ｌⅢ

鞲则襄

匿

分段统计次数

图３两种业务在两个网络的分布情况

图４是学习前后两种移动性用户在两个网络的分布情况。可以明显地看出在学习的初始阶段两个网络的两种用户数基本是平均分布，但是随着学习的进行，使得选择动作的最佳策略不断调整，最终移动终端用户尽量多地选择了ＨＳＤＰＡ而静止终端用户尽量选择了ＷｉＭａｘ，从而匹配了ＨＳＤＰＡ可以容纳移动终端的特性。

分段统计次数

图４两种移动性用户在两个网络的分布情况

图５是区分终端在网络所处位置与不区分的情况下，小区的会话阻塞率变化情况。很明显地看出，当区分终端在网络所处位置时，阻塞率能够收敛到较小的状态，不区分终端在网络所处位置时虽然也会有所收敛，但是阻塞率始终要比区分终端位置的情况大。这是因为位置不同，终端到网络基站的距离不同，由于路径损耗每个网络所能提供的最大吞吐量也就不同，如果不考虑距离的不同，所有终端都按照基站中心的最大吞吐量来计算各自所能获得的最大带宽显然是不符合

万方数据

实际的，尤其在ＨＳＤＰＡ的吞吐量大于ＷｉＭａｘ的吞吐量的区域会产生严重的冲突。但是在本文的算法中充分考虑到了这一因素，因此在阻塞率方面会有明显的优势。

分段统计次数

图５两种情况下阻塞率性能对比

图６是在每次接入选择中所能获得的平均频谱效用。从

频谱效用的定义式（６）一式（７）和参数叼…可。。来看，语音业

务的最大频谱效用是１３，数据业务的最大频谱效用大于１３。从平均频谱效用仿真图可以看出在考虑终端到基站的不同距离时，每次接入选择的平均频谱效用最后能收敛到近于理想的最大值，而在不考虑该因素时的平均频谱效用却远达不到这个值。再次证明了本文算法考虑多重因素时在网络接入选择算法中的优越性。

旺较糇聪曩斗

分段统计次数

图６平均频谱效用

５

结语

本文将Ｑ学习用于异构无线网络的选择中，充分考虑网

络的负载情况、发起会话的业务属性、终端的移动性以及因为终端在小区的位置不同而导致的所能获得的最大带宽的不同各种因素，使得ＪＲＲＭ控制器能够根据网络特性合理地将各个会话分配到最合适的网络中，使负载得到了均衡，业务类型、终端移动性与网络特性得到了匹配，不仅保证了业务的服务质量还保证了网络资源的充分利用。但是本文在说明问

（下转第１４７９页）