基于Q学习的异构网络选择新算法

第３ｌ卷第６期

２０１１年６月

计算机应用

ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓ

Ｖ０１．３ｌＮｏ．６

Ｊｕｎｅ２０１１

文章编号：１００１—９０８１（２０１１）０６—１４６１—０４

ｄｏｉ：１０．３７２４／ＳＰ．Ｊ．１０８７．２０１１．０１４６１

基于Ｑ学习的异构网络选择新算法

赵彦清１’２，朱琦１’２

（１．南京邮电大学江苏省无线通信重点实验室，南京２１０００３；

２．南京邮电大学教育部宽带无线通信与传感网技术重点实验室，南京２１０００３）

（ｚｈａｏｙａｎｑｉｎ９２３０７＠ｙａｈｏｏ．ｃｏｒｎ．ｏｎ）

摘要：针对异构网络中的多样业务需求，并且为了能够适应网络环境的动态变化，为每一个会话选择一个最合适的网络为其服务同时实现网络负载的均衡，以ＨＳＤＰＡ和ｗｉＭａｘ构成的异构网络为背景，基于Ｑ学习算法，提出了一种异构网络环境下无线接入网络选择的新算法。该算法在进行网络选择时不仅考虑到网络的负载情况，还充分考虑了发起会话的业务属性、终端的移动性以及终端在网络中所处位置的不同。仿真结果表明该算法降低了系统阻塞率，提高了频谱效用，实现了网络选择的自主性。

关键词：异构网络；Ｑ学习；网络选择；业务属性；移动性中图分类号：ＴＰ３９３．０３

文献标志码：Ａ

Ｎｅｗ

Ｑ—ｌｅａｒｎｉｎｇｂａｓｅｄｈｅｔｅｒｏｇｅｎｅｏｕｓｎｅｔｗｏｒｋｓｅｌｅｃｔｉｏｎａｌｇｏｒｉｔｈｍ

ＺＨＡＯＹａｎ—ｑｉｎ９１’２，ＺＨＵ

Ｑｉｌ’２

（１．Ｊｉａｎｇｓｕ

Ｋｅｙ

２．研Ｌａｂｏｒａｔｏｒｙ

ｋ６０ｒ珊ｏ，ｙｏｆＷｉｒｅｌｅｓｓＣｏｍｍｕｎｉｃａｔｉｏｎｓ，ＮａｍｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＪｉａｎｇｓｕ２１０００３，Ｃｈｉｎａ；

ｏｎＷｉｄｅｂａｎｄＷｉｒｅｌｅｓｓＣｏｍｍｕｎｉｃａｔｉｏｎｓａｎｄＳｅｎｓｏｒＮｅｔｗｏｒｋＴｅｃｈｎｏｌｏｇｙｏｆＭｉｎｉｓｔｒｙｏｆＥｄｕｃａｔｉｏｎ，Ｎａ彬ｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ＮａｎｊｉｎｇＪｉａｎｇｓｕ２１０００３，Ｃｈｉｎａ）

ｔｏ

Ｔｅｌｅｃｏ舭ｔｉｏｎｓ，Ｎａｎｊｉｎｇ

ｒｅａｌｉｚｅｎｅｔｗｏｒｋｌｏａｄ

Ａｂｓｔｒａｃｔ：Ｔｏｍｅｅｔｔｈｅｄｉｖｅｒｓｅｓｅｒｖｉｃｅｒｅｑｕｉｒｅｍｅｎｔｓｉｎｈｅｔｅｒｏｇｅｎｅｏｕｓｎｅｔｗｏｒｋａｎｄａｄａｐｔ

ｎｅｔｗｏｒｋｅｎｖｉｒｏｎｍｅｎｔ，ｃｈｏｏｓｅｔｈｅｍｏｓｔｓｕｉｔａｂｌｅｎｅｔｗｏｒｋｆｏｒｅｖｅｒｙｓｅｓｓｉｏｎｂａｓｅｄ

ｏｎ

ｔｈｅｄｙｎａｍｉｃｃｈａｎｇｅｓｉｎｔｈｅ

ａｎｄ

ｂａｌａｎｃｅ，ｆｌ

ｎｅｗ

ａｌｇｏｒｉｔｈｍ

Ｑ—ｌｅａｒｎｉｎｇ

ｆｏｒｔｈｅｓｅｌｅｃｔｉｏｎｏｆｗｉｒｅｌｅｓｓ

ａｃｃｅｓｓ

ｎｅｔｗｏｒｋｉｎｔｈｅｈｅｔｅｒｏｇｅｎｅｏｕｓｎｅｔｗｏｒｋｃｏｍｐｏｓｅｄｏｆＨＳＤＰＡａｎｄ

ｃａｒｔ

ＷｉＭａｘ

Ｗａｓｐｒｏｐｏｓｅｄ．Ｂｙｔｈｉｓａｌｇｏｒｉｔｈｍ，ｔｈｅｍｏｓｔｓｕｉｔａｂｌｅｎｅｔｗｏｒｋｆｏｒｅａｃｈｓｅｓｓｉｏｎ

ｃｏｎｄｉｔｉｏｎｓ，ｓｅｒｖｉｃｅａｔｔｒｉｂｕｔｅ，ｍｏｂｉｌｉｔｙａｌｇｏｒｉｔｈｍ

ｃａｎ

ｂｅｓｅｌｅｃｔｅｄ

ａｃｃｏｒｄｉｎｇ

ｔＯ

ｎｅｔｗｏｒｋｌｏａｄ

ｔｈａｔ

ａｎｄ

ｄｉｆｆｅｒｅｎｔｌｏｃａｔｉｏｎｓｏｆｔｅｒｍｉｎａｌ．Ａｔ

ｌａｓｔ，ｔｈｅｓｉｍｕｌａｔｉｏｎ

ｒｅｓｕｌｔｓｓｈｏｗｔｈｅ

ｌｏｗｅｒｓｙｓｔｅｍｂｌｏｃｋｉｎｇｐｒｏｂａｂｉｌｉｔｙ，ｉｎｃｒｅａｓｅ

ｓｐｅｃｔｒｕｍｕｔｉｌｉｔｙ

ａｎｄ

ｒｅａｌｉｚｅｔｈｅａｕｔｏｎｏｍｙｏｆｎｅｔｗｏｒｋｓｅｌｅｃｔｉｏｎ．

Ｋｅｙｗｏｒｄｓ：ｈｅｔｅｒｏｇｅｎｅｏｕｓ

ｎｅｔｗｏｒｋ；Ｑ—ｌｅａｒｎｉｎｇ；ｎｅｔｗｏｒｋｓｅｌｅｃｔｉｏｎ；ｓｅｒｖｉｃｅａｔｔｒｉｂｕｔｅ；ｍｏｂｉｌｉｔｙ

０

引言

随着无线通信技术的快速发展，出现了多种无线接入技

其自适应性和灵活性，被广泛地应用于机器人和自动控制领域¨一“，并被引入到动态频谱接入邛１中。文献［９］将Ｑ学习用于网络的联合准入策略中，但是没有对会话进行业务属性的区分，离现实情况相差甚远，缺乏可行性。文献［１０］将Ｑ学习用于自主联合资源管理，虽然考虑到了业务属性的不同，但却没有考虑到终端的移动性对于不同网络的匹配性和传输损耗导致的不同位置的移动终端所获得的最大吞吐量或信噪比的差异性。总之，现有的好多文献都不能很好地综合不同的业务以及终端移动性来进行网络选择。

本文为了使网络选 …… 此处隐藏：929字，全部文档内容请下载后查看。喜欢就下载吧 ……