基于Q学习的异构网络选择新算法

第３ｌ卷第６期

２０１１年６月

计算机应用

ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓ

Ｖ０１．３ｌＮｏ．６

Ｊｕｎｅ２０１１

文章编号：１００１—９０８１（２０１１）０６—１４６１—０４

ｄｏｉ：１０．３７２４／ＳＰ．Ｊ．１０８７．２０１１．０１４６１

基于Ｑ学习的异构网络选择新算法

赵彦清１’２，朱琦１’２

（１．南京邮电大学江苏省无线通信重点实验室，南京２１０００３；

２．南京邮电大学教育部宽带无线通信与传感网技术重点实验室，南京２１０００３）

（ｚｈａｏｙａｎｑｉｎ９２３０７＠ｙａｈｏｏ．ｃｏｒｎ．ｏｎ）

摘要：针对异构网络中的多样业务需求，并且为了能够适应网络环境的动态变化，为每一个会话选择一个最合适的网络为其服务同时实现网络负载的均衡，以ＨＳＤＰＡ和ｗｉＭａｘ构成的异构网络为背景，基于Ｑ学习算法，提出了一种异构网络环境下无线接入网络选择的新算法。该算法在进行网络选择时不仅考虑到网络的负载情况，还充分考虑了发起会话的业务属性、终端的移动性以及终端在网络中所处位置的不同。仿真结果表明该算法降低了系统阻塞率，提高了频谱效用，实现了网络选择的自主性。

关键词：异构网络；Ｑ学习；网络选择；业务属性；移动性中图分类号：ＴＰ３９３．０３

文献标志码：Ａ

Ｎｅｗ

Ｑ—ｌｅａｒｎｉｎｇｂａｓｅｄｈｅｔｅｒｏｇｅｎｅｏｕｓｎｅｔｗｏｒｋｓｅｌｅｃｔｉｏｎａｌｇｏｒｉｔｈｍ

ＺＨＡＯＹａｎ—ｑｉｎ９１’２，ＺＨＵ

Ｑｉｌ’２

（１．Ｊｉａｎｇｓｕ

Ｋｅｙ

２．研Ｌａｂｏｒａｔｏｒｙ

ｋ６０ｒ珊ｏ，ｙｏｆＷｉｒｅｌｅｓｓＣｏｍｍｕｎｉｃａｔｉｏｎｓ，ＮａｍｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＪｉａｎｇｓｕ２１０００３，Ｃｈｉｎａ；

ｏｎＷｉｄｅｂａｎｄＷｉｒｅｌｅｓｓＣｏｍｍｕｎｉｃａｔｉｏｎｓａｎｄＳｅｎｓｏｒＮｅｔｗｏｒｋＴｅｃｈｎｏｌｏｇｙｏｆＭｉｎｉｓｔｒｙｏｆＥｄｕｃａｔｉｏｎ，Ｎａ彬ｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，ＮａｎｊｉｎｇＪｉａｎｇｓｕ２１０００３，Ｃｈｉｎａ）

ｔｏ

Ｔｅｌｅｃｏ舭ｔｉｏｎｓ，Ｎａｎｊｉｎｇ

ｒｅａｌｉｚｅｎｅｔｗｏｒｋｌｏａｄ

Ａｂｓｔｒａｃｔ：Ｔｏｍｅｅｔｔｈｅｄｉｖｅｒｓｅｓｅｒｖｉｃｅｒｅｑｕｉｒｅｍｅｎｔｓｉｎｈｅｔｅｒｏｇｅｎｅｏｕｓｎｅｔｗｏｒｋａｎｄａｄａｐｔ

ｎｅｔｗｏｒｋｅｎｖｉｒｏｎｍｅｎｔ，ｃｈｏｏｓｅｔｈｅｍｏｓｔｓｕｉｔａｂｌｅｎｅｔｗｏｒｋｆｏｒｅｖｅｒｙｓｅｓｓｉｏｎｂａｓｅｄ

ｏｎ

ｔｈｅｄｙｎａｍｉｃｃｈａｎｇｅｓｉｎｔｈｅ

ａｎｄ

ｂａｌａｎｃｅ，ｆｌ

ｎｅｗ

ａｌｇｏｒｉｔｈｍ

Ｑ—ｌｅａｒｎｉｎｇ

ｆｏｒｔｈｅｓｅｌｅｃｔｉｏｎｏｆｗｉｒｅｌｅｓｓ

ａｃｃｅｓｓ

ｎｅｔｗｏｒｋｉｎｔｈｅｈｅｔｅｒｏｇｅｎｅｏｕｓｎｅｔｗｏｒｋｃｏｍｐｏｓｅｄｏｆＨＳＤＰＡａｎｄ

ｃａｒｔ

ＷｉＭａｘ

Ｗａｓｐｒｏｐｏｓｅｄ．Ｂｙｔｈｉｓａｌｇｏｒｉｔｈｍ，ｔｈｅｍｏｓｔｓｕｉｔａｂｌｅｎｅｔｗｏｒｋｆｏｒｅａｃｈｓｅｓｓｉｏｎ

ｃｏｎｄｉｔｉｏｎｓ，ｓｅｒｖｉｃｅａｔｔｒｉｂｕｔｅ，ｍｏｂｉｌｉｔｙａｌｇｏｒｉｔｈｍ

ｃａｎ

ｂｅｓｅｌｅｃｔｅｄ

ａｃｃｏｒｄｉｎｇ

ｔＯ

ｎｅｔｗｏｒｋｌｏａｄ

ｔｈａｔ

ａｎｄ

ｄｉｆｆｅｒｅｎｔｌｏｃａｔｉｏｎｓｏｆｔｅｒｍｉｎａｌ．Ａｔ

ｌａｓｔ，ｔｈｅｓｉｍｕｌａｔｉｏｎ

ｒｅｓｕｌｔｓｓｈｏｗｔｈｅ

ｌｏｗｅｒｓｙｓｔｅｍｂｌｏｃｋｉｎｇｐｒｏｂａｂｉｌｉｔｙ，ｉｎｃｒｅａｓｅ

ｓｐｅｃｔｒｕｍｕｔｉｌｉｔｙ

ａｎｄ

ｒｅａｌｉｚｅｔｈｅａｕｔｏｎｏｍｙｏｆｎｅｔｗｏｒｋｓｅｌｅｃｔｉｏｎ．

Ｋｅｙｗｏｒｄｓ：ｈｅｔｅｒｏｇｅｎｅｏｕｓ

ｎｅｔｗｏｒｋ；Ｑ—ｌｅａｒｎｉｎｇ；ｎｅｔｗｏｒｋｓｅｌｅｃｔｉｏｎ；ｓｅｒｖｉｃｅａｔｔｒｉｂｕｔｅ；ｍｏｂｉｌｉｔｙ

０

引言

随着无线通信技术的快速发展，出现了多种无线接入技

其自适应性和灵活性，被广泛地应用于机器人和自动控制领域¨一“，并被引入到动态频谱接入邛１中。文献［９］将Ｑ学习用于网络的联合准入策略中，但是没有对会话进行业务属性的区分，离现实情况相差甚远，缺乏可行性。文献［１０］将Ｑ学习用于自主联合资源管理，虽然考虑到了业务属性的不同，但却没有考虑到终端的移动性对于不同网络的匹配性和传输损耗导致的不同位置的移动终端所获得的最大吞吐量或信噪比的差异性。总之，现有的好多文献都不能很好地综合不同的业务以及终端移动性来进行网络选择。

本文为了使网络选择能够适应动态变化的无线环境，适时地为每个会话选择最佳的网络，提出了一种基于Ｑ学习的无线异构网络接入选择新算法，该算法在充分考虑到网络负载情况的同时，还对会话的业务属性和终端的移动性以及终端在网络中所处位置的不同进行区分，通过与外界网络环境不断的试错学习能够不断调整自身的动作选择策略。

ｌ

术并存的局面，由于这些无线接入系统都是专门针对某些特定的业务类型和用户群体而设计的，所以在网络的覆盖范围、可用带宽、资费水平、对用户移动性的支持和服务质量（Ｑｕａｌｉｔｙ

ｏｆ

Ｓｅｒｖｉｃｅ，ＱｏＳ）保证等方面都存在一定的差异性，这

种针对特定业务类型而专门设计的无线接入系统已经无法再满足用户１３益复杂多变的业务需求。因此，整合不同的无线网络，联合管理有限的资源已经成为不可逆转的趋势。如何才能在兼顾服务质量和资源利用率的情况下选择最佳的网络给用户提供服务，这是异构无线网络中所需要解决的关键问题之一，为此人们提出了很多联合无线资源管理（Ｊｏｉｎｔ

Ｒｅｓｏｕｒｃｅ

Ｒａｄｉｏ

Ｍａｎａｇｅｍｅｎｔ，ＪＲＲＭ）的方法（如负载均衡旧１、异构网

络选择＂１等），但是现有的好多算法都不是从网络接人的自，主性出发，并且对动态多变的无线网络环境的适应性不好，而这正是未来复杂的无线环境中及其重要的问题。

强化学习（ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ，ＲＬ）”。。可以从延迟的回报中获取最优的控制策略。一个可学习的智能体，它可以观察环境的状态并能做出一组动作改变这些状态，学习的任务是获得一个控制策略，以选择能达到目的的行为。ＲＬ以

收稿日期：２０１０—１２—０２；修回日期：２０１１—０１—１８。

系统模型

各种无线网络的发展使异构网络的接入选择问题日益重

要，为了能够为各类用户提供服务质量随时间和空间动态变化的不同的服务，网络运营商和业务提供商需要有效地将不同的业务需求分配到最优的网络中。

基金项目：国家９７３计划项目（２００７ＣＢ３１０６０７）；国家８６３计划项目

（２００９ＡＡ０１２２４１）；国家自然科学基金资助项目（６０７７２０６２）；国家科技重大专项（２０１１ＺＸ０３００１－００６－０２；２０１１ＺＸ０３００５－００４－０３）。

作者筒介：赵彦清（１９８６一），男，河北石家庄人。硕士研究生，主要研究方向：移动通信、无线技术；朱琦（１９６５一），女，江苏苏州人，教授，主要研究方向：移动通信、无线技术。

万方数据

１４６２

计算机应用第３１卷

本文考虑的是由ＨＳＤＰＡ和ＷｉＭａｘ紧耦合构成的异构无线网络，如图１所示。在接入网中设置了联合无线资源管理（ＪＲＲＭ）控制器¨“。ＪＲＲＭ是一套旨在最优化无线资源利用率和最大化系统容量的网络控制机制¨“，能够支持不同无线接入技术之间的智能联合会话／呼叫接入控制，以及业务流、功率等资源的分配功能。本文将Ｑ学习算法用于其中，使其具有一定的学习能力。通过ＪＲＲＭ控制器的不断学习，在保证服务质量和资源利用率的情况下能够根据网络负载情况、发起会话的业务属性、终端的移动性和终端在网络中的不同位置，为每个会话找到最优的网络选择策略。

图１网络覆盖模型

本文只考虑了信道的大尺度路径损耗，而没有考虑多径衰落。因为接入选择属于中等时间尺度（从若干秒到若干分钟）的无线资源管理策略，而多径衰落的时间尺度为毫秒级别的，所以可以忽略不计。如果用ｄ来表示系统的基站发射机与用户的终端接收机之间的距离，则用户在该系统中的路径损耗可以表示为：

ＰＬ（ｄ）＝２０

ｌｇ（竿）＋１０“ｌｇ（丢）

（１）

其中：ｄｏ为参考距离，ａ为路径损耗指数，Ａ为系统中的信号波长。

从链路预算得到的ＨＳＤＰＡ和ｗｉＭａｘ两个网络的最大吞吐量随着距离的变化如图２所示一］。

距离／ｋｍ

图２

ＨＳＤＰＡ和ＷｉＭａｘ最大吞吐量随距离的变化情况

在本文场景中，网络的选择首先要基于两个网络的负载情况，如果某个网络的负载过重自然不再适合新业务的加入；其次还要根据发起会话的业务属性和终端的移动性。本文对业务进行了语音和数据的划分，根据两个网络的属性可知，ＷｉＭａｘ网络的容量大且覆盖范围广，更适合于数据业务的接人；而ＨＳＤＰＡ网络虽然容量较小，但是实时通信能力较强，更适合于语音业务的接入。所以如果是语音业务应该首选接入ＨＳＤＰＡ，数据业务则首选接入ＷｉＭａｘ。再由两个网络对移动业务的支持能力可知如果是高速移动的终端首选应该是ＨＳＤＰＡ，静止的终端则两个网络都可为其服务。最后还要考虑到终端在网络中的分布位置，对于语音业务而言，由于其对

万方数据

速率的要求不高，一般１０Ｋｂｐｓ就能满足用户的需求，相对于数据业务这个速率需求很小，而且语音业务对实时性的要求比较高，所以本文假设无论语音业务选择接人哪个网络都能直接获得１０Ｋｂｐｓ的速率。对于数据业务而言就涉及到所能获得的最大速率的问题，终端所能获得的速率不仅与所选网络以及所选网络的用户数有直接的关系，还受制于每个网络的最大吞吐量。这个吞吐量本身又与终端在小区中的位置有关系，因为与基站的距离不同就导致传输损耗或信噪比的不同，式（１）和图２充分说明了这一点。为简单起见，本文只将两个网络的覆盖范围分为两个等级，即靠近基站和远离基站。这样按照终端在网络中的不同位置就可以将发起会话的用户分为四种，第一种是终端同时靠近两个网络的基站，第二种是终端靠近ＷｉＭａｘ的基站远离ＨＳＤＰＡ的基站，第三种是终端远离ＷｉＭａｘ的基站靠近ＨＳＤＰＡ的基站，第四种是终端远离两个网络的基站。２

算法模型

强化学习的基本原理是若智能体（Ａｇｅｎｔ）的某个动作策

略导致环境产生正的奖赏（强化信号），那么Ａｇｅｎｔ以后采取这个动作策略的趋势便会加强，反之采取这个动作策略的趋势就会减弱，这和生理学中的条件反射原理是接近的ＭＪ。

基本的强化学习模型是由反映当前环境情况的状态集合Ｓ＝ｈ，ｓ：，…，ｓ．｝，学习者可执行的动作集合Ａ＝｛ａ。，Ⅱ：，…，ａ。ｆ，回报函数（强化信号）ｒ和学习者的策略丌：ｓ—Ａ等基本要素构成。

Ｑ学习是强化学习中最典型的一个算法。Ｑ函数Ｑ（ｓ，ａ）表示在状态ｓ下执行动作ａ，以及采取后续策略的折扣奖赏和的期望。该定义的奇妙之处在于当前状态和动作的Ｑ值囊括了所有需要的信息，以确定在状态ｓ下选择动作ａ时，将来会获得的折扣累积回报。Ｑ值函数的学习是通过Ｑ值迭代来完成的。每次迭代更新一个Ｑ（ｓ，ａ），为了能更新所有的Ｑ（ｓ，ａ），Ａｇｅｎｔ需要不断地与环境交互。当Ｑ值函数经过多次迭代后，所有的Ｑ值都不再发生较大的变化时，即可认为Ｑ值函数收敛，Ｑ学习结束。它在每一轮的迭代中，首先感知当前的环境状态ｓ∈Ｓ，并查找相应的所有Ｑ值，根据当前的策略仃选择动作ａ

Ｅ

Ａ作用于环境；环境状态会由此变化为ｓ’∈Ｓ，同

时根据所执行动作的效果获得一个强化信号（称为“回报”）ｒ（ｓ，ａ）；学习者便据此按照式（２）更新其策略，并进入下一轮迭代。

Ｑ。ｌ（ｓ，ａ）＝（１一ｎ。）Ｑ。（ｓ，ａ）＋ａ。（ｒＩ＋

７ｍａｘ

Ｑ。（ｓ’，ａｐ））（２）

其中，ａ∈［０，１）为学习率。随着ｔ一＊，若每对（ｓ，ａ）的Ｑ值能够经历无穷多次更新，且ａ递减至０，则Ｑ。（ｓ，ａ）将以概率１收敛到最优值Ｑ＋（ｓ，ａ）。如此循环下去，通过不断地“试错”学习最终目标是找到每个状态的最佳策略仃’（ｓ）∈Ａ以最大化期望的长期累积回报。

此时，最优策略仃＋可以由式（３）得到。仃‘（ｓ）＝ａｒｇｍａｘＱ’（ｓ，ａ）

（３）

在迭代时，我们用到的是后继动作值函数中的最大值，跟当前选择动作的策略无关，因此Ｑ学习被认为是离策略的算法，Ｑ学习中式（２）的收敛性并不依赖于动作空间的探索方法。为了使所有的状态动作对Ｑ（ｓ，。）都被访问到，本文采用

第６期

赵彦清等：基于Ｑ学习的异构网络选择新算法

１４６３

占贪婪算法来选择动作。３

基于Ｑ学习的网络选择新算法

由系统模型中的分析可知，本文对网络进行选择时，考虑

的因素有网络的负载情况、业务属性、终端的移动性以及根据终端在网络中的位置不同而划分的用户类型。３．１问题映射

将Ｑ学习用于该场景中，Ｑ学习的各要素与本文模型的映射关系如下所述。

１）状态空间｜ｓ。

由于会话的到达（包括始呼业务的到达和切换业务的到达）和结束的一系列事件都会影响网络的状态，但是因为会话的结束不会引起ＪＲＲＭ控制器的操作，所以在这里只把会话的到达与模型相关联，只要有会话请求到来就按照算法进行网络选择。

对于本文所考虑的因素，状态不仅取决于每个网络的不同业务的负载情况（这里用每个网络的不同业务的用户数来表示），还要对业务的属性和移动性加以区分，因为即使在相同的网络负载情况下，业务不同或者移动性不同，所应该选择的最合适的网络也不会相同。所以可以将状态定义为：

Ｓ＝｛ｋ，ｍ，Ｌ｝

（４）

其中：ｋ表示业务种类，因为本文只考虑语音和数据两种业务，所以ｋ的取值是０或１，分别表示数据业务和语音业务；ｍ表示发起会话的终端的移动性，本文只将移动性用静止和移动加以区分，为了简单起见没有再对移动速度进行定义，所以ｍ的取值也只有０和ｌ两种情况，分别表示静止和移动江表示两个网络的两种业务的负载情况，是用两种业务的用户数来表征。

除了上述定义外，由于考虑到了发起会话的终端在网络中所处位置的不同将导致终端最大吞吐量的不同，所以还要对位置加以区分。为此本文在建立Ｑ表时，需要将四种不同的用户分开，可以用Ｑ∞，Ｑ。。，Ｑ，。，Ｑ，。分别表征系统模型中所定义的四种用户所对应的Ｑ表。

２）可选动作集Ａ。

在由ＨＳＤＰＡ和ＷｉＭａｘ构成的无线异构网络中，ＪＲＲＭ控制器需要根据它所学习来的知识选择一个最合适的网络分配给终端，所以动作集合可以被定义为ＪＲＲＭ控制器所能选择的网络：

Ａ＝｛１，２｝（５）

其中：１表示选择ＷｉＭａｘ网路，２表示选择个ＨＳＤＰＡ网络。

３）回报函数ｒ。

即时回报是评价ＪＲＲＭ控制器所选择动作的好坏，驱使ＪＲＲＭ控制器选择最佳动作的直接信号。本文的目的是根据网络的固有属性，将发起会话的业务属性、终端的移动性和到网络基站的距离进行区分，在保证服务质量和资源利用率的情况下为每个会话找到最优的网络选择策略。因此可以将每次接入选择所获得的频谱效用作为算法的回报函数。每次接入选择策略就是为了能使频谱效用最大化。

本文用匹配性来定义频谱效用，即对于语音业务而言如果所选网络与业务属性和终端移动性相匹配则频谱效用最大，否则便较小；对于数据业务不仅要考虑以上匹配性，由于数据业务对带宽的要求比较高，还要根据终端到两个基站的不同距离保证终端所选择的动作能获得的带宽最大，此时称频谱效用最大，否则便较小。因此，文中频谱效用的定义因业务不同而不同，对于语音业务的频谱效用定义如下：

万方数据

ｓｕｙ＝ｒｌ。，＋田呦ｂ（６）

其中ｚ＂Ｏｓｅｒ表示业务属性与网络的匹配系数，７１础表示移动性与网络的匹配系数。具体数值将在下面仿真参数中给出。

对于数据业务，其频谱效用定义如下：

ｓｕｄ＝叩柏，＋’７。０ｂ＋口

（７）

其中曰表示终端接入网络时所获得的带宽与叼。。，和叩ｍｏｂ在大小上平衡之后的带宽因子。

Ｂ＝ｂ／１５０

（８）

其中ｂ表示终端接入网络时所获得带宽，１５０Ｋｂｐｓ表示数据业务的最小带宽（ｈｏｄ，于该最小带宽，本次呼叫将被阻塞）。因为ｂ在数值上远远要大于叼。和叼。。，如果直接用ｂ去定义数据业务的ｓｕｄ就不能明显体现出匹配系数的作用，所以这里要用Ｂ。

从另一个方面来看曰也体现了网络负载情况对频谱效用的影响，能够起到负载均衡的作用。因为如果某个网络的负载重，曰就会减小，频谱效用就会降低，回报自然也会降低，进而会使在当前状态下选择该网络的可能性降低，反之则频谱效用和回报都增高。

同时为了使语音业务的回报函数也能体现网络负载情况对动作选择的影响，实现负载的均衡，不能直接用其频谱效用作为它的回报，还应该加上一个负载因子声，即所选网络的剩余频谱资源占总的频谱资源的百分比。

因此，回报函数可以定义为：

ｒ＝｛三：：哕’霎嘉盏霎

（９）

３．２算法实现过程

综合考虑网络的负载情况、业务属性、终端的移动性以及根据终端在网络中的位置不同而划分的用户类型四种因素，基于Ｑ学习方法，根据上述映射，得到了异构无线网络中接人选择的新方法，具体步骤如下：

１）初始化Ｑ（ｓ，ａ），比如０或者是随机产生的值，设定折扣因子ｙ和出示学习率Ｏｔ，以及动作选择算法中的初始探索概率８；

２）获取当前状态ｓ，包括当前各网络的各业务用户数，发起会话的终端的业务种类、移动性以及根据终端在网络中的位置划分的用户类型；

３）选择执行的动作ａ，观察动作集合Ａ（ＷｉＭａｘ或ＨＳＤＰＡ），根据此状态的动作函数值Ｑ。（ｓ，口），按照一定的策略仃选择动作ａ并执行；

４）获取回报（奖赏）ｒ和下一时刻的状态ｓ’，根据动作执行结果按照式（９）计算当前回报，，并找到下一状态的动作值函数最大值ｍａｘＱ。（Ｓ’，ａ’），根据式（２）更新Ｑ。（ｓ，ａ）；

５）参数更新，每轮迭代结束后，学习率和探索概率都要更新，为了满足Ｑ学习的收敛性要求，本文设置它们以负指数规律随着学习的过程逐渐减少为ｏ。

４仿真结果与分析

４．１仿真参数

假设整个重叠覆盖小区的会话到达率服从参数为Ａ。＝

８００

ｈ“的泊松分布，语音和数据业务在其中均匀分布。语音

业务的会话持续时间服从参数为１／ｇ，＝１２０ｓ的指数分布，数据业务所要下载的数据的大小服从参数为１／如＝８Ｍｂ的指数分布，数据业务的最小速率设定为１５０Ｋｂｐｓ，如果这个速

１４６４

计算机应用第３１卷

率达不到，该会话将被阻塞。４．２仿真结果分析

本文用Ｍａｄａｂ对该算法过程进行仿真与分析。在仿真

过程中，每次会话到达都会触发Ｑ学习算法迭代，ＪＲＲＭ控制器共学习了２００００个仿真时刻，即进行了２００００次迭代，并且分了２０个相等的学习阶段分别进行统计。

表１仿真参数设置

图３是学习前后两种业务在两个网络的分布情况。可以很明显地看出，在仿真的初始阶段，两种业务在两个网络基本是平均分配的，这显然不是我们想要的结果，但是学习到最后，语音业务多数选择接入到ＨＳＤＰＡ而数据业务则多数选择接入到ＷｉＭａｘ，这正好与ＷｉＭａｘ网络适合于数据业务而ＨＳＤＰＡ网络适合于语音业务的属性相吻合，是我们想要达到的效果。

丑

众

ｌⅢ

鞲则襄

匿

分段统计次数

图３两种业务在两个网络的分布情况

图４是学习前后两种移动性用户在两个网络的分布情况。可以明显地看出在学习的初始阶段两个网络的两种用户数基本是平均分布，但是随着学习的进行，使得选择动作的最佳策略不断调整，最终移动终端用户尽量多地选择了ＨＳＤＰＡ而静止终端用户尽量选择了ＷｉＭａｘ，从而匹配了ＨＳＤＰＡ可以容纳移动终端的特性。

分段统计次数

图４两种移动性用户在两个网络的分布情况

图５是区分终端在网络所处位置与不区分的情况下，小区的会话阻塞率变化情况。很明显地看出，当区分终端在网络所处位置时，阻塞率能够收敛到较小的状态，不区分终端在网络所处位置时虽然也会有所收敛，但是阻塞率始终要比区分终端位置的情况大。这是因为位置不同，终端到网络基站的距离不同，由于路径损耗每个网络所能提供的最大吞吐量也就不同，如果不考虑距离的不同，所有终端都按照基站中心的最大吞吐量来计算各自所能获得的最大带宽显然是不符合

万方数据

实际的，尤其在ＨＳＤＰＡ的吞吐量大于ＷｉＭａｘ的吞吐量的区域会产生严重的冲突。但是在本文的算法中充分考虑到了这一因素，因此在阻塞率方面会有明显的优势。

分段统计次数

图５两种情况下阻塞率性能对比

图６是在每次接入选择中所能获得的平均频谱效用。从

频谱效用的定义式（６）一式（７）和参数叼…可。。来看，语音业

务的最大频谱效用是１３，数据业务的最大频谱效用大于１３。从平均频谱效用仿真图可以看出在考虑终端到基站的不同距离时，每次接入选择的平均频谱效用最后能收敛到近于理想的最大值，而在不考虑该因素时的平均频谱效用却远达不到这个值。再次证明了本文算法考虑多重因素时在网络接入选择算法中的优越性。

旺较糇聪曩斗

分段统计次数

图６平均频谱效用

５

结语

本文将Ｑ学习用于异构无线网络的选择中，充分考虑网

络的负载情况、发起会话的业务属性、终端的移动性以及因为终端在小区的位置不同而导致的所能获得的最大带宽的不同各种因素，使得ＪＲＲＭ控制器能够根据网络特性合理地将各个会话分配到最合适的网络中，使负载得到了均衡，业务类型、终端移动性与网络特性得到了匹配，不仅保证了业务的服务质量还保证了网络资源的充分利用。但是本文在说明问

（下转第１４７９页）

ＩⅡ班精崔遮Ⅻ±５０ｉｌｌ，ｈ／『’ｕ“”７ｉｌｉｌｌｌｏｎｌ．％分ｍＪｔ｜～±１００ｐ曲．２）时Ｍ阔班精度ｍ＊“务前求

镕台十Ｈ移自＿ｌ寸３ＧⅨⅢ∞ＭｌｉⅢⅢｄ《求１）时Ｍ悻递

ｍ１０％ｍ山．２）ＴＤ＿ｓＣＤｂＩＡ自ＣＤＭｔＬＴ．ＯＯＯ∞扣位ｆ≈步精噬山

３ｐ，ｗ 、ｆ“ＴＤＤ时Ⅲｆｔ同步精度为Ｉ”。¨褂ｍ结№：ｎ打《作主抖的ＩＥＥＥｌ５８８ｖ２同步辅瞳在１０跳“内能够４到Ⅱｍ秒级．－ｑ“满＊商特《问步§坑∞ＩＩ，ｌｐｉｌ∞求

●考女ｍ：

巳

Ｈ

４

尸●！

Ｈｔ＊＾’ＩＣ∞¨口＃ｍｍ（ｃⅨ“）

【ＩＩ＊～ｎｔｎｍｏ－ｑ¨＊女ｆ々＃｛Ｉ。ｌｍｂＩＥＢ／Ｏ）Ｉ

∞一１０１

…ｄｕ“＝ｌ蜘

Ｉｌｉｌｐ：／，＿＿＿ｈ…咖ｌ，｛¨Ｉ帅ＩⅢｌ咖ｗｍ，Ⅲ口

２＝ｉ０

ｌ２。Ⅲ一

【２ｌ镕＊Ｉ￡ｇ，日＃ｎｎｍ＊Ⅸ＆￥。’■《ｌＭｌ｜匕《。＾ｌｔ目ｍ

ｍ《｝Ｌ，２ｃｍ¨Ｌ７

ｌ

匡Ｅ

ｍ３¨＂＾々ｃ∞Ｍ￥＊ｍⅧ【ｃ№＾

ｒ’ｌ＃＃”ｍｐ＃ｔ＊＊ｒＩＥＥＥＩ５％ｍⅨ∞日Ⅻｎ∞’＃ｍ。，

“＊ｌＪ１Ⅱ＆＆￥２００７（７１－”一ｉ【４ｌ

％‘０Ⅱｆ＾＃ｍ

ｒ＂

Ｉｍ０ＡＤＣＯＭ

７

Ｈ１月＆十＊）Ｆ：ＥＥＩ，＂＊自¨ＭｍＨ∞日Ｒ‘ｏＪ４ｊⅢＪ１日

２００９

１８４９

¨ｔＥＥＥ

１３Ｂｇ－２嘲ｌＥＥ㈨㈨ｆｎｒｊ…Ｈ＊ｔ¨”’ｐ…－ｌＭＩ…ｍ………ｌ…ｗｎ『ｓＩｍ

…ＲＪ

Ｅｍ…ｌ－…’ｒｍｈｎ¨∞…ｎ汕２４ｘｔ＊ｌｖｗＰｉ∞

ｊｖ＂ｈｍ＾‘Ｍ

３０（∞懈Ｉ

Ｂ嘲｛ｂ％２０∞

ｈ

７】＂“＾ｎ＂．Ⅻ“ｉＩＥＥＥｉ５８Ｓ¨Ｈ｛Ｈ＊§＆ｍ＊ＥｌＪ＿№ｆ

Ｈ￥！∞ⅢＩ∞ ４２一“＃Ｉ

ｍ

Ｔ

ｃ８２６１／Ｙ

１３６ｌ

ｌ“ｋ…１ｗｍ’『Ｈ

ＪＪ

ｔｉｍｉｎｇ呲ｌ

ｍ

ｍ

ｓ，ｍｈ㈣Ⅲ“…¨Ｉｎ

Ｊ＾……Ⅲ＾Ｈｄ＿＿．１＂７

ｍ１】。Ｔ６－＂

７１％＃＃％｝Ⅸｍ々Ⅳ∞＃自ｎＨ＾ｆ１￡｛ｗ＆ⅥｎＫＭ

｜『¨☆Ｈ巴｛十ＷＨ｛＃￥＾｛２Ｄ１）６

ＲＩ＊ｎ《“ｎ■＃ｆＤＡＱＩＨｎ∞Ⅻ女Ｍ｛Ｒ＆＾Ａ＊ｉＪ１＊

＆１７目【＾｛｛ｍ－自＃｛｝々Ⅸ２００粤，９ｆ６）＋蝴一６１ｌ

‘Ｉ

ＳＡＫＥＨＩ、ＪＥＭＡＡ

ｓＢ

ｆｈ……ｈＨ……删，川／／％Ｔ黼ｈ—‰ｐｗｌＦｌ ”㈨…１州＆Ⅵ¨ｋｌｕ

ＥＩ．＾ｙＩ）Ｌ，Ｓｉ‘Ｅ

Ｑ｛…＂ｆｏｒ¨…

ｄ

６７６—６８０

㈦

Ｆ：一㈧ｍ

“ｍｈ～Ｍ…ＩＥ㈣……％

１ｋ２ⅨⅣＩＥＥ

＃№ｌＪ】。Ｕ｝’，ｍⅡ＇ｍ

ｊ０。８

ＩｏＩ※女＊Ｆ；忠ｍ．＊ｆ＊ｒＱ｛ｄ∞ｎ±Ⅸ☆￡ｑ斑＊”月

３０（”１

ＩＩ】＊ｍ女ｍ￥ｑ＊｝４ｒ

ｗ＊＊ｍ｜ＪＩ“２—６∞

ＬＥＥＦ∞０２

ｌｌ川ｃ∞Ｈ☆￡＆

２００５

ｔ№Ｅｌｂ々％。｝Ⅷ．ｒｊ＃Ｈ｛Ｋ１７（６】：

Ｉ２ｊ≯＊＊十“”ｋ－ⅡｔＥｗｔ＆Ｈ％十“☆ｚ＆Ｗ＊＊ｍ

Ⅲ

ｍＫ｜ＪＪｍ“Ｈ々２∞Ｒ１７［¨６４—７０

Ｉ，Ｊ、ｍＪ一¨＾ＹｋＨ

ｓ＾Ｑ１…”Ｉ…Ｉｄ！一ｉｅ

ｌ“ｌⅢｌＪＩ嘲１９９９

Ｍ＾Ｉｔ＂ＮＥｚ

ｎ＿Ⅷ１１ｗｈｎｌｑｕｅｈ

…川

¨ｌ

２…０¨Ｖｅｌｌ

ｕｍｂｉＪｅ…州ｅ＿¨∞…ＩＪｌＰｈ…１一ｌＦＬ＃ｌ一

４８１５Ｊ：１６７６一ｉ６８７

ＪｅｕｌａｚＥ

Ｊ４Ｉ＾Ｉｊｘ＾、ＤＲｌ

ｍｌＪ“ｌⅢ”¨＿ｎ。＿Ｉｔ“ⅢＩｌ“…ＭＩｍｌｗＩ㈣…１¨“ｋＪｍ

ｗＩｍｌ＾…ｍｌ＾ｌＣｌ帅ｒ

Ｉ一托【 ｌｔＩ＾ＣＩＩＥ

Ｄ＾ｍⅢＴ…ｍ

Ｉ…Ｉ…ｄ

…

２ｍ２ Ｉ

３ｗＩ

５ｍ

Ｔ…… ｌ

ｓ州…ｎｗｍ

０Ｓ＾＝ＩＥＥＥ

ｎｕｍｗｌｈ［：ｏｍｍｉＪｎｌｅａａ，｜，ｍ—ＩＩｏ№㈨ｕ１３＊

万方数据

基于Q学习的异构网络选择新算法

作者：作者单位：刊名：英文刊名：年，卷(期)：

赵彦清， 朱琦， ZHAO Yan-qing， ZHU Qi

南京邮电大学江苏省无线通信重点实验室,南京210003;南京邮电大学教育部宽带无线通信与传感网技术重点实验室,南京210003计算机应用

JOURNAL OF COMPUTER APPLICATIONS2011,31(6)

本文链接：/Periodical_jsjyy201106003.aspx

本文来源：https://www.bwwdw.com/article/5af1.html