分享程序员开发的那些事...
更新时间：2022-06-25 12:37:42
学习 Neutron 系列文章：
（2）Neutron OpenvSwitch + VLAN 虚拟网络
（3）Neutron OpenvSwitch + GRE/VxLAN 虚拟网络
（4）Neutron OVS OpenFlow 流表 和 L2 Population
（9）Neutron FWaas 和 Nova Security Group
（10）Neutron VPNaas
（11）Neutron DVR
（12）Neutron VRRP
LAN 表示 Local Area Network，本地局域网，通常使用 Hub 和 Switch 来连接LAN 中的计算机。一般来说，当你将两台计算机连入同一个 Hub 或者 Switch 时，它们就在同一个 LAN 中。同样地，你连接两个 Switch 的话，它们也在一个 LAN 中。一个 LAN 表示一个广播域，它的意思是，LAN 中的所有成员都会收到 LAN 中一个成员发出的广播包。可见，LAN 的边界在路由器或者类似的3层设备。
VLAN 表示 Virutal LAN。一个带有 VLAN 功能的switch 能够同时处于多个 LAN 中。最简单地说，VLAN 是一种将一个交换机分成多个交换机的一种方法。比方说，你有两组机器，group A 和 B，你想配置成组 A 中的机器可以相互访问，B 中的机器也可以相互访问，但是A组中的机器不能访问B组中的机器。你可以使用两个交换机，两个组分别接到一个交换机。如果你只有一个交换机，你可以使用 VLAN 达到同样的效果。你在交换机上分配配置连接组A和B的机器的端口为 VLAN access ports。这个交换机就会只在同一个 VLAN 的端口之间转发包。
（图1）
IEEE 802.1Q 标准定义了 VLAN Header 的格式。它在普通以太网帧结构的 SA （src addr）之后加入了 4bytes 的 VLAN Tag/Header 数据，其中包括 12-bits 的 VLAN ID。VLAN ID 最大值为4096，但是有效值范围是 1 - 4094。
（图2）
带 VLAN 的交换机的端口分为两类：
（图3）
（1）基于端口的 VLAN （untagged VLAN - 端口属于一个VLAN，数据帧中没有VLAN tag）
这种模式中，在交换机上创建若干个VLAN，在将若干端口放在每个VLAN 中。每个端口在某一时刻只能属于一个VLAN。一个 VLAN 可以包含所有端口，或者部分端口。每个端口有个PVID （port VLAN identifier)。这种模式下，一个端口上收到的 frame 是 untagged frame，因此它不包含任何有关 VLAN 的信息。VLAN 的关系只能从端口的 PVID 上看出来。交换机在转发 frame 时，只将它转发到相同 PVID 的端口。
如上图所示，连接两个交换机的同一个 VLAN 中的两个计算机需要通信的话，需要在两个交换机之间连两根线：
（2）Tagged VLANs （数据帧中带有 VLAN tag）
这种模式下，frame 的VLAN 关系是它自己携带的信息中保存的，这种信息叫 a tag or tagged header。当交换机收到一个带 VLAN tag 的帧，它只将它转发给具有同样 VID 的端口。一个能够接收或者转发 tagged frame 的端口被称为 a tagged port。所有连接到这种端口的网络设备必须是 802.1Q 协议兼容的。这种设备必须能处理 tagged frame，以及添加 tag 到其转发的 frame。
上图中，两个交换机上的端口8 支持 VLAN 1 和 2， 因此一根线就可以了实现跨交换机的同VLAN 内的计算机互相通信了。
在实际的VLAN 配置中的各种情况：
以太网端口有三种链路类型：Access、Hybrid和Trunk。
这种类型的端口允许接收没有打标签的帧，再发出去时将会被打上标签。
（图片来源）
（图片来源）
在配置 trunk 口时，可以指定允许接收的VLAN 的 ID 区间，还可以配置一个 Native VLAN （缺省VID，也称为 PVID）。当设置了 PVID 时，没有打标签的进来的帧将被打上PVID 的 tag再被发出去。
各种类型：
解释：
| tagged （进） | untagged（进） | 出 （交换机在做交换时，只会把帧发给包含其 VID 的端口） | |
| Access 端口 | 丢弃 | 打上 PVID | 剥离 VID，此时的帧为标准以太网帧 |
| Trunk 端口 | 如果是允许的，则不变；否则丢弃 | 打上 PVID | 如果 VID 与 PVID 不同，则透传；如果 VID 与 PVID 相同，则剥离 VID |
二层交换机最基本的功能包括：
默认情况下，交换机的所有端口都处于VLAN 1 中，也就相当于没有配置 VLAN。该机制说明如下：
（图4）
配置了 VLAN 的交换机的该机制类似，只不过：
（1）MAC 表格中每一行有不同的 VLAN ID。做比较的时候，拿传入帧的目的 MAC 地址和 VLAN ID 和此表中的行数据相比较。如果都相同，则选择其 Ports 作为转发出口端口。
（图5）
（2）如果没有吻合的表项，则将此帧从所有有同样 VLAN ID 的 Access ports 和 Trunk ports 转发出去。
二层网络使用 MAC （media access control address）地址作为硬件的唯一标识。基于 TCP/IP 协议的软件使用 ARP 来将 IP 地址转化为 MAC 地址。
1. 目的 IP 地址在同一网段的话
（图6）
SRC MAC： A 的 MAC
DST MAC：FF:FF:FF:FF:FF:FF
SRA IP： A 的 IP
DST IP: B 的 IPSRC MAC： B 的 MAC
DST MAC：A 的 MAC
SRA IP： B 的 IP
DST IP: A 的 IPSRC MAC： A 的 MAC DST MAC：Router 的 interface 1 的 MAC 地址 SRA IP： A 的 IP DST IP: B 的 IP
SRC MAC： Router interface 2 的 MAC DST MAC：B 的 MAC SRA IP： A 的 IP DST IP: B 的 IP
Neutron 基于 VLAN 模式的 tenant network 同 provider network 一样，都必须使用物理的 VLAN 网络。
本例子中，交换机上划分了三个 VLAN 区域：
（图8）
关于网段之间的路由：
控制节点上：
# vim /etc/neutron/plugins/ml2/ml2_conf.ini [ml2] type_drivers = flat,vlan
tenant_network_types = vlan
mechanism_drivers = openvswitch
[ml2_type_flat]
flat_networks = external
[ml2_type_vlan]
network_vlan_ranges = physnet1:100:300
网络节点上：
#为连接物理交换机的网卡 eth2 和 eth3 建立 OVS physical bridge，其中，eth2 用于数据网络，eth3 用于外部网络 ovs-vsctl add-br br-eth2
ovs-vsctl add-br br-ex ovs-vsctl add-port br-eth2 eth2
ovs-vsctl add-port br-ex eth3 # vim /etc/neutron/plugins/ml2/ml2_conf.ini
[m12] type_drivers = flat,vlan
tenant_network_types = vlan
mechanism_drivers = openvswitch
[ml2_type_flat]
flat_networks = external
[ml2_type_vlan]
network_vlan_ranges = physnet1:100:300,external:1000:1010
[ovs]
bridge_mappings = physnet1:br-eth2,external:br-ex
计算节点上：
#为连接物理交换机的网卡 eth2 建立 OVS physical bridge
ovs-vsctl add-br br-eth2
ovs-vsctl add-port br-eth2 eth2
# vim /etc/neutron/plugins/ml2/ml2_conf.ini
[m12]
type_drivers = vlan
tenant_network_types = vlan
mechanism_drivers = openvswitch
[ml2_type_vlan]
network_vlan_ranges = physnet1:100:300
[ovs]
bridge_mappings = physnet1:br-eth2
注意：
然后重启相应的 Neutron 服务。
当 Neutron L2 Agent （OVS Agent 或者 Linux Bridge agent）在计算和网络节点上启动时，它会根据各种配置在节点上创建各种 bridge。以 OVS Agent 为例，
（1）创建 intergration brige（默认是 br-int）；如果 enable_tunneling = true 的话，创建 tunnel bridge （默认是 br-tun）。
（2）根据 bridge_mappings，配置每一个 VLAN 和 Flat 网络使用的 physical network interface 对应的预先创建的 OVS bridge。
（3）所有虚机的 VIF 都是连接到 integration bridge。同一个虚拟网络上的 VM VIF 共享一个本地 VLAN （local VLAN）。Local VLAN ID 被映射到虚拟网络对应的物理网络的 segmentation_id。
（4）对于 GRE 类型的虚拟网络，使用 LSI （Logical Switch identifier）来区分隧道（tunnel）内的租户网络流量（tenant traffic）。这个隧道的两端都是每个物理服务器上的 tunneling bridge。使用 Patch port 来将 br-int 和 br-tun 连接起来。
（5）对于每一个 VLAN 或者 Flat 类型的网络，使用一个 veth 或者一个 patch port 对来连接 br-int 和物理网桥，以及增加 flow rules等。
（6）最后，Neutron L2 Agent 启动后会运行一个RPC循环任务来处理 端口添加、删除和修改。管理员可以通过配置项 polling_interval 指定该 RPC 循环任务的执行间隔，默认为2秒。
s1@controller:~$ neutron net-create net1 （或者 Admin 用户运行 neutron net-create net1 --provider:network_type vlan --provider:physical_network physnet1 --provider:segmentation_id 101。效果相同） Created a new network: +---------------------------+--------------------------------------+ | Field | Value | +---------------------------+--------------------------------------+ | admin_state_up | True | | id | dfc74f44-a9f2-4497-a53d-1723804a49a8 | | name | net1 | | provider:network_type | vlan | | provider:physical_network | physnet1 | | provider:segmentation_id | 101 | | router:external | False | | shared | False | | status | ACTIVE | | subnets | | | tenant_id | 74c8ada23a3449f888d9e19b76d13aab | +---------------------------+--------------------------------------+ s1@controller:~$ neutron subnet-create subnet1 10.0.0.0/24 --name net1
做完以上的步骤之后，用户就可以在 subnet 上 boot 虚机了。
boot 虚机的过程中，Nova 依次会：
（1）调用 Neutron REST API 申请一个或者多个 port。Neutron 会根据数据库中的配置来进行分配。
（2）在计算节点上，Nova 调用 ovs-vsctl 命令将虚机的 VIF 被 plug 到 br-int 上。
（3）启动虚机。
Neutron L2 Agent 的循环任务每隔两秒会依次：
（1）调用 ”ovs-vsctl list-ports“ 命令获取到 br-int 上的 port，再根据上次保存的历史数据，生成所有变更端口的列表（包括添加的、更新的、删除的端口）。比如：
{'current': set([u'04646b21-78a0-429e-85be-3167042b77be', u'592740b0-0768-4e57-870d-6495e6c22135']), 'removed': set([]), 'added': set([u'04646b21-78a0-429e-85be-3167042b77be', u'592740b0-0768-4e57-870d-6495e6c22135'])}
（2）为每一个待处理端口，根据其 ID 从 DB 中取得其详细信息。比如：
{u'profile': {}, u'admin_state_up': True, u'network_id': u'e2022937-ec2a-467a-8cf1-f642a3f777b6', u'segmentation_id': 4, u'device_owner': u'compute:nova', u'physical_network': phynet1, u'mac_address': u'fa:16:3e:fd:ed:22', u'device': u'592740b0-0768-4e57-870d-6495e6c22135', u'port_id': u'592740b0-0768-4e57-870d-6495e6c22135', u'fixed_ips': [{u'subnet_id': u'13888749-12b3-462e-9afe-c527bd0a297e', u'ip_address': u'91.1.180.4'}], u'network_type': u'vlan'}
（3）针对每一个增加或者变更的 port，设置 local VLAN Tag；调用 ”ovs-ofctl mod-flows “ 命令来设置 br-tun 或者 物理 bridge 的 flow rules；并设置 db 中其状态为 up。
（4）针对每一个被删除的 port，设置 db 中其状态为 down。
（1）一个计算节点上的网络实例
它反映的网络配置如下：
（图9）
Neutron 在该计算节点上做的事情：
（2）再加上另一个连接到同一个物理交换机的服务器（加上 neutron 网络使用的 VLAN ID 为 100，物理 brige 为 br-eth0）：
（图10）
Neutron 实现了基于物理 VLAN 交换机的跨物理服务器二层虚拟网络。
（3）连接到同一物理交换机的网络节点的情况
（图11）
（4）网络流向
更详细的网络流向分析可以参考我另外的几篇文章：