tcp-ip-illustrated-2nd

+-----------------+
|  Application    |  Telnet, FTP, e-mail, etc
+-----------------+
|   Transport     |  TCP, UDP
+-----------------+
|    Network      |  IP, ICMP, IGMP
+-----------------+
|     Link        |  device driver and interface card
+-----------------+

1. link层:也叫数据链路层, 包括操作系统中的驱动程序和驱动对应的网卡.它们合起 来处理所有的物理细节.
2. network层:处理网络上的packet的活动,"路由"这个动作其实就发生在这一层.这一 层主要的协议有: IP, ICMP和IGMP
3. transport层:主要为application层提供端到端的数据通信.transport层有两个重要 的协议:
   • TCP: 提供端到端的"可靠(reliable)"的数据通信, 其为了保障可靠性,可能会用 到很多技术(比如数据分组, 设置超时等等). 由于在TCP协议中保证了数据的可靠 性,调用TCP的application层可以不用关心"可靠通信"的实现细节
   • UDP: 提供"不可靠"的端到端的数据传输. 只是发送datagram到对方host.并不保 证对方一定能接受到.使用UDP的application层程序需要自己提供"额外的验证"来 达到数据传输的"可靠"
4. application负责处理特定的应用程序的细节, 应用到TCP/IP的application有:
   • 负责远程登录的Telnet
   • 负责文件传输的FTP
   • 负责邮件传输的SMTP
   • 负责简单的网络管理的SNMP

• 每一层都会有对应的相同的协议进行通信.
• application层通常都是一个用户进程,而其他三层则都一般在kernel code里面(比 如Linux)
• application层处理process细节,而其他三层则是处理通信细节.

• 1980年代networking的迅速崛起是因为人们意识到一台电脑构成的"孤岛"没有意义, 所以有了局域网. 而1990年代,人们更是进一步的将更多的局域网联系记起来,组成 了"英特网"
• 将不同的局域网(LAN)联系起来的最好的办法是借助路由器,因为路由器可以连接两个 类型完全不同的局域网(LAN),下图就是一个通过路由器连接的两个LAN(一个是以太网, 另外一个是令牌网)里面的两个host

  

  Figure 2: tcp-ip.png

• 从上图可以得到transport层和internet层必须分开的两个原因:
  1. 我们的FTP 客户端和FTP服务器端叫做end system. 而路由器则叫做intermediate system. 我们的TCP协议"仅仅"会被end system所使用(也就是client和server的 network层), 而我们的IP协议,则不仅仅被end system使用,还会被intermediate system所使用
  2. IP提供的是"不可靠"服务,它尽其所能的传输IP packet.而TCP则是通过超市重传, 发送和接受端到端的"确认分组"等机制来达到"可靠"传输的目的.所以两者的"智 能"是完全不同的.

• router(路由器)是连接两个LAN,两个LAN的类型可能不一样(一个是以太网,另一个可能是令牌网)
• bridge(网桥)是把同类的两个LAN组合成一个更大的LAN.

• Ping
• Traceroute

           7 bits                     24 bits
     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
A    |0|   netid     |               hostid                          |
     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

                 14 bits                       16 bit
     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
B    |1|0|        netid              |         hostid                |
     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

                       21 bits                             8 bits
     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
C    |1|1|0|           netid                         |    hostid     |
     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

                                      28 bits
     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
D    |1|1|1|0|                 multicast group ID                    |
     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

                                      28 bits
     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
E    |1|1|1|1|                 reserved for future used              |
     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

A => From 00000000.x.x.x  =  0.x.x.x
B => From 10000000.x.x.x  =  2**7.x.x.x = 128.0.0.1
C => From 11000000.x.x.x  =  (2**7 + 2**6).x.x.x = 192.x.x.x
D => From 11100000.x.x.x  =  (2**7 + 2**6 + 2**5).x.x.x = 224.x.x.x
E => From 11110000.x.x.x  =  (2**7 + 2**6 + 2**5 + 2**4).x.x.x = 240.x.x.x

• 当前host所在网络里面的所有主机:multicast
• 某个网络里面的所有主机:broadcast
• 除了上述两种特殊用途的IP地址,其他的IP地址都是目的为单个host的制度:unicast

• TCP发送给IP的叫做TCP Segment
• IP发送给network interface的叫做IP datagram
• 在以太网上面相互传输的叫做Ethernet frame

46 bytes to 1500 bytes

• ICMP 为 1
• IGMP 为2
• TCP 为 6
• UDP 为 17

• 本来在network层的IGMP和ICMP现在上移到了transport层,因为它们都是被network层 的IP协议封装的.换句话说,IGMP和ICMP和TCP/UDP的待遇一样,在IP头部中有type域 来进行标示.(ICMP为1, IGMP为2, TCP为6, UDP为17)
• 本来在link层的ARP, RARP现在上移到了network层. 因为它们都是被link层的Ethernet 协议所封装的.换句话说,ARP,RARP和IP的待遇一样,都是在Ethernet头部有type域来 进行标示(0800为IP, 0806为ARP, 0835为RARP)

• iterative server:每次只能处理一个client请求
• concurrent server:通过把任务分配给另外一个process(或者thread), 可以同时处理多个client请求

• 某个应用的server端口的number相对固定:
  • 如果是多种操作系统都支持的Internet-wide应用,一般server端的端口通常在1~255
  • 如果仅仅是Unix系统中支持的Unix-specific应用,一般server端的端口通常在256~1023
• 某个应用的client端口的选择是每次都不一样的,所以会从1024~5000里面随便选择一 个数字,这个端口号也叫ephemeral port

• ISOC
• IAB
• IETF
• IRTF

Carrier Sense, Multiple Access with Collision Detection
带冲突检测的载波侦听多路接入

• Ethernet协议 (当今世界事实上的标准)
• IEEE 802协议

• Ethernet协议的IP datagram: RFC894(也是当今世界事实上的标准)
• IEEE 802协议的IP datagram: RFC1042

• 两个协议都使用了48bit的源地址和目的地址. 这个48bit的地址就是我们常说的硬 件地址(hardware address): ARP和RARP就是用来将32bit IP地址以及48bit硬件地 址进行相互转换的
• 两个48bit地址之后的2个byte,对于不同协议解释不同:
  • Ethernet协议: 用作type: 表明接下来的network层数据的类型:
    1. 0800: IP datagram
    2. 0806: ARP request/reply
    3. 0835: RARP request/reply
  • IEEE 802协议里面: 用做length. 幸运的是这个length最大为1500bytes, 而network 层最小的表示IP datagram的type是0x0800(也就是32768)bytes. 所以我们可以通 过这两位来分辨不同的协议.
• 再两个byte后:
  • Ethernet协议:就是数据部分了
  • IEEE 802协议:还有两个部分的数据:
    1. 3 byte的802.2 LLC
    2. 5 byte的802.2 SNAP(其中最后一个部分是和Ethernet协议一样的type)
• 两种协议最后都是CRC的校验码
• 对两种协议来说,都有最小长度的要求, 如果data部分没那么多,需要填充到零来达 到最小长度:
  • Ethernet协议: 46bytes
  • IEEE 802协议: 38bytes

• 从本机发送到loopback interface地址(127.0.0.1)的datagram都要进入loopback driver 的ip input queue
• 从本机发送到multicast和boardcast的datagram在放入Ethernet之前,也要放入一个 到loopback driver的ip input queue
• 从本机发送到本机任意一个interface的datagram(一个机器可能有多个interface) 也是发送到loopback driver的ip input queue

• 其他link层driver(比如Ethernet Driver)是往Ethernet层发送数据
• 而我们的link层driver(也就是loopback driver)是往ip input queue发送数据

• Ethernet协议: 1500 bytes
• IEEE 802协议: 1492 bytes

• 丢弃当前的datagram
• 发送ICMP message给source

 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 Unit: bit
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|version|length |   TOS         |          total length         |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|         identification        |flags|  fragment offset        |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| time to live  | protocol      |      header checksum          |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                       source IP address                       |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                    destination IP address                     |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                                                               |
|                    options(multiple of 32 bits)               |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

• version:标示IP协议的版本,普遍使用的是版本4
• length: 其实是header length的缩写,其代表的是整个header在单位为32-bit word 情况下的长度.因为这个域为4个bit,所以header length最长为 60bytes, 如果没有 option,那么这个域内容就是20 / (32 / 8) = 5

  (2**3 + 2**2 + 2**1 + 2**0) * (32 / 8) = 60 bytes
  

• TOS:Type of Service为8个bit, 其中:
  • 3个bit为precedence field(已经弃用)
  • 4个bit位TOS: 分别为(同时只能有其中一个bit被设置), 都不设置为normal service:
    1. minimize delay
    2. maximize throughput
    3. maximize reliability
    4. minimize monetary cost
  • 1个bit没有使用
• total length:就是整个ip datagram的长度啦,单位是bytes,由于这个字段是16bit 那么ip datagram的最大值就是2**16 - 1 = 65535.但是没有人会发送这么大的字段 因为link层由于MTU的存在,如果有这么大的datagram, 大多数的link层协议会对它 进行分片(fragment).为了照顾大多数的link层协议,一般规定ip datagram最大不要 超过576,这不是一个硬性的规定,但是大多数情况下适用.
• total length这个域很重要,因为link层的好多协议,比如Ethernet对其fragment大小 有个最低要求,是46bytes.但是IP datagram可能不到46bytes,所以link层的协议要 pad(填充0)到最小的46bytes.这个时候,必须知道total length的值才知道IP datagram 的大小
• identification:每发送一个datagram就加1, BSD的实现是kernel来加1,也就是说TCP 发送了123,那么紧接着发送的UDP就发送了124(虽然UDP也发送124也没有关系的)
• flag:用来控制fragment, 一共三个bit:
  1. bit 0: 保留,必须是零
  2. bit 1: DF (Don't Forget) : 设置了以后,这个datagram就不被允许进行fragment, 如果你实在要fragment,那么这个datagram就只有丢弃
  3. bit 2: MF (More Fragments) : 被分片的前N-1个fragment都要设置这个域,说 明我们在被fragment
• fragment offset:
• TTL: time-to-live,可以经过的router的个数(一般为32或者64),每经过一个router, 就会减一,一旦到零,这个域就被抛弃了(然后会发送IGMP给sender)
• protocol: 用来标示上一层的协议
• header checksum: 仅仅用来对IP头部进行校验. 接收端checksum计算结果不符的话, 会把datagram直接丢弃(但并不会发送ICMP给发送方,这就需要上层协议发现少了datagram 后要求发送端重发)
• IP address: 后面是两个32-bit的source和destination IP address
• options: 固定header后面是一系列不常用的options,大小是32bit的整数倍.

1. 目的地址和本机是通过PPP(point-to-point)连接的
2. 目的地址和本级在一个局域网内(以太网或者令牌网)

A host never forwards datagrams from one of its interfaces
to another, while a router forwards datagrams.

• 如果是的话,这个IP datagram就会交由其header里面的protocol指定的协议(比如TCP 或者UDP)模块去处理
• 如果不是的话:
  1. 如果IP层所在的机器是配置成路由功能的(router),那么就"通过路由表"转发这 个datagram
  2. 如果IP层所在是机器是配置成host功能的,那么就直接丢弃这个datagram

• Destination IP address: IP层寻找处理datagram的方法第一个关心的问题肯定是 "如何对付某个IP", 这个"某个IP"就是这里标示的.表示"某个IP"有两种方法:
  1. 完整的IP地址. network address + host address,能够"精确"匹配一个"某IP"
  2. 只有network address, host address则全是0. 比如192.168.188.0(这种地址叫 做"默认路由",代表这个一个network address全体成员,所以不能分配给某个host)
• IP address of a next-hop router: IP层寻找处理datagram的方法再匹配到"某IP" 以后,肯定是想知道对于"某IP"的datagram,我要"forward"到哪里?这个forward到的 地方肯定和本网络相互connect."而且"这个网络可以引导我们走向最终的目的地址. 但是这个forward到的地方也有两种情况:
  1. forward到另外一个router
  2. forward到一个host (PPP协议通常会直接forward到某个主机)
• Flags: 我们前面说过两次不同的情况, 都需要这里的flag来标示:
  1. 一个是在destination ip address项里面写的是完整host地址,还是某个network 地址.
  2. 一个是在next-hop router项里面,forward到了另外一个router还是另外一个host
• network interface: router一般有很多网口,这次的转发要从哪个网口走需要从这里 指定

1. 首先当然是查询路由表,希望目的IP能够完全对应的,比如路由表里面地址是192.168 .188.123,我们datagram目的IP也是这个地址,那么:
   • 如果next-hop是一个router,就发送到这个router
   • 如果next-hop是一个ip地址,这种情况发生在PPP协议连接的情况下,路由表的下 一步是一个IP地址
2. 如果没有完全对应,那么我们就寻找把我们datagram ip地址的网络地址取出来,然后 去路由表里面,寻找网络地址相同的item.对于192.168.188.123来说,就是去寻找路 由表中192.168.188.0这个network adddress.如果找到也是:
   • 如果next-hop是一个router,就发送到这个router
   • 如果next-hop是一个ip地址,这种情况发生在PPP协议连接的情况下,路由表的下 一步是一个IP地址
3. 前两项都失败的情况下,通常都会有个叫default的item, 把datagram发送到datagram 指引下的next-hop router(这次肯定是router,而不可能是主机)

                 14 bits                  8 bit
     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
B    |1|0|        netId              |  subnetId     |     hostId    |
     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

• 对于所有在这个B类地址之外的路由,都只是把它当做一个普通的B类地址而已
• 对于所有在这个B类地址之内的路由,就要了解它是如何分配子网的了.不然无法发送 datagram到正确的位置.

                        14 bits                  8 bit            8 bit
            +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
 Class B    |1|0|        netId              |  subnetId     |     hostId    |
            +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
Subnet mask  1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 = 255.255.255.0


                        14 bits                  10 bit            6 bit
            +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
 Class B    |1|0|        netId              |  subnetId         | hostId    |
            +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
Subnet mask  1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 = 255.255.255.192

1. a host on its own subnet.
2. a host on a different subnet on its own network.
3. a host on a different network.

• 如果目的地址的IP为140.252.4.5,那么我们知道这个networkID地址是一样的,但是subnetID不一样
• 如果目的地址的IP为140.252.1.22,那么不仅仅networkID一样,subnetID也是一样的
• 如果目的地址是192.43.235.6,那么networkID不一样,subnetID也不一样

1. ftp程序内部会调用函数gethostbyname把主机名bsdi转化成IP地址,这个过程通常 使用DNS,或者/etc/hosts来做到的
2. ftp程序请求建立到bsdi的IP地址的连接请求
3. TCP会发送一个request segment到remote host, 然后这个segment会被包装成一个 IP datagram
4. 如果目的主机在local network,那么它会直接被发送到目的主机,否则则会发送到 一个路由器
5. 假设目的主机在local network上面,那么我们只需要知道对方的物理地址,就可以 直接通过以太网协议发送这个数据了.ARP要来负责找到物理地址
6. ARP是发送一个叫做ARP request的Ethernet frame给local network的每一个host ARP request包含了目的主机的IP地址,然后它的意义是"如果你是这个IP地址的拥有 者,请回答你的硬件地址"
7. 目的主机收到ARP request,就把主机的物理地址和IP地址发送一个ARP reply给发 送方.
8. 收到ARP reply之后, 刚才待发的IP datagram就可以发送了

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|  Ethernet | Ethernet  |  Misc settings    | sender    |sender | target    |target |
|  dest addr| sour addr |                   | Ether addr|IP addr| Ether addr|IP addr|
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

<--Ethernet header -----><-----28byte ARP request/reply----------------------------->

• 其frame type是0x8035用来表示其为一个RARP packet
• RARP request的op为3
• RARP reply的op为4

<-------------------- IP datagram ------------------------>
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|   IP header(20 bytes)   |          ICMP message         |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| 8-bit type    | 8-bit code    |   16-bit checksum             |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                                                               |
|       contents depends on type and code                       |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+