基本概念

问题解决

  • 问题:假设一条指令被分为多个阶段(取指、分析、执行)。传统的冯诺依曼机,每条指令的每个阶段都是串行执行的

  • 解决:不同阶段占用的部件、资源不重复。因此,多条指令的不同阶段可以在相同时间内执行

流水线、流水/功能段、流水段寄存器

  • 流水线:一个指令对应一条流水线

  • 流水线级数:CPU满载状态下(非装入/排空状态)执行的流水段的数量 = 一条流水线中流水段的数量

  • 流水段

    • 当视为时间单位,流水段=CPU的一个机器周期=时钟周期
    • 当视为功能单位,流水段=指令的一个阶段
  • 子功能——一个流水段对应的功能

    • 不同的指令在相同的流水段内,子功能可以不同。例如 load 在 EX 阶段是地址计算,而 add 是加法运算
  • 功能段——一个流水段对应的硬件部件

  • 流水段的部件 = 组合逻辑电路 + 流水段寄存器/锁存器

  • 每两个流水段之间有个流水段寄存器,用于存放要传递的信息(数据+控制信号),记作IF/ID、ID/Ex、Ex/Mem、Mem/Wr

  • IF、ID流水段是公共流水段,要完成的功能是固定的,IF/ID无需传递控制信号

  • 流水段寄存器对用户是不可见/不可访问的

寄存器名称连接阶段主要保存内容
IF/ID取指 → 译码指令字、PC+4
ID/EX译码 → 执行操作数、控制信号、寄存器值
EX/MEM执行 → 访存ALU结果、目标地址、写寄存器号、控制信号
MEM/WB访存 → 写回访存数据、ALU结果、最终写回信息
  • 一个指令的流水线中,功能段的数量 = 最复杂的指令需要的功能段 = 5

  • 一个流水段的深度/长度 = CPU时钟周期长度 = 最长的组合逻辑延迟 + (流水)段寄存器延迟

  • 流水线方式,延长一条指令的执行时间,缩短多条指令的执行时间


5种指令的功能段划分、电路设计

控制信号、时钟信号

  • 控制信号作用的地方

    • 功能部件
    • 流水段寄存器(在下个流水段阻塞时,流水段寄存器要保持其信息)
  • 时钟信号作用的地方

    • 在没阻塞的情况下,每个时钟周期,PC寄存器+1
    • 在两个时钟周期的间隙,作用于流水段寄存器
    • 在一个时钟周期内,作用于功能部件,使得前半个调用一个部件,后半个时钟周期调用另一个部件
  • IF、ID流水段是公共流水段,要完成的功能是固定的,IF/ID无需传递控制信号

适合使用流水线执行的指令集

  • RISC指令集
  • 因为各个指令长度差别不大,指令格式区别不大,保证除了load/store指令之外都不访存
  • 利于流水线的规整

表示方法

过程图

  • 纵轴是指令序列
  • 横轴是时间

时空图

  • 纵轴是阶段
  • 横轴是时间
  • I x I_{x} Ix​表示这个阶段属于第 x 条指令

3个性能指标

  • 假设每个指令都有k=4个阶段,所有阶段的时间都是 Δt

吞吐率TP

  • 单位时间内,流水线完成的指令的数量(输出结果的数量)

  • 装入时间:经过装入时间后,每一个阶段对应的那套部件都在工作

  • 排空时间:经过排空时间后,每一个阶段对应的那套部件都不在工作


加速比S

  • 完成一批指令,不使用流水线时要用的时间、使用流水线时要用的时间的比例

执行效率E

  • 完成一批指令,时空图中有效面积、时空图中全部面积的比例


指令流水线停顿/冒险的造成因素、处理方法

思维导图


硬件资源冲突(结构冒险/相关)

  • 冲突原因:多条指令在同一时间争用同一资源

    不同的指令在统一时刻一般处于不同阶段,会资源冲突说明两个阶段所需的资源有重合。
  • 解决1:功能段划分原则为,在一条指令中一个部件只能使用一次(仅在一个功能段)
  • 解决2:将会冲突的资源,配置多个独立的,分别在不同功能段工作
    • IF阶段占用Mem是为了取出指令,M阶段占用Mem是为了写回结果。
      可以专门为IF阶段配置一个指令存储器IM,为M阶段配置一个数据存储器DM
    • ID阶段占用Reg是为了读取数据,Wr阶段占用Reg是为了写入数据。
      可以将Reg的访问口独立成读口、写口,时钟上升沿触发在前半个周期写,时钟上下降沿触发在后半个周期读

执行顺序先后要求(数据冒险/相关)

  • 冲突原因:指令序列的执行中,必须等第 i 条指令执行完,第 i+x 条指令才能执行

  • 比如下图,第一条指令的第5阶段执行完,第二条指令的第2阶段才能执行

  • 解决1【等待:硬件插入气泡(流水线阻塞)】:编译器生成汇编指令时,如果发现上下两条指令存在顺序要求,

    • 冻结 PC(不再取新指令)
    • 将下一条指令的 IF/ID 段寄存器内的控制信号清空(插入气泡),阻塞下一条指令的继续
    • 只浪费时间
  • 解决2【等待:软件插入nop】:编译器生成汇编指令时,如果发现上下两条指令存在顺序要求,

    • 软件在下一条指令之前插入空操作指令nop(每个nop虽然也包含5个机器周期,但是其实没有行动)
    • 浪费时间、空间(存空指令)
  • 解决3【缩短等待:数据旁路转发技术】:虽然下一条指令要用到上一条指令的结果,但是不用等结果写回主存、寄存器再取,而是把ALU的输出线可以接到自己的输入线。

类型名称典型指令对说明
RAW读后写(Read After Write)后指令对结果的读取,在前指令写入结果前✅ 转发技术相当于让后指令提前读取结果,可以解决
WAW写后写(Write After Write)后指令对结果的写入,在前指令写入结果前❌ 转发无法解决
WAR写后读(Write After Read)后指令对结果的写入,在前指令读取结果前❌ 转发无法解决
  • RAW中的load-use冒险(lw后紧接着add/sub/beq)也无法通过转发完全解决,只有编译优化才能避免阻塞【中间插入一条不相干且非lw的指令即可】

  • 解决4【先做不用等待的事情:编译优化】:编译器生成指令时,如果发现数据冲突,就把没有数据冲突的指令放到两条冲突指令的中间执行


执行顺序改变(控制相关)

  • 冲突原因:当指令序列中有转移指令时,会在跳转前,多余地执行cache内的指令,引发错误

  • 解决1:在IF判断为分支指令后,到分支指令执行完Ex(得出跳目的地址)前,阻塞后3条指令的执行(硬件插入气泡/软件插入空操作指令nop)

  • 解决2:进行分支预测(判断条件码),预测跳转到的地方再读取到cache。如果预测错误,就把分支语句到当前语句已经产生的流水段控制信号清零,相当于把这几句变成空操作指令nop

    • 简单/静态预测:永远猜跳转条件是true或false
    • 动态预测:根据各种信息预测
  • 解决3:编译优化,将与分支语句无关的语句(如果有)放到分支语句后面,直到分支语句得出跳转地址


流水线的4种分类

  • 根据流水线的使用级别

    • 部件功能级:将一个阶段分成多个微指令的流水线
      • 如,浮点数加法的执行 = 求阶差+对阶+尾数相加+结果规格化
    • 处理机级:将一个指令分成多个阶段的流水线
      • 如,lw指令 = 取指+分析+执行+访存+写回
    • 处理机间级:将一个程序分成多个指令流水线,每个流水线在不同的CPU中执行,最后结果存储在共享的存储器中
  • 根据流水线完成的功能

    • 单功能流水线:只完成固定的任务
      • 如,部件功能级流水线
    • 多功能流水线:可以通过改变流水线各段的连接方式,实现多种功能
      • 如,处理机级流水线
  • 根据流水线各段的连接顺序是否可在执行中改变

    • 静态流水线:同一时间内,流水线的各段的连接方式固定
    • 动态流水线:同一时间内,流水线的各段的连接方式可变
  • 根据流水线各段之间是否有反馈信号

    • 线性流水线:各段的部件只有输出电路
    • 非线性流水线:各段的部件有输出电路、反馈电路

超流水线、多发射流水线、超标量流水线

特性超流水线(Super-pipelining)多发射流水线(Super-scalar)
目标提高时钟频率提高每拍发射指令数(指令并行)
实现方式细分出更多流水段,加深流水线设置多个执行通路,并行发射/执行多条指令
指令吞吐率提升方式一个时钟周期更短,单位时间完成更多指令一个周期内发出多条指令
CPI 目标趋近于1,但节拍变小低于1,因为一拍能完成>1条指令
对硬件的要求更细化的控制,更小的时钟周期多个功能部件(多个ALU、MEM、寄存器端口)
潜在问题冒险更频繁(尤其是控制冒险)并行指令依赖复杂,调度/乱序执行更困难
举例架构Intel Pentium 4 的 NetBurstIntel Core、ARM Cortex-A 系列等
  • 多发射流水线
    • 超标量流水线:动态调度、多功能单元、乱序执行、硬件控制并发
    • 静态多发射流水线
    • 动态多发射流水线
Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐