Cuda Streams

Streams介绍：

• 流可以看成是在设备上work的一个队列，host端将work加入队列，然后继续添加。设备在资源free时，开始调度streams里面的work。
• CUDA的操作也是在流里面，比如Kernel的启动，内存的拷贝。
• 在同一个流里面的操作是有序的（FIFO），不可以重叠了。
• 在不同的流里面的操作是无序的，可以重叠。

Streams基本操作：

cudaStream_t stream; //声明一个stream
cudaStreamCreate(&stream); //分配stream
cudaStreamDestroy(stream); //取消分配的stream，在stream中的work完成后同步host端。

在Kernel中插入stream

kernel<<< blocks , threads, smem, stream>>>();

在一些API中插入stream

cudaMemcpyAsync( dst, src, size, dir, stream);

DEFAULT STREAM

除非是特别指定了stream，所有的调用都放在默认流里。这个默认流通常指的是“Strewam 0”。
Stream 0有特殊的同步规则：

• 所有的流一起同步，在stream 0中的操作不能和其他的流中操作重叠。

设置非阻塞标志的stream：

cudaStreamCreateWithFlags(&stream,cudaStreamNonBlocking) //用于使并发不受人为控制（如MPI）

Kernel并发

• 假设foo利用50%的GPU。

//默认stream
foo<<<blocks,threads>>>(); 
foo<<<blocks,threads>>>();

//默认流和用户自己的设置stream
cudaStream_t stream1; 
cudaStreamCreate(&stream1); 
foo<<<blocks,threads>>>(); 
foo<<<blocks,threads,0,stream1>>>(); 
cudaStreamDestroy(stream1);

//默认和用户自己设置stream(使用cudaStreamCreateWithFlags)
cudaStream_t stream1; 
cudaStreamCreateWithFlags (&stream1,cudaStreamNonBlocking); 
foo<<<blocks,threads>>>();
foo<<<blocks,threads,0,stream1>>>(); 
cudaStreamDestroy(stream1);

//用户自己设置stream
cudaStream_t stream1, stream2; 
cudaStreamCreate(&stream1); 
cudaStreamCreate(&stream2); 
foo<<<blocks,threads,0,stream1>>>(); 
foo<<<blocks,threads,0,stream2>>>(); 
cudaStreamDestroy(stream1); 
cudaStreamDestroy(stream2);

回顾

• 主机端和kenel启动是自动异步的。
• 使用stream来控制异步：
  • 在一个stream里是有序的（FIFO）
  • 和其他stream是无序的
  • 默认stream和所有的stream同步。