六張圖講清楚Linux零拷貝技術

大家好，今天讓我們聊一聊Linux零拷貝技術。我們將以sendfile系統調用作爲切入點，深入探討零拷貝技術的基本原理。零拷貝技術的核心思想是儘量減少數據在內存之間的複製，通過優化數據傳輸路徑，提高數據傳輸的效率和性能。

1.零拷貝技術簡介

Linux零拷貝技術是一項用於優化數據傳輸的技術，通過減少數據在內核態和用戶態之間的複製次數，從而提高數據傳輸的效率。

在數據傳輸的過程中，通常需要將數據從內核緩衝區複製到應用程序的緩衝區，再從應用程序緩衝區複製到網絡設備的緩衝區，最終才能完成發送。

零拷貝技術的優勢在於能夠直接傳輸數據，無需經過中間複製的步驟，這有助於提高數據傳輸的效率。

Linux零拷貝技術實現方式：

• sendfile系統調用：sendfile系統調用可以在內核態中直接將文件內容發送到網絡設備的緩衝區，避免了數據在用戶態和內核態之間的拷貝。
• splice系統調用：splice系統調用可以將一個文件描述符的數據直接傳輸到另一個文件描述符，也可以將數據從一個文件描述符傳輸到網絡設備的緩衝區，避免了中間的拷貝過程。
• mmap和write系統調用：mmap系統調用可以將文件映射到內存中，然後使用write系統調用將內存中的數據直接發送到網絡設備的緩衝區，避免了數據在用戶態和內核態之間的拷貝。
• DMA（Direct Memory Access）：DMA是一種硬件技術，可以直接將數據從內存傳輸到網絡設備的緩衝區，避免了CPU的介入，提高了數據傳輸的效率。

2.sendfile系統調用

sendfile系統調用可以在內核空間內直接傳輸文件數據，它通過將數據從一個文件描述符複製到另一個文件描述符的發送緩衝區來實現。這樣一來，數據可以通過網絡協議棧直接發送出去，避免了在用戶空間和內核空間之間頻繁的數據拷貝操作。

這樣就避免了數據在內核和用戶空間之間的複製，提高了傳輸效率。

sendfile系統調用函數原型：

#include ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);參數說明：out_fd：目標文件描述符，用於發送數據。in_fd：源文件描述符，從該文件讀取數據。offset：指定從源文件的哪個位置開始讀取數據，可以爲NULL表示從當前位置開始。count：要傳輸的字節數。返回值：成功：返回寫入out_fd文件的字節數。失敗：返回-1，並設置errno。

登錄後複製

3.sendfile實現原理

3.1 傳統方式發送文件

使用傳統方式把一個文件通過socket發送出去，我們需要執行一個比較長的路徑。

路徑：磁盤->文件頁緩存->用戶緩衝區->套接字緩衝區->網卡。

上下文切換和內存拷貝情況如下：

• 上下文切換：4次（read調用，read返回，write調用，write返回）
• DMA拷貝：2次
• CPU拷貝：2次（文件頁緩存->用戶緩衝區，用戶緩衝區->套接字緩衝區）

圖片

3.2 sendfile發送文件

使用sendfile發送文件，相對來說整個路徑會短一些。

路徑：磁盤->文件頁緩存->套接字緩衝區->網卡。

上下文切換和內存拷貝情況如下：

上下文切換：2次（sendfile調用，sendfile返回）

DMA拷貝：2次

CPU拷貝：1次（文件頁緩存->套接字緩衝區）

圖片

3.3 sendfile實現原理

sendfile實現的核心是管道，管道在Linux系統中應用的比較多，比如說通過管道實現進程間通信。

當需要將文件數據拷貝至socket緩衝區時，會臨時創建一個管道（環形緩衝區），將文件數據先拷貝至管道，再將管道數據遷移至socket緩衝區，數據遷移並不是數據拷貝，只是將指針指向內存地址。

圖片

3.4 小節

通過採用sendfile發送文件，可以減少2次上下文切換和1次CPU拷貝，如果我們的實際應用場景是需要進行大量的文件發送，採用sendfile能夠很大程度上提高系統性能。

4.管道

4.1 管道簡介

管道在Linux系統中應用很廣泛，除了零拷貝技術使用到管道，進程間通信同樣使用到管道，那麼管道到底是什麼？

圖片

管道是什麼？

管道其實就是一個環形緩衝區，通過管道可以將數據從一個文件拷貝另外一個文件。

管道由struct pipe_inode_info結構體定義，該數據結構有4個重要成員：

• pipe_buffer：管道緩衝區數組，一個固定長度的數組，每個數組成員都是一個緩衝區，對應一個struct pipe_buffer結構。
• head：頭部序號，表示當前可寫緩衝區的位置，需要配合mask使用。
• tail：尾部序號，表示當前可讀緩衝區的位置，需要配合mask使用。
• ring_size：管道緩衝區數組長度，ring_size – 1計算出mask，head & mask獲取當前可寫緩衝區數組下標，tail & mask獲取當前可讀緩衝區數組下標。

管道緩衝區由struct pipe_buffer定義，該結構有3個重要成員：

• page：頁指針
• offset：數據在頁中偏移
• len：數據長度

管道已滿或爲空判斷？

管道已滿判斷：

head – tail >= ring_size，表示管道已滿。

管道爲空判斷：

head == tail，表示管道爲空。

以上就是六張圖講清楚Linux零拷貝技術的詳細內容，更多請關注本站其它相關文章！