推薦：《linux視頻教程》

一. 簡介

• Linux 操作系統(tǒng)和驅(qū)動程序運行在內(nèi)核空間，應用程序運行在用戶空間。兩者不能簡單地使用指針傳遞數(shù)據(jù)，因為Linux使用的虛擬內(nèi)存機制，用戶空間的數(shù)據(jù)可能被換出，當內(nèi)核空間使用用戶空間指針時，對應的數(shù)據(jù)可能不在內(nèi)存中。用戶空間的內(nèi)存映射采用段頁式，而內(nèi)核空間有自己的規(guī)則；本文旨在探討內(nèi)核空間的地址映射。
• os分配給每個進程一個獨立的、連續(xù)的、虛擬的地址內(nèi)存空間，該大小一般是4G（32位操作系統(tǒng)，即2的32次方），其中將高地址值的內(nèi)存空間分配給os占用，linux os占用1G，window os占用2G；其余內(nèi)存地址空間分配給進程使用。
• 通常32位Linux內(nèi)核虛擬地址空間劃分0~3G為用戶空間，3~4G為內(nèi)核空間(注意，內(nèi)核可以使用的線性地址只有1G)。注意這里是32位內(nèi)核地址空間劃分，64位內(nèi)核地址空間劃分是不同的。

?

?

• 進程尋址空間0~4G
• 進程在用戶態(tài)只能訪問0~3G，只有進入內(nèi)核態(tài)才能訪問3G~4G ?
• 進程通過系統(tǒng)調(diào)用進入內(nèi)核態(tài)
• 每個進程虛擬空間的3G~4G部分是相同的 ?
• 進程從用戶態(tài)進入內(nèi)核態(tài)不會引起CR3的改變但會引起堆棧的改變

?

二.?Linux內(nèi)核高端內(nèi)存

1. 由來

當內(nèi)核模塊代碼或線程訪問內(nèi)存時，代碼中的內(nèi)存地址都為邏輯地址，而對應到真正的物理內(nèi)存地址，需要地址一對一的映射，如邏輯地址0xc0000003對應的物理地址為0×3，0xc0000004對應的物理地址為0×4，… …，邏輯地址與物理地址對應的關(guān)系為

物理地址 = 邏輯地址 – 0xC0000000：這是內(nèi)核地址空間的地址轉(zhuǎn)換關(guān)系，注意內(nèi)核的虛擬地址在“高端”，但是ta映射的物理內(nèi)存地址在低端。

假 設按照上述簡單的地址映射關(guān)系，那么內(nèi)核邏輯地址空間訪問為0xc0000000 ~ 0xffffffff，那么對應的物理內(nèi)存范圍就為0×0 ~ 0×40000000，即只能訪問1G物理內(nèi)存。若機器中安裝8G物理內(nèi)存，那么內(nèi)核就只能訪問前1G物理內(nèi)存，后面7G物理內(nèi)存將會無法訪問，因為內(nèi)核 的地址空間已經(jīng)全部映射到物理內(nèi)存地址范圍0×0 ~ 0×40000000。即使安裝了8G物理內(nèi)存，那么物理地址為0×40000001的內(nèi)存，內(nèi)核該怎么去訪問呢？代碼中必須要有內(nèi)存邏輯地址 的，0xc0000000 ~ 0xffffffff的地址空間已經(jīng)被用完了，所以無法訪問物理地址0×40000000以后的內(nèi)存。

顯 然不能將內(nèi)核地址空間0xc0000000 ~ 0xfffffff全部用來簡單的地址映射。因此x86架構(gòu)中將內(nèi)核地址空間劃分三部分：ZONE_DMA、ZONE_NORMAL和 ZONE_HIGHMEM。ZONE_HIGHMEM即為高端內(nèi)存，這就是內(nèi)存高端內(nèi)存概念的由來。

在x86結(jié)構(gòu)中，三種類型的區(qū)域（從3G開始計算）如下：

ZONE_DMA??????? 內(nèi)存開始的16MB

ZONE_NORMAL ??? ? 16MB~896MB

ZONE_HIGHMEM?? ? ? 896MB ~ 結(jié)束（1G）

?

2. 理解

前 面我們解釋了高端內(nèi)存的由來。 Linux將內(nèi)核地址空間劃分為三部分ZONE_DMA、ZONE_NORMAL和ZONE_HIGHMEM，高端內(nèi)存HIGH_MEM地址空間范圍為 0xF8000000 ~ 0xFFFFFFFF（896MB～1024MB）。那么如內(nèi)核是如何借助128MB高端內(nèi)存地址空間是如何實現(xiàn)訪問可以所有物理內(nèi)存？

當內(nèi)核想訪問高于896MB物理地址內(nèi)存時，從0xF8000000 ~ 0xFFFFFFFF地址空間范圍內(nèi)找一段相應大小空閑的邏輯地址空間，借用一會。借用這段邏輯地址空間，建立映射到想訪問的那段物理內(nèi)存（即填充內(nèi)核PTE頁面表），臨時用一會，用完后歸還。這樣別人也可以借用這段地址空間訪問其他物理內(nèi)存，實現(xiàn)了使用有限的地址空間，訪問所有所有物理內(nèi)存。如下圖。

例 如內(nèi)核想訪問2G開始的一段大小為1MB的物理內(nèi)存，即物理地址范圍為0×80000000 ~ 0x800FFFFF。訪問之前先找到一段1MB大小的空閑地址空間，假設找到的空閑地址空間為0xF8700000 ~ 0xF87FFFFF，用這1MB的邏輯地址空間映射到物理地址空間0×80000000 ~ 0x800FFFFF的內(nèi)存。映射關(guān)系如下：

當內(nèi)核訪問完0×80000000 ~ 0x800FFFFF物理內(nèi)存后，就將0xF8700000 ~ 0xF87FFFFF內(nèi)核線性空間釋放。這樣其他進程或代碼也可以使用0xF8700000 ~ 0xF87FFFFF這段地址訪問其他物理內(nèi)存。

從上面的描述，我們可以知道高端內(nèi)存的最基本思想：借一段地址空間，建立臨時地址映射，用完后釋放，達到這段地址空間可以循環(huán)使用，訪問所有物理內(nèi)存。

看到這里，不禁有人會問：萬一有內(nèi)核進程或模塊一直占用某段邏輯地址空間不釋放，怎么辦？若真的出現(xiàn)的這種情況，則內(nèi)核的高端內(nèi)存地址空間越來越緊張，若都被占用不釋放，則沒有建立映射到物理內(nèi)存都無法訪問了。

?

3. 劃分

內(nèi)核將高端內(nèi)存劃分為3部分：VMALLOC_START~VMALLOC_END、KMAP_BASE~FIXADDR_START和FIXADDR_START~4G。

對 于高端內(nèi)存，可以通過 alloc_page() 或者其它函數(shù)獲得對應的 page，但是要想訪問實際物理內(nèi)存，還得把 page 轉(zhuǎn)為線性地址才行（為什么？想想 MMU 是如何訪問物理內(nèi)存的），也就是說，我們需要為高端內(nèi)存對應的 page 找一個線性空間，這個過程稱為高端內(nèi)存映射。

對應高端內(nèi)存的3部分，高端內(nèi)存映射有三種方式：
映射到”內(nèi)核動態(tài)映射空間”（noncontiguous memory allocation）
這種方式很簡單，因為通過 vmalloc() ，在”內(nèi)核動態(tài)映射空間”申請內(nèi)存的時候，就可能從高端內(nèi)存獲得頁面（參看 vmalloc 的實現(xiàn)），因此說高端內(nèi)存有可能映射到”內(nèi)核動態(tài)映射空間”中。

持久內(nèi)核映射（permanent kernel mapping）
如果是通過 alloc_page() 獲得了高端內(nèi)存對應的 page，如何給它找個線性空間？
內(nèi)核專門為此留出一塊線性空間，從 PKMAP_BASE 到 FIXADDR_START ，用于映射高端內(nèi)存。在 2.6內(nèi)核上，這個地址范圍是 4G-8M 到 4G-4M 之間。這個空間起叫”內(nèi)核永久映射空間”或者”永久內(nèi)核映射空間”。這個空間和其它空間使用同樣的頁目錄表，對于內(nèi)核來說，就是 swapper_pg_dir，對普通進程來說，通過 CR3 寄存器指向。通常情況下，這個空間是 4M 大小，因此僅僅需要一個頁表即可，內(nèi)核通過來 pkmap_page_table 尋找這個頁表。通過 kmap()，可以把一個 page 映射到這個空間來。由于這個空間是 4M 大小，最多能同時映射 1024 個 page。因此，對于不使用的的 page，及應該時從這個空間釋放掉（也就是解除映射關(guān)系），通過 kunmap() ，可以把一個 page 對應的線性地址從這個空間釋放出來。

臨時映射（temporary kernel mapping）
內(nèi)核在 FIXADDR_START 到 FIXADDR_TOP 之間保留了一些線性空間用于特殊需求。這個空間稱為”固定映射空間”在這個空間中，有一部分用于高端內(nèi)存的臨時映射。

這塊空間具有如下特點：
（1）每個 CPU 占用一塊空間
（2）在每個 CPU 占用的那塊空間中，又分為多個小空間，每個小空間大小是 1 個 page，每個小空間用于一個目的，這些目的定義在 kmap_types.h 中的 km_type 中。

當要進行一次臨時映射的時候，需要指定映射的目的，根據(jù)映射目的，可以找到對應的小空間，然后把這個空間的地址作為映射地址。這意味著一次臨時映射會導致以前的映射被覆蓋。通過 kmap_atomic() 可實現(xiàn)臨時映射。

?

三. 其他

1、用戶空間（進程）是否有高端內(nèi)存概念？

用戶進程沒有高端內(nèi)存概念。只有在內(nèi)核空間才存在高端內(nèi)存。用戶進程最多只可以訪問3G物理內(nèi)存，而內(nèi)核進程可以訪問所有物理內(nèi)存。

2、64位內(nèi)核中有高端內(nèi)存嗎？

目前現(xiàn)實中，64位Linux內(nèi)核不存在高端內(nèi)存，因為64位內(nèi)核可以支持超過512GB內(nèi)存。若機器安裝的物理內(nèi)存超過內(nèi)核地址空間范圍，就會存在高端內(nèi)存。

3、用戶進程能訪問多少物理內(nèi)存？內(nèi)核代碼能訪問多少物理內(nèi)存？

32位系統(tǒng)用戶進程最大可以訪問3GB，內(nèi)核代碼可以訪問所有物理內(nèi)存。

64位系統(tǒng)用戶進程最大可以訪問超過512GB，內(nèi)核代碼可以訪問所有物理內(nèi)存。

4、高端內(nèi)存和物理地址、邏輯地址、線性地址的關(guān)系？

高端內(nèi)存只和邏輯地址有關(guān)系，和邏輯地址、物理地址沒有直接關(guān)系。