linux内存映射mmap原理分析

Linux的mmap文件内存映射机制

在讲述文件映射的概念时，不可避免的要牵涉到虚存（SVR 4的VM）。实际上，文件映射是虚存的中心概念，文件映射一方面给用户提供了一组措施，好似用户将文件映射到自己地址空间的某个部分，使用简单的内存访问指令读写文件；另一方面，它也可以用于内核的基本组织模式，在这种模式中，内核将整个地址空间视为诸如文件之类的一组不同对象的映射。Linux中的传统文件访问方式是， 首先用open系统调用打开文件，然后使用read，write以及lseek等调用进行顺序或者随即的I/O.这种方式是非常低效的，每一次I/O操作都需要一次系统调用。另外，如果若干个进程访问同一个文件，每个进程都要在自己的地址空间维护一个副本，浪费了内存空间。而如果能够通过一定的机制将页面映射到进程的地址空间中，也就是说首先通过简单的产生某些内存管理数据结构完成映射的创建。当进程访问页面时产生一个缺页中断，内核将页面读入内存并且更新页表指向该页面。而且这种方式非常方便于同一副本的共享。

VM是面向对象的方法设计的，这里的对象是指内存对象：内存对象是一个软件抽象的概念，它描述内存区与后备存储之间的映射。系统可以使用多种类型的后备存储，比如交换空间，本

几乎每一种外设都是通过读写设备上的寄存器来进行的。外设寄存器也称为“I/O端口”，通常包括：控制寄存器、状态寄存器和数据寄存器三大类，而且一个外设的寄存器通常被连续地编址。CPU对外设IO端口物理地址的编址方式有两种：一种是I/O映射方式（I/O－mapped），另一种是内存映射方式（Memory－mapped）。而具体采用哪一种则取决于CPU的体系结构。

有些体系结构的CPU（如，PowerPC、m68k等）通常只实现一个物理地址空间（RAM）。在这种情况下，外设I/O端口的物理地址就被映射到CPU的单一物理地址空间中，而成为内存的一部分。此时，CPU可以象访问一个内存单元那样访问外设I/O端口，而不需要设立专门的外设I/O指令。这就是所谓的“内存映射方式”（Memory－mapped）。

而另外一些体系结构的CPU（典型地如X86）则为外设专门实现了一个单独地地址空间，称为“I/O地址空间”或者“I/O端口空间”。这是一个与CPU地RAM物理地址空间不同的地址空间，所有外设的I/O端口均在这一空间中进行编址。CPU通过设立专门的I/O指令（如X86的IN和OUT指令）来访问这一空间中的地址单元（也即I/O端口）。这就是所谓的“I/

几乎每一种外设都是通过读写设备上的寄存器来进行的。外设寄存器也称为“I/O端口”，通常包括：控制寄存器、状态寄存器和数据寄存器三大类，而且一个外设的寄存器通常被连续地编址。CPU对外设IO端口物理地址的编址方式有两种：一种是I/O映射方式（I/O－mapped），另一种是内存映射方式（Memory－mapped）。而具体采用哪一种则取决于CPU的体系结构。

有些体系结构的CPU（如，PowerPC、m68k等）通常只实现一个物理地址空间（RAM）。在这种情况下，外设I/O端口的物理地址就被映射到CPU的单一物理地址空间中，而成为内存的一部分。此时，CPU可以象访问一个内存单元那样访问外设I/O端口，而不需要设立专门的外设I/O指令。这就是所谓的“内存映射方式”（Memory－mapped）。

而另外一些体系结构的CPU（典型地如X86）则为外设专门实现了一个单独地地址空间，称为“I/O地址空间”或者“I/O端口空间”。这是一个与CPU地RAM物理地址空间不同的地址空间，所有外设的I/O端口均在这一空间中进行编址。CPU通过设立专门的I/O指令（如X86的IN和OUT指令）来访问这一空间中的地址单元（也即I/O端口）。这就是所谓的“I/

第三章 存储管理

存储管理子系统时操作系统中最重要的组成部分之一。在早期计算时代，由于人们所需要的内存数目远远大于物理内存，人们设计出了各种各样的策略来解决此问题，其中最成功的是虚拟内存技术。它使得系统中为有限物理内存竞争的进程所需内存空间得到满足。

虚拟内存技术不仅仅可让我们可以使用更多的内存，它还提供了以下功能： 巨大的寻址空间

操作系统让系统看上去有比实际内存大得多的内存空间。虚拟内存可以是系统中实际物理空间的许多倍。每个进程运行在其独立的虚拟地址空间中。这些虚拟空间相互之间都完全隔离开来，所以进程间不会互相影响。同时，硬件虚拟内存机构可以将内存的某些区域设置成不可写。这样可以保护代码与数据不会受恶意程序的干扰。 内存映射

内存映射技术可以将映象文件和数据文件直接映射到进程的地址空间。在内存映射中，文件的内容被直接连接到进程虚拟地址空间上。 公平的物理内存分配

内存管理子系统允许系统中每个运行的进程公平地共享系统中的物理内存。 共享虚拟内存

尽管虚拟内存允许进程有其独立的虚拟地址空间，但有时也需要在进程之间共享内存。 例如有可能系统中有几个进程同时运行BASH命令外壳程序。为了避免在每个进程的虚拟内存空间内都存在BAS

13. 内存管理

13.1. 引言

Linux对物理内存的描述机制有两种：UMA和NUMA。Linux把物理内存划分为三个层次来管理：存储节点（Node）、管理区（Zone）和页面 （Page）。UMA对应一致存储结构，它只需要一个Node就可以描述当前系统中的物理内存，但是NUMA的出现打破了这种平静，此时需要多个 Node，它们被统一定义为一个名为discontig_node_data的数组。为了和UMA兼容，就将描述UMA存储结构的描述符 contig_page_data放到该数组的第一个元素中。内核配置选项

CONFIG_NUMA决定了当前系统是否支持NUMA机制。此时无论UMA还 是NUMA，它们都是对应到一个类型为pg_data_t的数组中，便于统一管理。 图 71. Node Zone和Page的关系

上图描述Linux管理物理内存的三个层次之间的拓扑关系。从图中可以看出一个存储节点由pg_data_t描述，一个UMA系统中只有一个Node，而 在NUMA中则可以存在多个Node。它由CONFIG_NODES_SHIFT配置选项决定，它是CONFIG_NUMA的子选项，所以只有配置了 CONFIG_NUMA，该选项才起作用。UMA

一． 引言

浅谈Linux内存管理

KiTann

2010-7-16

首先以应用程序开发者的角度审视Linux的进程内存管理,在吃基础上逐步深入到内核中讨论系统物理内存管理和内核内存的使用方法。

二． 基本知识

首先简单的介绍下理解linux内核编程的一些基本知识，当然也可以跳过这一节，你自

认为都比较熟悉的。 (1) AT&T 汇编

1. 基本语法

1) 赋值方向：movl ?x,êx ---- 方向从左到右。这个是与INTEL汇编醉

倒的区别。

2) 指令前缀：movl $1,êx ---- $立即数前需要加前缀”$”.

Rep Scasb

--- rep 表示重复执行下一条指令。

3) 简介寻址：instr %segreg:disp(base,index,scale),foo

表示Segreg:[base+index*scale+disp]

4) 指令后缀：movw, movb,movl 表示赋值的长度。

2. 内嵌汇编

1) 简介：_asm_ _volatitle_(“hlt”);

“_asm_”: 表示后面的代码为内嵌汇编

“_volatitle_”: 表示编译器不要优化代码，后面的指令保留原样。 请参

高中物理教学艺术

VC 中使用内存映射文件处理大文件.txt
原地址：
文件操作是应用程序最为基本的功能之一，win32 api和mfc均提供有支持文件处理的函数和类，常用的有win32 api的createfile()、writefile()、readfile()和mfc提供的cfile类等。一般来说，以上这些函数可以满足大多数场合的要求，但是对于某些特殊应用领域所需要的动辄几十gb、几百gb、乃至几tb的海量存储，再以通常的文件处理方法进行处理显然是行不通的。目前，对于上述这种大文件的操作一般是以内存映射文件的方式来加以处理的，本文下面将针对这种windows核心编程技术展开讨论。
　　内存映射文件
　　内存映射文件与虚拟内存有些类似，通过内存映射文件可以保留一个地址空间的区域，同时将物理存储器提交给此区域，只是内存文件映射的物理存储器来自一个已经存在于磁盘上的文件，而非系统的页文件，而且在对该文件进行操作之前必须首先对文件进行映射，就如同将整个文件从磁盘加载到内存。由此可以看出，使用内存映射文件处理存储于磁盘上的文件时，将不必再对文件执行i/o操作，这意味着在对文件进行处理时将不必再为文件申请并分配缓存，所有的文件缓存操作均由系统直接管理，由于取

广州大学学生实验报告

开课学院及实验室：计算机科学与工程实验室 学院 计算机科学与教育软件学院 2014年11月19日 姓名 学号 年级/专业/班 实验课程名称 实验项目名称

操作系统实验 Linux下的内存分配与回收的管理 成绩 指导老师 张艳玲 一、实验目的

在Linux环境下利用下列系统调用malloc()， free()编写一段程序实现内存分配与回收的管理。 二、实验器材

1、计算机一台。 2、Linux

三、实验内容

1. 返回已分配给变量的内存地址； 2. 返回释放后的内存地址；

3. 释放已分配的内存空间后，返回释放内存后未使用内存的大小。

四、实验步骤、记录和结果

源代码有错，不能正常运行，使用纯C语言，修改正如下。

黄色底色的为新增代码 新增注释为绿色底色

#include /* For _MAX_PATH definition */ #include //#include //#include #include //void main() int main() {

// int *string; char *string;

// string =(int*) m

实验五 内存管理实验

1. 目的要求

（1） 学习使用内存管理库函数。 （2） 学习分析、改正内存错误。

2. 实验内容

（1） 内存库函数实验 ?

malloc函数

原型：extern void *malloc(unsigned int num_bytes); 头文件：#include

功能：分配长度为num_bytes字节的内存块。

说明：如果分配成功则返回指向被分配内存的指针，否则返回空指针NULL。当内存不再使用时，应使用free()函数将内存块释放。 举例：运行程序清单5-1，写明运行结果： _

?

______________________________________________________________________________________________________________________________________________________________ calloc函数

原型：extern void *calloc(int num_elems, int elem_size); 头文件：#include

功能：为具有num_elems个长度为elem_size元素的数组分

Java内存分配原理

Java内存分配与管理是Java的核心技术之一，之前我们曾介绍过Java的内存管理与内存泄露以及Java垃圾回收方面的知识，今天我们再次深入Java核心，详细介绍一下Java在内存分配方面的知识。一般Java在内存分配时会涉及到以下区域： ◆寄存器：我们在程序中无法控制

◆栈：存放基本类型的数据和对象的引用，但对象本身不存放在栈中，而是存放在堆中 ◆堆：存放用new产生的数据

◆静态域：存放在对象中用static定义的静态成员 ◆常量池：存放常量

◆非RAM存储：硬盘等永久存储空间 Java内存分配中的栈

在函数中定义的一些基本类型的变量数据和对象的引用变量都在函数的栈内存中分配。

当在一段代码块定义一个变量时，Java就在栈中 为这个变量分配内存空间，当该变量退出该作用域后，Java会自动释放掉为该变量所分配的内存空间，该内存空间可以立即被另作他用。 Java内存分配中的堆

堆内存用来存放由new创建的对象和数组。 在堆中分配的内存，由Java虚拟机的自动垃圾回收器来管理。 在堆中产生了一个数组或对象后，还可以 在栈中定义一个特殊的变量，让栈中这个变量的取值等于数组或对象在堆内存中的首地址，栈中的这个变量就成了数组