linux编程共享内存

① 架构师进阶：linux进程间如何共享内存

共享内存 IPC 原理
共享内存进程间通信机制主要用于实现进程间大量的数据传输，下图所示为进程间使用共享内存实现大量数据传输的示意图：

640

共享内存是在内存中单独开辟的一段内存空间，这段内存空间有自己特有的数据结构，包括访问权限、大小和最近访问的时间等。该数据结构定义如下：

from /usr/include/linux/shm.h
struct shmid_ds {
struct ipc_perm shm_perm; /* operation perms 操作权限 */
int shm_segsz; /* size of segment (bytes) 段长度大小 */
__kernel_time_t shm_atime; /* last attach time 最近attach时间 */
__kernel_time_t shm_dtime; /* last detach time 最近detach时间 */
__kernel_time_t shm_ctime; /* last change time 最近change时间 */
__kernel_ipc_pid_t shm_cpid; /* pid of creator 创建者pid */
__kernel_ipc_pid_t shm_lpid; /* pid of last operator 最近操作pid */
unsigned short shm_nattch; /* no. of current attaches */
unsigned short shm_unused; /* compatibility */
void *shm_unused2; /* ditto - used by DIPC */
void *shm_unused3; /* unused */|
};
两个进程在使用此共享内存空间之前，需要在进程地址空间与共享内存空间之间建立联系，即将共享内存空间挂载到进程中。

系统对共享内存做了以下限制：

#define SHMMAX 0x2000000 /* max shared seg size (bytes) 最大共享段大小 */

#define SHMMIN 1 /* min shared seg size (bytes) 最小共享段大小 */

#define SHMMNI 4096 /* max num of segs system wide */

#define SHMALL (SHMMAX/getpagesize()*(SHMMNI/16))|

define SHMSEG SHMMNI /* max shared segs per process */

Linux 共享内存管理
1.创建共享内存

#include <sys/ipc.h> #include <sys/shm.h>
/*
* 第一个参数为 key 值，一般由 ftok() 函数产生
* 第二个参数为欲创建的共享内存段大小(单位为字节)
* 第三个参数用来标识共享内存段的创建标识
*/

int shmget(key_t key, size_t size, int shmflg);
2.共享内存控制

#include <sys/ipc.h> #include <sys/shm.h>
/*
* 第一个参数为要操作的共享内存标识符
* 第二个参数为要执行的操作
* 第三个参数为 shmid_ds 结构的临时共享内存变量信息
*/

int shmctl(int shmid, int cmd, struct shmid_ds *buf);
3.映射共享内存对象

系统调用 shmat() 函数实现将一个共享内存段映射到调用进程的数据段中，并返回内存空间首地址，其函数声明如下：

#include <sys/types.h>

#include <sys/shm.h>
/*
* 第一个参数为要操作的共享内存标识符
* 第二个参数用来指定共享内存的映射地址，非0则为此参数，为0的话由系统分配
* 第三个参数用来指定共享内存段的访问权限和映射条件
*/

void *shmat(int shmid, const void *shmaddr, int shmflg);
4.分离共享内存对象

在使用完毕共享内存空间后，需要使用 shmdt() 函数调用将其与当前进程分离。函数声明如下：

#include <sys/types.h>

#include <sys/shm.h>
/*
* 参数为分配的共享内存首地址
*/

int shmdt(const void *shmaddr);

共享内存在父子进程间遵循的约定
1.使用 fork() 函数创建一个子进程后，该进程继承父亲进程挂载的共享内存。

2.如果调用 exec() 执行一个新的程序，则所有挂载的共享内存将被自动卸载。

3.如果在某个进程中调用了 exit() 函数，所有挂载的共享内存将与当前进程脱离关系。

程序实例
申请一段共享内存，父进程在首地址处存入一整数，子进程读出。

#include

#include <sys/ipc.h>

#include <sys/shm.h>

#include <sys/types.h>

#include

#include

#define SHM_SIZE 1024

int main()

{

int shm_id, pid;

int *ptr = NULL;
/* 申请共享内存 */

shm_id = shmget((key_t)1004, SHM_SIZE, IPC_CREAT | 0600);
/* 映射共享内存到进程地址空间 */

ptr = (int*)shmat(shm_id, 0, 0);

printf("Attach addr is %p ", ptr);

*ptr = 1004;

printf("The Value of Parent is : %d ", *ptr);

if((pid=fork()) == -1){

perror("fork Err");

exit(0);

}

else if(!pid){
printf("The Value of Child is : %d ", *ptr);
exit(0);
}else{
sleep(1);
/* 解除映射 */

shmdt(ptr);
/* 删除共享内存 */

shmctl(shm_id, IPC_RMID, 0);
}
return 0;
}
输出结果：

640

② 探讨一下 Linux 共享内存的 N 种方式

关于 Linux 共享内存，写得最好的应该是宋宝华的 《世上最好的共享内存》 一文。

本文可以说是对这篇文章的学习笔记，顺手练习了一下 rust libc —— shichaoyuan/learn_rust/linux-shmipc-demo

按照宋宝华的总结，当前有四种主流的共享内存方式：

前两种方式比较符合传统的用法，共享内存做为进程间通信的媒介。
第三种方式更像是通过传递内存“句柄”进行数据传输。
第四种方式是为设备间传递数据设计，避免内存拷贝，直接传递内存“句柄”。

这里尝试了一下第二种和第三种方式。

这套 API 应该是最普遍的 —— shm_open + mmap，本质上来说 Aeron 也是用的这种方式（关于 Aeron 可以参考 我之前的文章 ）。

看一下 glibc 中 shm_open 函数的实现就一清二楚了：

shm_open 函数就是在 /dev/shm 目录下建文件，该目录挂载为 tmpfs，至于 tmpfs 可以简单理解为存储介质是内存的一种文件系统，更准确的理解可以参考官方文档 tmpfs.txt 。

然后通过 mmap 函数将 tmpfs 文件映射到用户空间就可以随意操作了。

优点：
这种方式最大的优势在于共享的内存是有“实体”（也就是 tmpfs 中的文件）的，所以多个进程可以很容易通过文件名这个信息构建共享内存结构，特别适合把共享内存做为通信媒介的场景（例如 Aeron ）。

缺点：
如果非要找一个缺点的话，可能是，文件本身独立于进程的生命周期，在使用完毕后需要注意删除文件（仅仅 close 是不行的），否则会一直占用内存资源。

memfd_create 函数的作用是创建一个匿名的文件，返回对应的 fd，这个文件当然不普通，它存活在内存中。更准确的理解可以参考官方文档 memfd_create(2) 。

直观理解，memfd_create 与 shm_open 的作用是一样的，都是创建共享内存实体，只是 memfd_create 创建的实体是匿名的，这就带了一个问题：如何让其它进程获取到匿名的实体？shm_open 方式有具体的文件名，所以可以通过打开文件的方式获取，那么对于匿名的文件怎么处理呢？

答案是：通过 Unix Domain Socket 传递 fd。

rust 的 UDS 实现：
rust 在 std 中已经提供了 UDS 的实现，但是关于传递 fd 的 send_vectored_with_ancillary 函数还属于 nightly-only experimental API 阶段。所以这里使用了一个三方 crate —— sendfd ，坦白说可以自己实现一下，使用 libc 构建好 SCM_RIGHTS 数据，sendmsg 出去即可，不过细节还是挺多，我这里就放弃了。

这套 API 设计更灵活，直接拓展了我的思路，本来还是受限于 Aeron 的用法，如果在这套 API 的加持下，是否可以通过传递数据包内存块（fd）真正实现零拷贝呢？

优点：
灵活。

缺点：
无

③ linux共享内存的示例程序

代码 5.1 中的程序展示了共享内存块的使用。
代码 5.1 (shm.c) 尝试共享内存
#include <stdio.h>
#include <sys/shm.h>
#include <sys/stat.h>
int main()
{
int segment_id;
char* shared_memory;
struct shmid_ds shmbuffer;
int segment_size;
const int shared_segment_size = 0x6400; /* 分配一个共享内存块 */
segment_id = shmget(IPC_PRIVATE, shared_segment_size, IPC_CREAT|IPC_EXCL|S_IRUSR|S_IWUSR ); /* 绑定到共享内存块 */
shared_memory = (char*)shmat(segment_id, 0, 0);
printf(shared memory attached at address %p , shared_memory); /* 确定共享内存的大小 */
shmctl(segment_id, IPC_STAT, &shmbuffer);
segment_size = shmbuffer.shm_segsz;
printf(segment size: %d , segment_size);
sprintf(shared_memory, Hello, world.); /* 在共享内存中写入一个字符串 */
shmdt(shared_memory); /* 脱离该共享内存块 */
shared_memory = (char*)shmat(segment_id, (void*) 0x500000, 0);/* 重新绑定该内存块 */
printf(shared memory reattached at address %p , shared_memory);
printf(%s , shared_memory); /* 输出共享内存中的字符串 */
shmdt(shared_memory); /* 脱离该共享内存块 */
shmctl(segment_id, IPC_RMID, 0);/* 释放这个共享内存块 */
return 0;
}

④ 如何设置LINUX的共享内存

我们可以修改shmmax内核参数，使SGA存在于一个共享内存段中。
通过修改/proc/sys/kernel/shmmax参数可以达到此目的。
[root@neirong root]# echo 1073741824 > /proc/sys/kernel/shmmax
[root@neirong root]# more /proc/sys/kernel/shmmax
1073741824这里设为1G。
对于shmmax文件的修改，系统重新启动后会复位。可以通过修改 /etc/sysctl.conf 使更改永久化。
在该文件内添加以下一行 kernel.shmmax = 1073741824 这个更改在系统重新启动后生效.
1、设置 SHMMAX
SHMMAX
参数定义共享内存段的最大尺寸（以字节为单位）。在设置 SHMMAX 时，切记 SGA 的大小应该适合于一个共享内存段。 SHMMAX 设置不足可能会导致以下问题：
ORA-27123:unable to attach to shared memory segment
您可以通过执行以下命令来确定 SHMMAX 的值：
# cat /proc/sys/kernel/shmmax

⑤ 如何设置LINUX的共享内存

可以修改shmmax内核参数，使SGA存在于一个共享内存段中。
通过修改/proc/sys/kernel/shmmax参数可以达到此目的。
[root@neirong root]# echo 1073741824 > /proc/sys/kernel/shmmax
[root@neirong root]# more /proc/sys/kernel/shmmax
1073741824这里设为1G。
对于shmmax文件的修改，系统重新启动后会复位。可以通过修改 /etc/sysctl.conf 使更改永久化。
在该文件内添加以下一行 kernel.shmmax = 1073741824 这个更改在系统重新启动后生效.
1、设置 SHMMAX
SHMMAX
参数定义共享内存段的最大尺寸（以字节为单位）。在设置 SHMMAX 时，切记 SGA 的大小应该适合于一个共享内存段。 SHMMAX 设置不足可能会导致以下问题：
ORA-27123:unable to attach to shared memory segment
您可以通过执行以下命令来确定 SHMMAX 的值：
# cat /proc/sys/kernel/shmmax
33554432
SHMMAX 的默认值是 32MB 。我一般使用下列方法之一种将 SHMMAX 参数设为 2GB ：
通过直接更改 /proc 文件系统，你不需重新启动机器就可以改变 SHMMAX 的默认设置。我使用的方法是将以下命令放入 /etc/rc.local 启动文件中：
# >echo "2147483648" > /proc/sys/kernel/shmmax
您还可以使用 sysctl 命令来更改 SHMMAX 的值：
# sysctl -w kernel.shmmax=2147483648
最后，通过将该内核参数插入到 /etc/sysctl.conf 启动文件中，您可以使这种更改永久有效：
# echo "kernel.shmmax=2147483648" >> /etc/sysctl.conf
2、设置 SHMMNI
我们现在来看 SHMMNI 参数。这个内核参数用于设置系统范围内共享内存段的最大数量。该参数的默认值是 4096 。这一数值已经足够，通常不需要更改。
您可以通过执行以下命令来确定 SHMMNI 的值：
# cat /proc/sys/kernel/shmmni
4096
3、设置 SHMALL
最后，我们来看 SHMALL 共享内存内核参数。该参数控制着系统一次可以使用的共享内存总量（以页为单位）。简言之，该参数的值始终应该至少为：
ceil(SHMMAX/PAGE_SIZE)
SHMALL 的默认大小为 2097152 ，可以使用以下命令进行查询：
# cat /proc/sys/kernel/shmall
2097152
SHMALL 的默认设置对于我们的 Oracle9 i RAC 安装来说应该足够使用。
注意： 在 i386 平台上 Red Hat Linux 的 页面大小 为 4096 字节。但是，您可以使用 bigpages ，它支持配置更大的内存页面尺寸。

⑥ 如何设置LINUX的共享内存

我们可以修改shmmax内核参数，使SGA存在于一个共享内存段中。
通过修改/proc/sys/kernel/shmmax参数可以达到此目的。
[root@neirong root]# echo 1073741824 > /proc/sys/kernel/shmmax
[root@neirong root]# more /proc/sys/kernel/shmmax
1073741824这里设为1G。
对于shmmax文件的修改，系统重新启动后会复位。可以通过修改 /etc/sysctl.conf 使更改永久化。
在该文件内添加以下一行 kernel.shmmax = 1073741824 这个更改在系统重新启动后生效.
1、设置 SHMMAX
SHMMAX
参数定义共享内存段的最大尺寸（以字节为单位）。在设置 SHMMAX 时，切记 SGA 的大小应该适合于一个共享内存段。 SHMMAX 设置不足可能会导致以下问题：
ORA-27123:unable to attach to shared memory segment
您可以通过执行以下命令来确定 SHMMAX 的值：
# cat /proc/sys/kernel/shmmax
33554432
SHMMAX 的默认值是 32MB 。我一般使用下列方法之一种将 SHMMAX 参数设为 2GB ：
通过直接更改 /proc 文件系统，你不需重新启动机器就可以改变 SHMMAX 的默认设置。我使用的方法是将以下命令放入 /etc/rc.local 启动文件中：
# >echo "2147483648" > /proc/sys/kernel/shmmax
您还可以使用 sysctl 命令来更改 SHMMAX 的值：
# sysctl -w kernel.shmmax=2147483648
最后，通过将该内核参数插入到 /etc/sysctl.conf 启动文件中，您可以使这种更改永久有效：
# echo "kernel.shmmax=2147483648" >> /etc/sysctl.conf
2、设置 SHMMNI
我们现在来看 SHMMNI 参数。这个内核参数用于设置系统范围内共享内存段的最大数量。该参数的默认值是 4096 。这一数值已经足够，通常不需要更改。
您可以通过执行以下命令来确定 SHMMNI 的值：
# cat /proc/sys/kernel/shmmni
4096
3、设置 SHMALL
最后，我们来看 SHMALL 共享内存内核参数。该参数控制着系统一次可以使用的共享内存总量（以页为单位）。简言之，该参数的值始终应该至少为：
ceil(SHMMAX/PAGE_SIZE)
SHMALL 的默认大小为 2097152 ，可以使用以下命令进行查询：
# cat /proc/sys/kernel/shmall
2097152
SHMALL 的默认设置对于我们的 Oracle9 i RAC 安装来说应该足够使用。
注意： 在 i386 平台上 Red Hat Linux 的 页面大小 为 4096 字节。但是，您可以使用 bigpages ，它支持配置更大的内存页面尺寸。

⑦ linux共享内存的分配

进程通过调用shmget（Shared Memory GET，获取共享内存）来分配一个共享内存块。
该函数的第一个参数是一个用来标识共享内存块的键值。彼此无关的进程可以通过指定同一个键以获取对同一个共享内存块的访问。不幸的是，其它程序也可能挑选了同样的特定值作为自己分配共享内存的键值，从而产生冲突。用特殊常量IPC_PRIVATE作为键值可以保证系统建立一个全新的共享内存块。
该函数的第二个参数指定了所申请的内存块的大小。因为这些内存块是以页面为单位进行分配的，实际分配的内存块大小将被扩大到页面大小的整数倍。
第三个参数是一组标志，通过特定常量的按位或操作来shmget。这些特定常量包括：
IPC_CREAT：这个标志表示应创建一个新的共享内存块。通过指定这个标志，我们可以创建一个具有指定键值的新共享内存块。
IPC_EXCL：这个标志只能与 IPC_CREAT 同时使用。当指定这个标志的时候，如果已有一个具有这个键值的共享内存块存在，则shmget会调用失败。也就是说，这个标志将使线程获得一个“独有”的共享内存块。如果没有指定这个标志而系统中存在一个具有相同键值的共享内存块，shmget会返回这个已经建立的共享内存块，而不是重新创建一个。
模式标志：这个值由9个位组成，分别表示属主、属组和其它用户对该内存块的访问权限。其中表示执行权限的位将被忽略。指明访问权限的一个简单办法是利用<sys/stat.h>中指定，并且在手册页第二节stat条目中说明了的常量指定。例如，S_IRUSR和S_IWUSR分别指定了该内存块属主的读写权限，而 S_IROTH和S_IWOTH则指定了其它用户的读写权限。 下面例子中shmget函数创建了一个新的共享内存块（当shm_key已被占用时则获取对一个已经存在共享内存块的访问），且只有属主对该内存块具有读写权限，其它用户不可读写。
int segment_id = shmget (shm_key, getpagesize (), IPC_CREAT | S_IRUSR| S_IWUSR ); 如果调用成功，shmget将返回一个共享内存标识符。如果该共享内存块已经存在，系统会检查访问权限，同时会检查该内存块是否被标记为等待摧毁状态。

⑧ 如何设置linux的共享内存

首先先使用shmget建立一块共享内存,然后向该内存中写入数据并返回该共享内存shmid
使用另一个程序通过上一程序返回的shmid读该共享内存内的数据
建立共享内存并写入数据的程序

#include<stdio.h>
#include<string.h>
#include<sys/ipc.h>
#include<sys/shm.h>
#include<stdlib.h>
#include<errno.h>
voidget_buf(char*buf)
{
inti=0;
while((buf[i]=getchar())!='
'&&i<1024)
i++;
}
intmain(void)
{
intshmid;
shmid=shmget(IPC_PRIVATE,sizeof(char)*1024,IPC_CREAT|0666);
if(shmid==-1)
{
perror("shmget");
}
char*buf;
if((int)(buf=shmat(shmid,NULL,0))==-1)
{
perror("shmat");
exit(1);
}
get_buf(buf);
printf("%d
",shmid);
return0;
}
读取数据的程序
#include<stdio.h>
#include<sys/ipc.h>
#include<sys/shm.h>
#include<stdlib.h>
intmain(intargc,char**argv)
{
intshmid;
shmid=atoi(argv[1]);
char*buf;
if((int)(buf=shmat(shmid,NULL,0))==-1)
{
perror("shmat");
exit(1);
}
printf("%s
",buf);
shmdt(buf);
return0;
}

命令行的第一个参数设为第一个程序输出的数字
如

使用完以后可以使用
ipcrm -m 19562507
来删除该共享内存

⑨ linux共享内存使用的过程

Linux共享内存使用的过程？

一、什么是共享内存
顾名思义，共享内存就是允许两个不相关的进程访问同一个逻辑内存。共享内存是在两个正在运行的进程之间共享和传递数据的一种非常有效的方式。不同进程之间共享的内存通常安排为同一段物理内存。进程可以将同一段共享内存连接到它们自己的地址空间中，所有进程都可以访问共享内存中的地址，就好像它们是由用C语言函数malloc分配的内存一样。而如果某个进程向共享内存写入数据，所做的改动将立即影响到可以访问同一段共享内存的任何其他进程。

特别提醒：共享内存并未提供同步机制，也就是说，在第一个进程结束对共享内存的写操作之前，并无自动机制可以阻止第二个进程开始对它进行读取。所以我们通常需要用其他的机制来同步对共享内存的访问，例如前面说到的信号量。

二、共享内存的使用
与信号量一样，在Linux中也提供了一组函数接口用于使用共享内存，而且使用共享共存的接口还与信号量的非常相似，而且比使用信号量的接口来得简单。它们声明在头文件 sys/shm.h中。
1、shmget函数
该函数用来创建共享内存，它的原型为：
int shmget(key_t key, size_t size, int shmflg);
第一个参数，与信号量的semget函数一样，程序需要提供一个参数key（非0整数），它有效地为共享内存段命名，shmget函数成功时返回一个与key相关的共享内存标识符（非负整数），用于后续的共享内存函数。调用失败返回-1.

不相关的进程可以通过该函数的返回值访问同一共享内存，它代表程序可能要使用的某个资源，程序对所有共享内存的访问都是间接的，程序先通过调用shmget函数并提供一个键，再由系统生成一个相应的共享内存标识符（shmget函数的返回值），只有shmget函数才直接使用信号量键，所有其他的信号量函数使用由semget函数返回的信号量标识符。

第二个参数，size以字节为单位指定需要共享的内存容量

第三个参数，shmflg是权限标志，它的作用与open函数的mode参数一样，如果要想在key标识的共享内存不存在时，创建它的话，可以与IPC_CREAT做或操作。共享内存的权限标志与文件的读写权限一样，举例来说，0644,它表示允许一个进程创建的共享内存被内存创建者所拥有的进程向共享内存读取和写入数据，同时其他用户创建的进程只能读取共享内存。