⑴ 關於linux下的select/epoll
select這個系統調用的原型如下
第一個參數nfds用來告訴內核 要掃描的socket fd的數量+1 ,select系統調用最大接收的數量是1024,但是如果每次都去掃描1024,實際上的數量並不多,則效率太低,這里可以指定需要掃描的數量。 最大數量為1024,如果需要修改這個數量,則需要重新編譯Linux內核源碼。
第2、3、4個參數分別是readfds、writefds、exceptfds,傳遞的參數應該是fd_set 類型的引用,內核會檢測每個socket的fd, 如果沒有讀事件,就將對應的fd從第二個參數傳入的fd_set中移除,如果沒有寫事件,就將對應的fd從第二個參數的fd_set中移除,如果沒有異常事件,就將對應的fd從第三個參數的fd_set中移除 。這里我們應該 要將實際的readfds、writefds、exceptfds拷貝一份副本傳進去,而不是傳入原引用,因為如果傳遞的是原引用,某些socket可能就已經丟失 。
最後一個參數是等待時間, 傳入0表示非阻塞,傳入>0表示等待一定時間,傳入NULL表示阻塞,直到等到某個socket就緒 。
FD_ZERO()這個函數將fd_set中的所有bit清0,一般用來進行初始化等。
FD_CLR()這個函數用來將bitmap(fd_set )中的某個bit清0,在客戶端異常退出時就會用到這個函數,將fd從fd_set中刪除。
FD_ISSET()用來判斷某個bit是否被置1了,也就是判斷某個fd是否在fd_set中。
FD_SET()這個函數用來將某個fd加入fd_set中,當客戶端新加入連接時就會使用到這個函數。
epoll_create系統調用用來創建epfd,會在開辟一塊內存空間(epoll的結構空間)。size為epoll上能關注的最大描述符數,不夠會進行擴展,size只要>0就行,早期的設計size是固定大小,但是現在size參數沒什麼用,會自動擴展。
返回值是epfd,如果為-1則說明創建epoll對象失敗 。
第一個參數epfd傳入的就是epoll_create返回的epfd。
第二個參數傳入對應操作的宏,包括 增刪改(EPOLL_CTL_ADD、EPOLL_CTL_DEL、EPOLL_CTL_MOD) 。
第三個參數傳入的是 需要增刪改的socket的fd 。
第四個參數傳入的是 需要操作的fd的哪些事件 ,具體的事件可以看後續。
返回值是一個int類型,如果為-1則說明操作失敗 。
第一個參數是epfd,也就是epoll_create的返回值。
第二個參數是一個epoll_event類型的指針,也就是傳入的是一個數組指針。 內核會將就緒的socket的事件拷貝到這個數組中,用戶可以根據這個數組拿到事件和消息等 。
第三個參數是maxevents,傳入的是 第二個參數的數組的容量 。
第四個參數是timeout, 如果設為-1一直阻塞直到有就緒數據為止,如果設為0立即返回,如果>0那麼阻塞一段時間 。
返回值是一個int類型,也就是就緒的socket的事件的數量(內核拷貝給用戶的events的元素的數量),通過這個數量可以進行遍歷處理每個事件 。
一般需要傳入 ev.data.fd 和 ev.events ,也就是fd和需要監控的fd的事件。事件如果需要傳入多個,可以通過按位與來連接,比如需要監控讀寫事件,只需要像如下這樣操作即可: ev.events=EPOLLIN | EPOLLOUT 。
LT(水平觸發), 默認 的工作模式, 事件就緒後用戶可以選擇處理和不處理,如果用戶不處理,內核會對這部分數據進行維護,那麼下次調用epoll_wait()時仍舊會打包出來 。
ET(邊緣觸發),事件就緒之後, 用戶必須進行處理 ,因為內核把事件打包出來之後就把對應的就緒事件給清掉了, 如果不處理那麼就緒事件就沒了 。ET可以減少epoll事件被重復觸發的次數,效率比LT高。
如果需要設置為邊緣觸發只需要設置事件為類似 ev.events=EPOLLIN | EPOLLET 即可 。
select/poll/epoll是nio多路復用技術, 傳統的bio無法實現C10K/C100K ,也就是無法滿足1w/10w的並發量,在這么高的並發量下,在進行上下文切換就很容易將伺服器的負載拉飛。
1.將fd_set從用戶態拷貝到內核態
2.根據fd_set掃描內存中的socket的fd的狀態,時間復雜度為O(n)
3.檢查fd_set,如果有已經就緒的socket,就給對應的socket的fd打標記,那麼就return 就緒socket的數量並喚醒當前線程,如果沒有就緒的socket就繼續阻塞當前線程直到有socket就緒才將當前線程喚醒。
4.如果想要獲取當前已經就緒的socket列表,則還需要進行一次系統調用,使用O(n)的時間去掃描socket的fd列表,將已經打上標記的socket的fd返回。
CPU在同一個時刻只能執行一個程序,通過RR時間片輪轉去切換執行各個程序。沒有被掛起的進程(線程)則在工作隊列中排隊等待CPU的執行,將進程(線程)從工作隊列中移除就是掛起,反映到Java層面的就是線程的阻塞。
什麼是中斷?當我們使用鍵盤、滑鼠等IO設備的時候,會給主板一個電流信號,這個電流信號就給CPU一個中斷信號,CPU執行完當前的指令便會保存現場,然後執行鍵盤/滑鼠等設備的中斷程序,讓中斷程序獲取CPU的使用權,在中斷程序後又將現場恢復,繼續執行之前的進程。
如果第一次沒檢測到就緒的socket,就要將其進程(線程)從工作隊列中移除,並加入到socket的等待隊列中。
socket包含讀緩沖區+寫緩沖區+等待隊列(放線程或eventpoll對象)
當從客戶端往伺服器端發送數據時,使用TCP/IP協議將通過物理鏈路、網線發給伺服器的網卡設備,網卡的DMA設備將接收到的的數據寫入到內存中的一塊區域(網卡緩沖區),然後會給CPU發出一個中斷信號,CPU執行完當前指令則會保存現場,然後網卡的中斷程序就獲得了CPU的使用權,然後CPU便開始執行網卡的中斷程序,將內存中的緩存區中的數據包拿出,判斷埠號便可以判斷它是哪個socket的數據,將數據包寫入對應的socket的讀(輸入)緩沖區,去檢查對應的socket的等待隊列有沒有等待著的進程(線程),如果有就將該線程(進程)從socket的等待隊列中移除,將其加入工作隊列,這時候該進程(線程)就再次擁有了CPU的使用許可權,到這里中斷程序就結束了。
之後這個進程(線程)就執行select函數再次去檢查fd_set就能發現有socket緩沖區中有數據了,就將該socket的fd打標記,這個時候select函數就執行完了,這時候就會給上層返回一個int類型的數值,表示已經就緒的socket的數量或者是發生了錯誤。這個時候就再進行內核態到用戶態的切換,對已經打標記的socket的fd進行處理。
將原本1024bit長度的bitmap(fd_set)換成了數組的方式傳入 ,可以 解決原本1024個不夠用的情況 ,因為傳入的是數組,長度可以不止是1024了,因此socket數量可以更多,在Kernel底層會將數組轉換成鏈表。
在十多年前,linux2.6之前,不支持epoll,當時可能會選擇用Windows/Unix用作伺服器,而不會去選擇Linux,因為select/poll會隨著並發量的上升,性能變得越來越低,每次都得檢查所有的Socket列表。
1.select/poll每次調用都必須根據提供所有的socket集合,然後就 會涉及到將這個集合從用戶空間拷貝到內核空間,在這個過程中很耗費性能 。但是 其實每次的socket集合的變化也許並不大,也許就1-2個socket ,但是它會全部進行拷貝,全部進行遍歷一一判斷是否就緒。
2.select/poll的返回類型是int,只能代表當前的就緒的socket的數量/發生了錯誤, 如果還需要知道是哪些socket就緒了,則還需要再次使用系統調用去檢查哪些socket是就緒的,又是一次O(n)的操作,很耗費性能 。
1.epoll在Kernel內核中存儲了對應的數據結構(eventpoll)。我們可以 使用epoll_create()這個系統調用去創建一個eventpoll對象 ,並返回eventpoll的對象id(epfd),eventpoll對象主要包括三個部分:需要處理的正在監聽的socket_fd列表(紅黑樹結構)、socket就緒列表以及等待隊列(線程)。
2.我們可以使用epoll_ctl()這個系統調用對socket_fd列表進行CRUD操作,因為可能頻繁地進行CRUD,因此 socket_fd使用的是紅黑樹的結構 ,讓其效率能更高。epoll_ctl()傳遞的參數主要是epfd(eventpoll對象id)。
3.epoll_wait()這個系統調用默認會 將當前進程(線程)阻塞,加入到eventpoll對象的等待隊列中,直到socket就緒列表中有socket,才會將該進程(線程)重新加入工作隊列 ,並返回就緒隊列中的socket的數量。
socket包含讀緩沖區、寫緩沖區和等待隊列。當使用epoll_ctl()系統調用將socket新加入socket_fd列表時,就會將eventpoll對象引用加到socket的等待隊列中, 當網卡的中斷程序發現socket的等待隊列中不是一個進程(線程),而是一個eventpoll對象的引用,就將socket引用追加到eventpoll對象的就緒列表的尾部 。而eventpoll對象中的等待隊列存放的就是調用了epoll_wait()的進程(線程),網卡的中斷程序執行會將等待隊列中的進程(線程)重新加入工作隊列,讓其擁有佔用CPU執行的資格。epoll_wait()的返回值是int類型,返回的是就緒的socket的數量/發生錯誤,-1表示發生錯誤。
epoll的參數有傳入一個epoll_event的數組指針(作為輸出參數),在調用epoll_wait()返回的同時,Kernel內核還會將就緒的socket列表添加到epoll_event類型的數組當中。
⑵ 如何在linux上添加PHP的socket擴展
增大Linux的socket最大連接數
最近接的項目是模擬多個socket 客戶端與伺服器進行肢茄通信。由於Linux 系統的限制啟灶,在linux/include/linux/posix_types.h文件中有如下的宏定義:
#undef __FD_SETSIZE
#define __FD_SETSIZE 1024
這個宏是對最大文件描述符的定義為1024。當需要1024個以上的fd時,例如select()函數就會偵聽出錯。因此需要將1024改成需要的數目,但最多不能超過65535。但歷旁察僅僅修改這個是不夠的。
第二步就需要修改一個進程最大打開的文件數。其具體步驟是:
1、cd /usr/src/linux-2.4/include/linux
2、vi limits.h編輯文件:
#define NR_OPEN 90240 原值為1024
#define OPEN_MAX 10240 原值為1024
3、vi fs.h
#define INR_OPEN 10240 原值為1024
#define NR_FILE 65536 原值為8192,這個值為內存64/1M的比率計算,1G內存計算為:64*1024
#define NR_RESERVED_FILES 128 原值為10.
4、cd /usr/src/linux-2.4/include/net
5、vi tcp.h
#define TCP_LHTABLE_SIZE 128 原值為32.便於listen偵聽隊列,設大。
設置最大打開文件數與內存相關,太大系統會變慢。
第三步就是編譯內核,其具體步驟是:
1. make clean
2. make
3. make dep
4. make bzImage
將bzImage 導入/boot 重啟系統即可!
用1024個以上客戶端與伺服器進行連接,在伺服器的終端用netstat |wc 命令可以統計出當前建立的socket的連接數。
⑶ linux單進程如何實現多核cpu多線程分配
linux下的單進程多線程的程序,要實現每個線程平均分配到多核cpu,主要有2個方法
1:利用linux系統自己的線程切換機制,linux有一個服務叫做irqbalance,這個服務是linux系統自帶的,默認會啟動,這個服務的作用就是把多線程平均分配到CPU的每個核上面,只要這個服務不停止,多線程分配就可以自己實現。但是要注意,如果線程函數內部的有某個循環,且該循環內沒有任何系統調用的話,可能會導致這個線程的CPU時間無法被切換出去。也就是占滿CPU現象,此時加個系統調用,例如sleep,線程所佔的CPU時間就可以切換出去了。
2:利用pthread庫自帶的線程親和性設置函數,來設置線程在某個CPU核心上跑,這個需要在程序內部實現。同時注意不要和進程親和性設置搞混淆了
intpthread_setaffinity_np(pthread_tthread,size_tcpusetsize,
constcpu_set_t*cpuset);
intpthread_getaffinity_np(pthread_tthread,size_tcpusetsize,
cpu_set_t*cpuset);
從函數名以及參數名都很明了,唯一需要點解釋下的可能就是cpu_set_t這個結構體了。這個結構體的理解類似於select中的fd_set,可以理解為cpu集,也是通過約定好的宏來進行清除、設置以及判斷:
//初始化,設為空
voidCPU_ZERO(cpu_set_t*set);
//將某個cpu加入cpu集中
voidCPU_SET(intcpu,cpu_set_t*set);
//將某個cpu從cpu集中移出
voidCPU_CLR(intcpu,cpu_set_t*set);
//判斷某個cpu是否已在cpu集中設置了
intCPU_ISSET(intcpu,constcpu_set_t*set);
⑷ Linux中select poll和epoll的區別
select、poll、epoll都是IO多路復用的機制,但是他們的機制有很大的區別
1、select
select機制剛開始的時候,需要把fd_set從用戶空間拷貝到內核空間,並且檢測的fd數是有限制的,由FD_SETSIZE設置,一般是1024。
檢測的時候,根據timeout,遍歷fd_set表,把活躍的fd(可讀寫或者錯誤),拷貝到用戶空間,
再在用戶空間依次處理相關的fd。
這個機制是linux內核很早的版本,epool是根據select,pool基礎上優化的,缺點比較多。
缺點:
1)每次調用select的時候需要把fd_set從用戶空間拷貝到內存空間,比較耗性能。
2)wait時,需要遍歷所有的fd,消耗比較大。
3)select支持的文件數大小了,默認只有1024,如果需要增大,得修改宏FD_SETSIZE值,並編譯內核(麻煩,並且fd_set中的文件數多的話,每次遍歷的成本就很大)。
2. pool
poll的實現和select非常相似,只是描述fd集合的方式不同,poll使用pollfd結構而不是select的fd_set結構,其他的都差不多。
3. epool
epool是select和poll的改進版本,
* 先是使用int epoll_create(int size)在內存中創建一個指定size大小的事件空間,
* 再使用int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);事件注冊函數,注冊新的fd到epfd的epool對象空間中,並指明event(可讀寫啊等等絕租),注意:在注冊新事件fd的過程中,也再內核中斷處歲禪理程序里注冊fd對應的回調函數callback,告訴內核,一旦這個fd中斷了,就把它放到ready隊列裡面去。
* 再使用int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);在epool對象對應的ready隊列里取就緒的fd,並並雀兆使用內存映射mmap拷貝到用戶空間。
* 再在用戶空間依次處理相關的fd。
優點:
1)支持一個進程打開大數目的socket描述符
select 一個進程打開FD是有限制的,由FD_SETSIZE設置,默認值是1024。epool可以打開的FD數可以很大,一般1GB的內存有10萬多的FD數,具體數目可以cat /proc/sys/fs/file-max查看。
2) IO效率不隨FD數目增加而線性下降
3) 使用mmap加速內核與用戶空間的消息傳遞
⑸ linux中的fd就緒時,會立即回調rollback,那麼哪位大牛能幫忙解釋下fd就緒的條件是什麼
select系統調型戚用原型如下:
#include <sys/select.h>int select(int nfds, fd_set* readfds, fd_set* writefds, fd_set* exceptfds, struct timeval* timeout);12
參數readfds, writefds, exceptfds參數分別指向可讀卜巧陵、可寫和異常事件對應的文件描述符集合。
哪些情況下文件描述符可以被認為是可讀、可寫或者出現異常,對於select的使用非常關鍵。
在網路編程中,下列情況下socket可讀:
1、socket內核接收緩存區中的位元組數大於或等於其低水位標記SO_RCVLOWAT。此時可以無阻塞地讀該socket,並且讀操作返回的位元組數大於0。
2、socket通信對方關閉連接。此時對該socket讀操作將返回0。
3、監聽socket上有新的連接請求。
4、socket上有未處理的錯誤。此時我們可以使用getsockopt來讀取和清除該錯誤。
下列情況下socket可寫:
1、socket內核發送緩沖區中的可用位元組數大於或等於其低水位標記SO_SNDLOWAT。此時我們可以無阻塞寫該socket,並且寫操作返回的位元組數大於0。
2、socket寫操作被關閉。對寫操作被關閉的socket執行寫操作將觸發一個SIGPIPE信號。
3、socket使用非阻塞connect連接成功或者失敗(超時)之後。
4、socket上有未處理的錯誤。此時我們可以使用getsockopt來讀取和清除該錯誤。
網路程序中,select能處理的異常情況只有一種寬源:socket上接收到帶外數據。
⑹ linux 下的socket怎麼測試是否成功
增加對Linux socket連接 最近的一個項目的最大連接數是模擬多個套接字的客戶端和伺服器之間的通信。 Linux系統由於Linux的限制,/在include / linux / posix_types.h文件中有如下的宏定義: #UNDEF __FD_SETSIZE 的#define __FD_SETSIZE 1024 這個宏是當你需要超過1024個FD,如select()函數將監聽錯誤定義的最大文件描述符1024。所以,你需要改變1024所需要的數量,但不超過65,535。但這是不夠的僅僅。 第二步你需要的文件的進程打開的最大數量。具體的步驟是: 1,CD /usr/src/linux-2.4/include/linux 2,六limits.h中編輯文件: 的#define NR_OPEN 90240原1024 1024 的#define OPEN_MAX 10240原值 3值,六fs.h文件 的#define INR_OPEN 10240原值1024 的#define NR_FILE 65536 8192原始值,內存64 / 1M比例計算的值,1G內存的計算公式為:64 * 10. 4 1024 的#define NR_RESERVED_FILES 128原值,CD /usr/src/linux-2.4/include/net BR>五,六tcp.h中 的#define TCP_LHTABLE_SIZE的32 128原值易聽聽隊列,建立大。 - 設為與內存相關的打開文件的最大數量,系統會減慢太多。 第三步是編譯內核,具體步驟是: 1.使清潔 2.化妝 3. make dep的 4.做的bzImage 將導入的bzImage /啟動重新啟動系統! wc命令,以目前在建立套接字連接數統計| 與超過1024個客戶端和伺服器到伺服器的終端使用netstat的連接。
⑺ 100分求linux下C語言埠掃描代碼
linux tcp udp 埠掃描源程序
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <errno.h>
#include <netdb.h>
#include <stdio.h>
#include <string.h>做慶
#include <netinet/ip_icmp.h>
#include <stdlib.h>
#include <signal.h>
#include <libxml/parser.h>
#include <libxml/tree.h>
#define TRUE 1
#define FALSE 0
#define UDP "UDP"
#define TCP "TCP"
#define tcp "tcp"
#define udp "udp"
typedef struct _GsSockStru{
int fd;
int len;
struct sockaddr_in addr;
}GsSockStru;
static int tcptest( char ip[32], char port[20]);
static int udptest( char ip[32], char port[20]);
void sig_alrm( int signo );
static GsSockStru test_sock;
int
main( int argc, char** argv)
{
char string[64];
char port[20];
char pro[20];
char ip[32];
int res;
int i = 0;
int k = 0;
if( argc>2 || argc<純慧握2 )
{
printf("鍙傛暟涓碧擾嶆紜?-1\n");
return ( -1 );
}
strcpy( string, argv[1]);
while( *string )
{
if( string[i] == ':' )
break;
pro[k] = string[i];
k++;
i++;
}
pro[k] = '\0';
i++;
k = 0;
while( *string )
{
if( string[i] == ':')
break;
ip[k] = string[i];
k++;
i++;
}
ip[k] = '\0';
i++;
k=0;
while( *string )
{
if( string[i] == '\0')
break;
port[k] = string[i];
k++;
i++;
}
port[k] = '\0';
i++;
memset( &test_sock, 0, sizeof( test_sock ) );
if ( ( strcmp( TCP, pro) != 0 ) && ( strcmp( UDP, pro) != 0 ) && ( strcmp( tcp, pro) != 0 ) && ( strcmp( udp, pro) != 0 ))
{
printf ( "鍙傛暟涓嶆紜?錛?\n" );
return (-1);
}
if ( strcmp( TCP, pro) == 0 || strcmp( tcp, pro) == 0 )
res = tcptest( ip, port );
if ( strcmp( UDP, pro) == 0 || strcmp( udp, pro) == 0 )
res = udptest( ip, port );printf("%d\n",res);
return ( res );
}
int
tcptest( char ip[32], char port[20])
{
int res;
struct timeval tv;
test_sock.fd = socket( AF_INET, SOCK_STREAM, 0 );
if ( test_sock.fd < 0 )
{
printf( "create socket failed -3 \n" );
return ( -3 );
}
memset( &( test_sock.addr ), 0, sizeof( test_sock.addr ) );
test_sock.addr.sin_family = AF_INET;
test_sock.addr.sin_port = htons( atoi( port ) );
inet_pton( AF_INET, ip, &test_sock.addr.sin_addr );
test_sock.len = sizeof( struct sockaddr );
tv.tv_sec = 10;
tv.tv_usec = 0;
setsockopt( test_sock.fd, SOL_SOCKET, SO_RCVTIMEO,
(const char *)&tv, sizeof( tv ) );
res = connect( test_sock.fd,
( struct sockaddr * )( &( test_sock.addr ) ),
test_sock.len );
if ( res < 0 )
{
fprintf( stderr, "connect failed 0\n" );
close( test_sock.fd );
return FALSE;
}
close( test_sock.fd );
return TRUE;
}
int udptest( char ip[32], char port[20])
{
struct icmphdr *icmp_header;
struct sockaddr_in target_info;
int target_info_len;
fd_set read_fd;
int scan_port;
char recvbuf[5000];
struct sockaddr_in target_addr;
int icmp_socket;
int udp_socket;
struct timeval tv;
icmp_header = (struct icmphdr *)(recvbuf+sizeof(struct iphdr));
scan_port = atoi( port );
target_addr.sin_family = AF_INET;
inet_pton( AF_INET, ip, &target_addr.sin_addr );
target_addr.sin_port = htons(scan_port);
if ((udp_socket=socket(AF_INET,SOCK_DGRAM,0))==-1)
{
printf("create socket failed -3\n");
return -3;
}
if ((icmp_socket=socket(AF_INET,SOCK_RAW,IPPROTO_ICMP))==-1)
{
printf("Create raw socket failed -3\n");
return -3;
}
sendto(udp_socket,NULL,0,0,(void *)&target_addr,sizeof(target_addr));
FD_ZERO(&read_fd);
FD_SET(icmp_socket,&read_fd);
tv.tv_sec = 1;
tv.tv_usec = 0;
select(FD_SETSIZE,&read_fd,NULL,NULL,&tv);
for (;;){
if (FD_ISSET(icmp_socket,&read_fd))
{
target_info_len = sizeof(target_info);
recvfrom(icmp_socket,recvbuf,5000,0,
(struct sockaddr *)&target_info,&target_info_len);
if (target_info.sin_addr.s_addr == target_addr.sin_addr.s_addr
&& icmp_header->type == 3 && icmp_header->code<=12)
{
printf("Port %d : Close\n",scan_port);
return (0);
}
}
return (1) ;
}
}
⑻ 求助,LINUX下C 直接被KILLED-CSDN論壇
原來這是stack size 堆大小 達到最大後,就錯誤了。
在Linux下兆寬,這個其實是可以設置的。
使用 ulimit命令即可設置,不但可以設置這個,還可以設置其他很多限制,使用ulimit -a可以查看當前族塌亮的設置。
ayanmw@ayanmw-desktop:~/server_epoll$ ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheling priority (-e) 20
file size (blocks, -f) unlimited
pending signals (-i) 16382
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 4096
cpu time (seconds, -t) unlimited
max user processes (-u) unlimited
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
看到stack size居然是8192KB。
程序一般是分為 堆 和 棧,堆 是存放變數名稱的地方,比如指針一個指針 本身佔用4個位元組,指向一個32位地址(64位系統加倍),一般的變數比如int a,這里a的名稱也是一個變數,指向存有值的a的空間地址。
而棧就是放數據的地方,只要內存還有,就可以一直分配,不信你可以使用 一個指針,然後malloc(599999)的大小,進程佔用內存就有幾十MB了。
可以看到,linux下還可以設置文件大小,打開的文件的數量限制。等等。
============================================
以前發現普通用戶無法修改ulimit,root用戶 可以.
網路搜索得到:
/etc/security/limits.conf
添加
* soft nofile 8192
* hard nofile 8192
可以修改.
CentOS 或 RedHat這個文件的路徑貌似是:
[oracle@qs-xezf-db2 ~]$ cat /etc/sysconfig/limits.conf
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
修改文件應該就可以達到效果了.
有人說:在/root/.bashrc中增加:
ulimit -u unlimited
ulimit -n 10240
不一定管用.- -
sysctl -a 可以查看更多系統配置信息.
1、cat /proc/sys/fs/file-max,可以獲得整個系統的文件句柄數目。一般是8192。如果希望增加句柄的總數,可以在腳本/etc/rc.d/rc..local中添加一行:echo 10240 >; /proc/sys/fs/file-max (舉例)
不解:使用lsof -f|wc -l 可以看到當前系統的打開文件總數,我的一台郵件伺服器在最瘋狂的時候曾輸出值為4萬!!!就是說同衫團時打開了(或未完全關閉)4萬個文件鏈接。而file-max值為8192,為什麼??
2、通過設置/etc/security/limits.conf,實現控制每個進程的文件句柄數目。
添加兩行: * soft nofile 1024
* hard nofile 8192
確認/etc/pam.d/system-auth文件中有下面一行:session required /lib/security/pam_limits.so
如果說每個進程能打開的文件句柄數目限制為8192,那該進程產生的線程所打開的文件句柄數目是限在該8192內?還是又一個8192呢?
這個問題,最後採取了一個比較簡單的方法:
在/boot/.bashrc中加入:
ulimit -u unlimited
ulimit -n 20480
然後所有普通用戶的open files都變為20480了,用戶最大進程數變為ulimited了。
我看到有的地方說AS3要該進程數只能在
1、設置fd_set支持的最大數量
a、修改/usr/include/bits/typesizes.h
#define __FD_SETSIZE 1024 --->; 65536
b、修改/usr/src/linux/include/linux/posix_types.h
#define __FD_SETSIZE 1024 --->; 65536
2、修改/usr/src/linux/include/linux/fs.h
設置最大打開文件數量(TCP連接數量)
#define INR_OPEN 1024 --->; 65536
#define NR_FILE 8192 --->; 65536
#define NR_RESERVED_FILES 10 --->; 128
3、修改/usr/src/linux/include/net/tcp.h
a、設置TIMEOUT的時間為1秒
#define TCP_TIMEWAIT_LEN (60*HZ) 60 --->; 1*HZ
b、設置在backlog隊列里的半連接的重試次數,每次都會花相應的時間,本質上也是減少重試時間
#define TCP_SYNACK_RETRIES 5 --->; 3
然後通過編譯內核的方式來增加, 這樣比ulimit 更直接修改內核參數.因為內核 是編譯出來的.
壓力測試:
yuan@yuan-desktop:~$ ab -n 30000 -c 5000 http://localhost/
This is ApacheBench, Version 2.0.40-dev <$Revision: 1.146 $> apache-2.0
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright 2006 The Apache Software Foundation, http://www.apache.org/
Benchmarking localhost [through 218.19.166.24:3129] (be patient)
socket: Too many open files (24)
提示出錯 上網查到是socket系統默認為1024 大於該直就報錯 修改.
⑼ Linux如何清空Socket緩沖區
socket不是這么接收數據的 由於socket是以數據流的形式發送數據,接收方不知道對方一次性發送了多少數據,也能保證對方一次性發送的數據能在同一刻接收到,所以Receive方法是這么工作的: 接受一個byye[]類型的參數作為緩沖區,在經過一定的時間後把接收到的數據填充到這個緩沖區裡面,並且返回實際接收到數據的長度,這個實際接收到的數據長度有可能為0(沒有接收到數據)、大於0小於緩沖區的長度(接收到數據,但是沒有我們預期的多)、等於緩沖區的長度(說明接收到的數據大於等於我們預期的長度)。 每次接收緩沖區都用同一個byte[] byteMessage,並且你沒有檢查接收到的數據長度,所以第一次你接收到的數據是123456,第二次你只接收到了8,但是緩沖區裡面還有23456,所以加起來就是823456了。 socket接收緩沖區的大小有講究,設置大了接收起來慢,因為它要等盡可能多的數據接收到了再返回;設置小了需要重復多次調用接收方法才能把數據接收完,socket有個屬性,標識了系統默認的接收緩沖區大小,可以參考這個! 還有就是用recv讀取,但是由於不知道緩存里有多少數據,如果是阻塞模式,到最後必然等到超時才知道數據已經讀取完畢,這是個問題。 另一個是用fgetc,通過返回判斷是否是feof: whlie (1) { a=fgetc(f);if (feof(f)) break;//… b=fgetc(f);if (feof(f)) break;//…}當然,我不知道讀取完畢後最後一次調用fgetc會不會堵塞,需要測試。 在非阻塞模式下,我們用recv就可以輕松搞定了,但是阻塞模式下,由於我們不知道緩沖區有多少數據,不能直接調用recv嘗試清除。 使用一個小小的技巧,利用select函數,我們可以輕松搞定這個問題: select函數用於監視一個文件描述符集合,如果集合中的描述符沒有變化,則一直阻塞在這里,直到超時時間到達;在超時時間內,一旦某個描述符觸發了你所關心的事件,select立即返回,通過檢索文件描述符集合處理相應事件;select函數出錯則返回小於零的值,如果有事件觸發,則返回觸發事件的描述符個數;如果超時,返回0,即沒有數據可讀。 重點在於:我們可以用select的超時特性,將超時時間設置為0,通過檢測select的返回值,就可以判斷緩沖是否被清空。通過這個技巧,使一個阻塞的socket成了『非阻塞』socket. 現在就可以得出解決方案了:使用select函數來監視要清空的socket描述符,並把超時時間設置為0,每次讀取一個位元組然後丟棄(或者按照業務需要進行處理,隨你便了),一旦select返回0,說明緩沖區沒數據了(「超時」了)。 struct timeval tmOut;tmOut.tv_sec = 0;tmOut.tv_usec = 0;fd_set fds;FD_ZEROS(&fds);FD_SET(skt, &fds); int nRet; char tmp[2]; memset(tmp, 0, sizeof(tmp)); while(1) { nRet= select(FD_SETSIZE, &fds, NULL, NULL, &tmOut);if(nRet== 0) break;recv(skt, tmp, 1,0);} 這種方式的好處是,不再需要用recv、recvfrom等阻塞函數直接去讀取,而是使用select,利用其超時特性檢測緩沖區是否為空來判斷是否有數據,有數據時才調用recv進行清除。 有人說同樣可以用recv和socket的超時設置去清空啊,這個沒錯,但是你需要直接對socket描述符設置超時時間,而為了清空數據而直接修改socket描述符的屬性,可能會影響到其他地方的使用,造成系統奇奇怪怪的問題,所以,不推薦使用。
⑽ linux系統,如何設置最大網路連接數量
linux設置最大網路連接數量有很多中方法:
1、直接用ulimit命令
ulimit -n 8192
2、修改/proc/sys/net/ipv4/ip_conntrack_max為8192
或者是/etc/sysctl.conf中加入ip_conntrack_max=8192
3、請首先編祥虧塵輯/usr/include/bits/types.h 文件,改變__FD_SETSIZE 的值:
#define _ _FD_SETSIZE 8192
下一步,使用這空滲個命令增加內核文件描述符的限制:
# echo 8192 > /proc/sys/fs/file-max
最後,增加進程文件描述符謹禪的限制,在即將編譯squid 的同一個shell 里執行:
sh# ulimit -Hn 8192