導航:首頁 > 編程語言 > pythontcp長連接

pythontcp長連接

發布時間:2022-09-20 01:47:37

python TCP連接 伺服器(Server)如何指定埠發送信息

一般來說伺服器的埠需要是固定的,否則無法發起連接。客戶端的埠可以是隨機的。

② python腳本,TCP客戶端斷開連接,伺服器一直收到空白消息,如何正常斷開二者連接見下圖

建議:
1、當點擊客戶端的斷開按鈕,給服務端發送一個stop消息,然後客戶端停止發送
2、當服務端收到客戶端的stop消息,即停止接收該客戶端發來的消息

所以你的這個if判斷語句的xxxx應該由客戶端發過來做判斷。

③ 如何實現支持數億用戶的長連消息系統

此文是根據周洋在【高可用架構群】中的分享內容整理而成,轉發請註明出處。
周洋,360手機助手技術經理及架構師,負責360長連接消息系統,360手機助手架構的開發與維護。
不知道咱們群名什麼時候改為「Python高可用架構群」了,所以不得不說,很榮幸能在接下來的一個小時里在Python群里討論golang....

360消息系統介紹
360消息系統更確切的說是長連接push系統,目前服務於360內部多個產品,開發平台數千款app,也支持部分聊天業務場景,單通道多app復用,支持上行數據,提供接入方不同粒度的上行數據和用戶狀態回調服務。
目前整個系統按不同業務分成9個功能完整的集群,部署在多個idc上(每個集群覆蓋不同的idc),實時在線數億量級。通常情況下,pc,手機,甚至是智能硬體上的360產品的push消息,基本上是從我們系統發出的。
關於push系統對比與性能指標的討論
很多同行比較關心go語言在實現push系統上的性能問題,單機性能究竟如何,能否和其他語言實現的類似系統做對比么?甚至問如果是創業,第三方雲推送平台,推薦哪個?
其實各大廠都有類似的push系統,市場上也有類似功能的雲服務。包括我們公司早期也有erlang,nodejs實現的類似系統,也一度被公司要求做類似的對比測試。我感覺在討論對比數據的時候,很難保證大家環境和需求的統一,我只能說下我這里的體會,數據是有的,但這個數據前面估計會有很多定語~
第一個重要指標:單機的連接數指標
做過長連接的同行,應該有體會,如果在穩定連接情況下,連接數這個指標,在沒有網路吞吐情況下對比,其實意義往往不大,維持連接消耗cpu資源很小,每條連接tcp協議棧會占約4k的內存開銷,系統參數調整後,我們單機測試數據,最高也是可以達到單實例300w長連接。但做更高的測試,我個人感覺意義不大。
因為實際網路環境下,單實例300w長連接,從理論上算壓力就很大:實際弱網路環境下,移動客戶端的斷線率很高,假設每秒有1000分之一的用戶斷線重連。300w長連接,每秒新建連接達到3w,這同時連入的3w用戶,要進行注冊,載入離線存儲等對內rpc調用,另外300w長連接的用戶心跳需要維持,假設心跳300s一次,心跳包每秒需要1w tps。單播和多播數據的轉發,廣播數據的轉發,本身也要響應內部的rpc調用,300w長連接情況下,gc帶來的壓力,內部介面的響應延遲能否穩定保障。這些集中在一個實例中,可用性是一個挑戰。所以線上單實例不會hold很高的長連接,實際情況也要根據接入客戶端網路狀況來決定。
第二個重要指標:消息系統的內存使用量指標
這一點上,使用go語言情況下,由於協程的原因,會有一部分額外開銷。但是要做兩個推送系統的對比,也有些需要確定問題。比如系統從設計上是否需要全雙工(即讀寫是否需要同時進行)如果半雙工,理論上對一個用戶的連接只需要使用一個協程即可(這種情況下,對用戶的斷線檢測可能會有延時),如果是全雙工,那讀/寫各一個協程。兩種場景內存開銷是有區別的。
另外測試數據的大小往往決定我們對連接上設置的讀寫buffer是多大,是全局復用的,還是每個連接上獨享的,還是動態申請的。另外是否全雙工也決定buffer怎麼開。不同的策略,可能在不同情況的測試中表現不一樣。
第三個重要指標:每秒消息下發量
這一點上,也要看我們對消息到達的QoS級別(回復ack策略區別),另外看架構策略,每種策略有其更適用的場景,是純粹推?還是推拉結合?甚至是否開啟了消息日誌?日誌庫的實現機制、以及緩沖開多大?flush策略……這些都影響整個系統的吞吐量。
另外為了HA,增加了內部通信成本,為了避免一些小概率事件,提供閃斷補償策略,這些都要考慮進去。如果所有的都去掉,那就是比較基礎庫的性能了。
所以我只能給出大概數據,24核,64G的伺服器上,在QoS為message at least,純粹推,消息體256B~1kB情況下,單個實例100w實際用戶(200w+)協程,峰值可以達到2~5w的QPS...內存可以穩定在25G左右,gc時間在200~800ms左右(還有優化空間)。
我們正常線上單實例用戶控制在80w以內,單機最多兩個實例。事實上,整個系統在推送的需求上,對高峰的輸出不是提速,往往是進行限速,以防push系統瞬時的高吞吐量,轉化成對接入方業務伺服器的ddos攻擊所以對於性能上,我感覺大家可以放心使用,至少在我們這個量級上,經受過考驗,go1.5到來後,確實有之前投資又增值了的感覺。
消息系統架構介紹
下面是對消息系統的大概介紹,之前一些同學可能在gopher china上可以看到分享,這里簡單講解下架構和各個組件功能,額外補充一些當時遺漏的信息:
架構圖如下,所有的service都 written by golang.

幾個大概重要組件介紹如下:
dispatcher service根據客戶端請求信息,將應網路和區域的長連接伺服器的,一組IP傳送給客戶端。客戶端根據返回的IP,建立長連接,連接Room service.
room Service,長連接網關,hold用戶連接,並將用戶注冊進register service,本身也做一些接入安全策略、白名單、IP限制等。
register service是我們全局session存儲組件,存儲和索引用戶的相關信息,以供獲取和查詢。
coordinator service用來轉發用戶的上行數據,包括接入方訂閱的用戶狀態信息的回調,另外做需要協調各個組件的非同步操作,比如kick用戶操作,需要從register拿出其他用戶做非同步操作.
saver service是存儲訪問層,承擔了對redis和mysql的操作,另外也提供部分業務邏輯相關的內存緩存,比如廣播信息的載入可以在saver中進行緩存。另外一些策略,比如客戶端sdk由於被惡意或者意外修改,每次載入了消息,不回復ack,那服務端就不會刪除消息,消息就會被反復載入,形成死循環,可以通過在saver中做策略和判斷。(客戶端總是不可信的)。
center service提供給接入方的內部api伺服器,比如單播或者廣播介面,狀態查詢介面等一系列api,包括運維和管理的api。
舉兩個常見例子,了解工作機制:比如發一條單播給一個用戶,center先請求Register獲取這個用戶之前注冊的連接通道標識、room實例地址,通過room service下發給長連接 Center Service比較重的工作如全網廣播,需要把所有的任務分解成一系列的子任務,分發給所有center,然後在所有的子任務里,分別獲取在線和離線的所有用戶,再批量推到Room Service。通常整個集群在那一瞬間壓力很大。
deployd/agent service用於部署管理各個進程,收集各組件的狀態和信息,zookeeper和keeper用於整個系統的配置文件管理和簡單調度
關於推送的服務端架構
常見的推送模型有長輪訓拉取,服務端直接推送(360消息系統目前主要是這種),推拉結合(推送只發通知,推送後根據通知去拉取消息).
拉取的方式不說了,現在並不常用了,早期很多是nginx+lua+redis,長輪訓,主要問題是開銷比較大,時效性也不好,能做的優化策略不多。
直接推送的系統,目前就是360消息系統這種,消息類型是消耗型的,並且對於同一個用戶並不允許重復消耗,如果需要多終端重復消耗,需要抽象成不同用戶。
推的好處是實時性好,開銷小,直接將消息下發給客戶端,不需要客戶端走從接入層到存儲層主動拉取.
但純推送模型,有個很大問題,由於系統是非同步的,他的時序性無法精確保證。這對於push需求來說是夠用的,但如果復用推送系統做im類型通信,可能並不合適。
對於嚴格要求時序性,消息可以重復消耗的系統,目前也都是走推拉結合的模型,就是只使用我們的推送系統發通知,並附帶id等給客戶端做拉取的判斷策略,客戶端根據推送的key,主動從業務伺服器拉取消息。並且當主從同步延遲的時候,跟進推送的key做延遲拉取策略。同時也可以通過消息本身的QoS,做純粹的推送策略,比如一些「正在打字的」低優先順序消息,不需要主動拉取了,通過推送直接消耗掉。
哪些因素決定推送系統的效果?
首先是sdk的完善程度,sdk策略和細節完善度,往往決定了弱網路環境下最終推送質量.
SDK選路策略,最基本的一些策略如下:有些開源服務可能會針對用戶hash一個該接入區域的固定ip,實際上在國內環境下不可行,最好分配器(dispatcher)是返回散列的一組,而且埠也要參開,必要時候,客戶端告知是retry多組都連不上,返回不同idc的伺服器。因為我們會經常檢測到一些case,同一地區的不同用戶,可能對同一idc內的不同ip連通性都不一樣,也出現過同一ip不同埠連通性不同,所以用戶的選路策略一定要靈活,策略要足夠完善.另外在選路過程中,客戶端要對不同網路情況下的長連接ip做緩存,當網路環境切換時候(wifi、2G、3G),重新請求分配器,緩存不同網路環境的長連接ip。
客戶端對於數據心跳和讀寫超時設置,完善斷線檢測重連機制
針對不同網路環境,或者客戶端本身消息的活躍程度,心跳要自適應的進行調整並與服務端協商,來保證鏈路的連通性。並且在弱網路環境下,除了網路切換(wifi切3G)或者讀寫出錯情況,什麼時候重新建立鏈路也是一個問題。客戶端發出的ping包,不同網路下,多久沒有得到響應,認為網路出現問題,重新建立鏈路需要有個權衡。另外對於不同網路環境下,讀取不同的消息長度,也要有不同的容忍時間,不能一刀切。好的心跳和讀寫超時設置,可以讓客戶端最快的檢測到網路問題,重新建立鏈路,同時在網路抖動情況下也能完成大數據傳輸。
結合服務端做策略
另外系統可能結合服務端做一些特殊的策略,比如我們在選路時候,我們會將同一個用戶盡量映射到同一個room service實例上。斷線時,客戶端盡量對上次連接成功的地址進行重試。主要是方便服務端做閃斷情況下策略,會暫存用戶閃斷時實例上的信息,重新連入的 時候,做單實例內的遷移,減少延時與載入開銷.
客戶端保活策略
很多創業公司願意重新搭建一套push系統,確實不難實現,其實在協議完備情況下(最簡單就是客戶端不回ack不清數據),服務端會保證消息是不丟的。但問題是為什麼在消息有效期內,到達率上不去?往往因為自己app的push service存活能力不高。選用雲平台或者大廠的,往往sdk會做一些保活策略,比如和其他app共生,互相喚醒,這也是雲平台的push service更有保障原因。我相信很多雲平台旗下的sdk,多個使用同樣sdk的app,為了實現服務存活,是可以互相喚醒和保證活躍的。另外現在push sdk本身是單連接,多app復用的,這為sdk實現,增加了新的挑戰。
綜上,對我來說,選擇推送平台,優先會考慮客戶端sdk的完善程度。對於服務端,選擇條件稍微簡單,要求部署接入點(IDC)越要多,配合精細的選路策略,效果越有保證,至於想知道哪些雲服務有多少點,這個群里來自各地的小夥伴們,可以合夥測測。
go語言開發問題與解決方案
下面講下,go開發過程中遇到挑戰和優化策略,給大家看下當年的一張圖,在第一版優化方案上線前一天截圖~

可以看到,內存最高佔用69G,GC時間單實例最高時候高達3~6s.這種情況下,試想一次悲劇的請求,經過了幾個正在執行gc的組件,後果必然是超時... gc照成的接入方重試,又加重了系統的負擔。遇到這種情況當時整個系統最差情況每隔2,3天就需要重啟一次~
當時出現問題,現在總結起來,大概以下幾點
1.散落在協程里的I/O,Buffer和對象不復用。
當時(12年)由於對go的gc效率理解有限,比較奔放,程序里大量short live的協程,對內通信的很多io操作,由於不想阻塞主循環邏輯或者需要及時響應的邏輯,通過單獨go協程來實現非同步。這回會gc帶來很多負擔。
針對這個問題,應盡量控制協程創建,對於長連接這種應用,本身已經有幾百萬並發協程情況下,很多情況沒必要在各個並發協程內部做非同步io,因為程序的並行度是有限,理論上做協程內做阻塞操作是沒問題。
如果有些需要非同步執行,比如如果不非同步執行,影響對用戶心跳或者等待response無法響應,最好通過一個任務池,和一組常駐協程,來消耗,處理結果,通過channel再傳回調用方。使用任務池還有額外的好處,可以對請求進行打包處理,提高吞吐量,並且可以加入控量策略.
2.網路環境不好引起激增
go協程相比較以往高並發程序,如果做不好流控,會引起協程數量激增。早期的時候也會發現,時不時有部分主機內存會遠遠大於其他伺服器,但發現時候,所有主要profiling參數都正常了。
後來發現,通信較多系統中,網路抖動阻塞是不可免的(即使是內網),對外不停accept接受新請求,但執行過程中,由於對內通信阻塞,大量協程被 創建,業務協程等待通信結果沒有釋放,往往瞬時會迎來協程暴漲。但這些內存在系統穩定後,virt和res都並沒能徹底釋放,下降後,維持高位。
處理這種情況,需要增加一些流控策略,流控策略可以選擇在rpc庫來做,或者上面說的任務池來做,其實我感覺放在任務池裡做更合理些,畢竟rpc通信庫可以做讀寫數據的限流,但它並不清楚具體的限流策略,到底是重試還是日誌還是緩存到指定隊列。任務池本身就是業務邏輯相關的,它清楚針對不同的介面需要的流控限制策略。
3.低效和開銷大的rpc框架
早期rpc通信框架比較簡單,對內通信時候使用的也是短連接。這本來短連接開銷和性能瓶頸超出我們預期,短連接io效率是低一些,但埠資源夠,本身吞吐可以滿足需要,用是沒問題的,很多分層的系統,也有http短連接對內進行請求的
但早期go版本,這樣寫程序,在一定量級情況,是支撐不住的。短連接大量臨時對象和臨時buffer創建,在本已經百萬協程的程序中,是無法承受的。所以後續我們對我們的rpc框架作了兩次調整。
第二版的rpc框架,使用了連接池,通過長連接對內進行通信(復用的資源包括client和server的:編解碼Buffer、Request/response),大大改善了性能。
但這種在一次request和response還是佔用連接的,如果網路狀況ok情況下,這不是問題,足夠滿足需要了,但試想一個room實例要與後面的數百個的register,coordinator,saver,center,keeper實例進行通信,需要建立大量的常駐連接,每個目標機幾十個連接,也有數千個連接被佔用。
非持續抖動時候(持續逗開多少無解),或者有延遲較高的請求時候,如果針對目標ip連接開少了,會有瞬時大量請求阻塞,連接無法得到充分利用。第三版增加了Pipeline操作,Pipeline會帶來一些額外的開銷,利用tcp的全雙特性,以盡量少的連接完成對各個服務集群的rpc調用。
4.Gc時間過長
Go的Gc仍舊在持續改善中,大量對象和buffer創建,仍舊會給gc帶來很大負擔,尤其一個佔用了25G左右的程序。之前go team的大咖郵件也告知我們,未來會讓使用協程的成本更低,理論上不需要在應用層做更多的策略來緩解gc.
改善方式,一種是多實例的拆分,如果公司沒有埠限制,可以很快部署大量實例,減少gc時長,最直接方法。不過對於360來說,外網通常只能使用80和433。因此常規上只能開啟兩個實例。當然很多人給我建議能否使用SO_REUSEPORT,不過我們內核版本確實比較低,並沒有實踐過。
另外能否模仿nginx,fork多個進程監控同樣埠,至少我們目前沒有這樣做,主要對於我們目前進程管理上,還是獨立的運行的,對外監聽不同埠程序,還有配套的內部通信和管理埠,實例管理和升級上要做調整。
解決gc的另兩個手段,是內存池和對象池,不過最好做仔細評估和測試,內存池、對象池使用,也需要對於代碼可讀性與整體效率進行權衡。
這種程序一定情況下會降低並行度,因為用池內資源一定要加互斥鎖或者原子操作做CAS,通常原子操作實測要更快一些。CAS可以理解為可操作的更細行為粒度的鎖(可以做更多CAS策略,放棄運行,防止忙等)。這種方式帶來的問題是,程序的可讀性會越來越像C語言,每次要malloc,各地方用完後要free,對於對象池free之前要reset,我曾經在應用層嘗試做了一個分層次結構的「無鎖隊列」

上圖左邊的數組實際上是一個列表,這個列表按大小將內存分塊,然後使用atomic操作進行CAS。但實際要看測試數據了,池技術可以明顯減少臨時對象和內存的申請和釋放,gc時間會減少,但加鎖帶來的並行度的降低,是否能給一段時間內的整體吞吐量帶來提升,要做測試和權衡…
在我們消息系統,實際上後續去除了部分這種黑科技,試想在百萬個協程裡面做自旋操作申請復用的buffer和對象,開銷會很大,尤其在協程對線程多對多模型情況下,更依賴於golang本身調度策略,除非我對池增加更多的策略處理,減少忙等,感覺是在把runtime做的事情,在應用層非常不優雅的實現。普遍使用開銷理論就大於收益。
但對於rpc庫或者codec庫,任務池內部,這些開定量協程,集中處理數據的區域,可以嘗試改造~
對於有些固定對象復用,比如固定的心跳包什麼的,可以考慮使用全局一些對象,進行復用,針對應用層數據,具體設計對象池,在部分環節去復用,可能比這種無差別的設計一個通用池更能進行效果評估.
消息系統的運維及測試
下面介紹消息系統的架構迭代和一些迭代經驗,由於之前在其他地方有過分享,後面的會給出相關鏈接,下面實際做個簡單介紹,感興趣可以去鏈接裡面看
架構迭代~根據業務和集群的拆分,能解決部分灰度部署上線測試,減少點對點通信和廣播通信不同產品的相互影響,針對特定的功能做獨立的優化.
消息系統架構和集群拆分,最基本的是拆分多實例,其次是按照業務類型對資源佔用情況分類,按用戶接入網路和對idc布點要求分類(目前沒有條件,所有的產品都部署到全部idc)

系統的測試go語言在並發測試上有獨特優勢。

對於壓力測試,目前主要針對指定的伺服器,選定線上空閑的伺服器做長連接壓測。然後結合可視化,分析壓測過程中的系統狀態。但壓測早期用的比較多,但實現的統計報表功能和我理想有一定差距。我覺得最近出的golang開源產品都符合這種場景,go寫網路並發程序給大家帶來的便利,讓大家把以往為了降低復雜度,拆解或者分層協作的組件,又組合在了一起。
Q&A
Q1:協議棧大小,超時時間定製原則?
移動網路下超時時間按產品需求通常2g,3G情況下是5分鍾,wifi情況下5~8分鍾。但對於個別場景,要求響應非常迅速的場景,如果連接idle超過1分鍾,都會有ping,pong,來校驗是否斷線檢測,盡快做到重新連接。
Q2:消息是否持久化?
消息持久化,通常是先存後發,存儲用的redis,但落地用的mysql。mysql只做故障恢復使用。
Q3:消息風暴怎麼解決的?
如果是發送情況下,普通產品是不需要限速的,對於較大產品是有發送隊列做控速度,按人數,按秒進行控速度發放,發送成功再發送下一條。
Q4:golang的工具鏈支持怎麼樣?我自己寫過一些小程序千把行之內,確實很不錯,但不知道代碼量上去之後,配套的debug工具和profiling工具如何,我看上邊有分享說golang自帶的profiling工具還不錯,那debug呢怎麼樣呢,官方一直沒有出debug工具,gdb支持也不完善,不知你們用的什麼?
是這樣的,我們正常就是println,我感覺基本上可以定位我所有問題,但也不排除由於並行性通過println無法復現的問題,目前來看只能靠經驗了。只要常見並發嘗試,經過分析是可以找到的。go很快會推出調試工具的~
Q5:協議棧是基於tcp嗎?
是否有協議拓展功能?協議棧是tcp,整個系統tcp長連接,沒有考慮擴展其功能~如果有好的經驗,可以分享~
Q6:問個問題,這個系統是接收上行數據的吧,系統接收上行數據後是轉發給相應系統做處理么,是怎麼轉發呢,如果需要給客戶端返回調用結果又是怎麼處理呢?
系統上行數據是根據協議頭進行轉發,協議頭裡面標記了產品和轉發類型,在coordinator裡面跟進產品和轉發類型,回調用戶,如果用戶需要阻塞等待回復才能後續操作,那通過再發送消息,路由回用戶。因為整個系統是全非同步的。
Q7:問個pushsdk的問題。pushsdk的單連接,多app復用方式,這樣的情況下以下幾個問題是如何解決的:1)系統流量統計會把所有流量都算到啟動連接的應用吧?而啟動應用的連接是不固定的吧?2)同一個pushsdk在不同的應用中的版本號可能不一樣,這樣暴露出來的介面可能有版本問題,如果用單連接模式怎麼解決?
流量只能算在啟動的app上了,但一般這種安裝率很高的app承擔可能性大,常用app本身被檢測和殺死可能性較少,另外消息下發量是有嚴格控制 的。整體上用戶還是省電和省流量的。我們pushsdk盡量向上兼容,出於這個目的,push sdk本身做的工作非常有限,抽象出來一些常見的功能,純推的系統,客戶端策略目前做的很少,也有這個原因。
Q8:生產系統的profiling是一直打開的么?
不是一直打開,每個集群都有采樣,但需要開啟哪個可以後台控制。這個profling是通過介面調用。
Q9:面前系統中的消息消費者可不可以分組?類似於Kafka。
客戶端可以訂閱不同產品的消息,接受不同的分組。接入的時候進行bind或者unbind操作
Q10:為什麼放棄erlang,而選擇go,有什麼特別原因嗎?我們現在用的erlang?
erlang沒有問題,原因是我們上線後,其他團隊才做出來,經過qa一個部門對比測試,在沒有顯著性能提升下,選擇繼續使用go版本的push,作為公司基礎服務。
Q11:流控問題有排查過網卡配置導致的idle問題嗎?
流控是業務級別的流控,我們上線前對於內網的極限通信量做了測試,後續將請求在rpc庫內,控制在小於內部通信開銷的上限以下.在到達上限前作流控。
Q12:服務的協調調度為什麼選擇zk有考慮過raft實現嗎?golang的raft實現很多啊,比如Consul和ectd之類的。
3年前,還沒有後兩者或者後兩者沒聽過應該。zk當時公司內部成熟方案,不過目前來看,我們不準備用zk作結合系統的定製開發,准備用自己寫的keeper代替zk,完成配置文件自動轉數據結構,數據結構自動同步指定進程,同時裡面可以完成很多自定義的發現和控制策略,客戶端包含keeper的sdk就可以實現以上的所有監控數據,profling數據收集,配置文件更新,啟動關閉等回調。完全抽象成語keeper通信sdk,keeper之間考慮用raft。
Q13:負載策略是否同時在服務側與CLIENT側同時做的 (DISPATCHER 會返回一組IP)?另外,ROOM SERVER/REGISTER SERVER連接狀態的一致性|可用性如何保證? 服務側保活有無特別關注的地方? 安全性方面是基於TLS再加上應用層加密?
會在server端做,比如重啟操作前,會下發指令類型消息,讓客戶端進行主動行為。部分消息使用了加密策略,自定義的rsa+des,另外滿足我們安全公司的需要,也定製開發很多安全加密策略。一致性是通過冷備解決的,早期考慮雙寫,但實時狀態雙寫同步代價太高而且容易有臟數據,比如register掛了,調用所有room,通過重新刷入指定register來解決。
Q14:這個keeper有開源打算嗎?
還在寫,如果沒耦合我們系統太多功能,一定會開源的,主要這意味著,我們所有的bind在sdk的庫也需要開源~
Q15:比較好奇lisence是哪個如果開源?
FreeBSD

④ python怎麼連接websocket

websocket是html5引入的一個新特性,傳統的web應用是通過http協議來提供支持,如果要實時同步傳輸數據,需要輪詢,效率低下

websocket是類似socket通信,web端連接伺服器後,握手成功,一直保持連接,可以理解為長連接,這時伺服器就可以主動給客戶端發送數據,實現數據的自動更新。

使用websocket需要注意瀏覽器和當前的版本,不同的瀏覽器提供的支持不一樣,因此設計伺服器的時候,需要考慮。

⑤ python tcp長連接發送數據,接收方斷開怎麼監聽

長連接就是建立TCP連接後,一直保持這個連接,一般會中間彼此發送心跳來確認對應的存在,中間會做多次業務數據傳輸,一般不會主動斷開連接。 短連接一般指建立連接後,做一些操作 如:http請求,然後就關掉這個連接。所以就做短連接。

⑥ 如何實現單伺服器300萬個長連接的

理論上完全可以達到。
(以下參考值皆是Linux平台上)

1,Linux單個進程可以維持的連接數(fd)理論值是通過ulimit -a設置,或在server內使用setrlimit()設置,具體最大是多少?我看我的64機上是64bits的一個數值,所以,權且認為理論上是2^64-1。 anyway,幾百萬不是問題。

2,TCP連接數。因為是Server端,不用向系統申請臨時埠,只佔fd資源。所以tcp連接數不受限制。

3,維持連接當然需要內存消耗,假如每個連接(fd),我們為其分配5k位元組(應該足夠了,就存放一些用戶信息之類的)。這樣是5k*3000000=15G。 文中有24G內存,應該也足夠了。

================================
下面我們說下文中提及的 多消息循環、非同步非阻塞。
先說非同步和非阻塞吧。權且認為這倆是一個概念。都是指的IO的非同步和非阻塞。
1,非同步+非阻塞的話,Linux上必然是epoll了。
原理上簡而言之吧,非同步就是基於事件的讀寫,epoll同時監聽所有的tcp連接(fd),當有哪些連接上有了事件(讀、寫、錯誤),就返回有事件的連接集合,然後處理這個集合里的需要處理的連接事件。這兒就是基於事件的非同步IO。
非阻塞。 在得到有事件的tcp連接集合之後,逐一進行讀(寫)。分開來說,需要讀的fd,其實數據已經到OS的tcp buffer里了,讀完直接返回,CPU不等待。(返回EAGAIN,其實就進行了幾次memcpy); 需要寫的連接,同樣,其實是把數據寫到了OS的tcp buffer里,寫滿為止。。不會等待對方發來ACK再返回。這樣,其實這里CPU基本上只進行了一些memcpy的操作。。即便同時幾十萬連接有事件,也是瞬間處理完的事。。。然後,CPU再進行非同步io等待(epoll_wait())。
當然這兒要充分利用多核,最好將io線程和work線程分開。

2,多消息循環。。這個應該是他們內部的概念。我個人猜測是非同步的消息協議。
舉例子,傳統的TCP連接是一問一答,如HTTP。

⑦ Python 之 Socket編程(TCP/UDP)

socket(family,type[,protocal]) 使用給定的地址族、套接字類型、協議編號(默認為0)來創建套接字。

有效的埠號: 0~ 65535
但是小於1024的埠號基本上都預留給了操作系統
POSIX兼容系統(如Linux、Mac OS X等),在/etc/services文件中找到這些預留埠與的列表

面向連接的通信提供序列化、可靠的和不重復的數據交付,而沒有記錄邊界。意味著每條消息都可以拆分多個片段,並且每個消息片段都能到達目的地,然後將它們按順序組合在一起,最後將完整的信息傳遞給等待的應用程序。
實現方式(TCP):
傳輸控制協議(TCP), 創建TCP必須使用SOCK_STREAM作為套接字類型
因為這些套接字(AF_INET)的網路版本使用網際網路協議(IP)來搜尋網路中的IP,
所以整個系統通常結合這兩種協議(TCP/IP)來進行網路間數據通信。

數據報類型的套接字, 即在通信開始之前並不需要建議連接,當然也無法保證它的順序性、可靠性或重復性
實現方式(UDP)
用戶數據包協議(UDP), 創建UDP必須使用SOCK_DGRAM (datagram)作為套接字類型
它也使用網際網路來尋找網路中主機,所以是UDP和IP的組合名字UDP/IP

注意點:
1)TCP發送數據時,已建立好TCP連接,所以不需要指定地址。UDP是面向無連接的,每次發送要指定是發給誰。
2)服務端與客戶端不能直接發送列表,元組,字典。需要字元串化repr(data)。

TCP的優點: 可靠,穩定 TCP的可靠體現在TCP在傳遞數據之前,會有三次握手來建立連接,而且在數據傳遞時,有確認、窗口、重傳、擁塞控制機制,在數據傳完後,還會斷開連接用來節約系統資源。

TCP的缺點: 慢,效率低,佔用系統資源高,易被攻擊 TCP在傳遞數據之前,要先建連接,這會消耗時間,而且在數據傳遞時,確認機制、重傳機制、擁塞控制機制等都會消耗大量的時間,而且要在每台設備上維護所有的傳輸連接,事實上,每個連接都會佔用系統的CPU、內存等硬體資源。 而且,因為TCP有確認機制、三次握手機制,這些也導致TCP容易被人利用,實現DOS、DDOS、CC等攻擊。

什麼時候應該使用TCP : 當對網路通訊質量有要求的時候,比如:整個數據要准確無誤的傳遞給對方,這往往用於一些要求可靠的應用,比如HTTP、HTTPS、FTP等傳輸文件的協議,POP、SMTP等郵件傳輸的協議。 在日常生活中,常見使用TCP協議的應用如下: 瀏覽器,用的HTTP FlashFXP,用的FTP Outlook,用的POP、SMTP Putty,用的Telnet、SSH QQ文件傳輸.

UDP的優點: 快,比TCP稍安全 UDP沒有TCP的握手、確認、窗口、重傳、擁塞控制等機制,UDP是一個無狀態的傳輸協議,所以它在傳遞數據時非常快。沒有TCP的這些機制,UDP較TCP被攻擊者利用的漏洞就要少一些。但UDP也是無法避免攻擊的,比如:UDP Flood攻擊……

UDP的缺點: 不可靠,不穩定 因為UDP沒有TCP那些可靠的機制,在數據傳遞時,如果網路質量不好,就會很容易丟包。

什麼時候應該使用UDP: 當對網路通訊質量要求不高的時候,要求網路通訊速度能盡量的快,這時就可以使用UDP。 比如,日常生活中,常見使用UDP協議的應用如下: QQ語音 QQ視頻 TFTP ……

⑧ tcplink在python中哪個模塊了

socket模塊


python可以實現TCP伺服器和客戶端的編程,下面是代碼:

伺服器端:

代碼如下:

#!/usr/bin/envpython
importsocket
host="localhost"
port=10000
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.bind((host,port))
s.listen(5)
while1:
sock,addr=s.accept()
print"gotconnectionform",sock.getpeername()
data=sock.recv(1024)
ifnotdata:
break
else:
printdata


客戶端:

代碼如下:

#!/usr/bin/envpython
importsocket
host="localhost"
port=10000
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.connect((host,port))
s.send("hellofromclient")
s.close()

⑨ python twisted 寫tcp 客戶端 伺服器 為什麼self.transport.write傳送多數據的時候,接受到是一起接受呢

因為tcp socket只是傳送一個段連續的數據流,如果你write:

self.transport.write('Z')
self.transport.write('Z')
self.transport.write('Z')

因為三個write是連續的,所以對socket來說,它要傳的就是用hex表示的'5a 5a 5a'這樣一段數據,你分開寫或者一次寫對socket來說沒有什麼區別。

tcp socket的另一端需要接受多次的,要麼是你要傳送的數據太大,一個packet裝不下,要麼就是兩次傳送之間的時間有間隔,會形成兩個packet。

一般的處理是你需要另外的一個Application Layer的protocol,比如最簡單的你用 來分隔每一個write,然後在接收到的時候可以在數據里找到 ,然後就可以分別處理每一個write了。

閱讀全文

與pythontcp長連接相關的資料

熱點內容
壓縮因子定義 瀏覽:966
cd命令進不了c盤怎麼辦 瀏覽:212
葯業公司招程序員嗎 瀏覽:972
毛選pdf 瀏覽:657
linuxexecl函數 瀏覽:725
程序員異地戀結果 瀏覽:372
剖切的命令 瀏覽:226
干什麼可以賺錢開我的世界伺服器 瀏覽:288
php備案號 瀏覽:988
php視頻水印 瀏覽:166
怎麼追程序員的女生 瀏覽:487
空調外壓縮機電容 瀏覽:79
怎麼將安卓變成win 瀏覽:459
手機文件管理在哪兒新建文件夾 瀏覽:724
加密ts視頻怎麼合並 瀏覽:775
php如何寫app介面 瀏覽:804
宇宙的琴弦pdf 瀏覽:396
js項目提成計算器程序員 瀏覽:944
pdf光子 瀏覽:834
自拍軟體文件夾名稱大全 瀏覽:328