艾銻知識 |運(yùn)維人員處理服務(wù)器故障的方法總結(jié)

2020-03-10 14:33 作者：艾銻無限 瀏覽量：

據(jù)不完全統(tǒng)計(jì),中國有近5000萬家中小微企業(yè),這個數(shù)據(jù)隨著互聯(lián)網(wǎng)的發(fā)展還在持續(xù)增長,但這些企業(yè)的存活率是非常低的,60%的初創(chuàng)企業(yè)活不過1年,30%的初創(chuàng)企業(yè)活不過3年,還有超過9%的企業(yè)只有5年左右的生

存期,剩下不到1%的企業(yè)活過5年以上,幸運(yùn)的可以達(dá)到10年,甚至更長一些.

為什么中小微企業(yè)的存活率這么低呢?
透過成千上萬的失敗案例,我們總結(jié)了以下五大方面的原因:

第一,創(chuàng)業(yè)失敗創(chuàng)始人難辭其咎,我們在學(xué)校里是沒有一堂課是教如何創(chuàng)業(yè),如何才能創(chuàng)業(yè)成功,即使現(xiàn)在有很多大學(xué)嘗試著在學(xué)校開辦一些創(chuàng)業(yè)的課程,也不系統(tǒng),更不專業(yè),因?yàn)閯?chuàng)業(yè)是一件極其復(fù)雜的工作,是需要多項(xiàng)

技能的集合以及熟練的運(yùn)用才有可能應(yīng)對突如其來的變化,創(chuàng)業(yè)初期就像一艘孤獨(dú)的小船面對波濤洶涌的大海,但船長從來都沒有開過任何一艘船駛出過海港,風(fēng)浪來的時候,只有慌張和恐懼,最后被海水吞沒.

第二,創(chuàng)業(yè)失敗是價值觀不統(tǒng)一,方向不一致,團(tuán)隊(duì)不團(tuán)結(jié),風(fēng)平浪靜,風(fēng)和日麗,其實(shí)沒什么關(guān)系,大家都在享受陽光帶來的美好和快樂,只有遇到風(fēng)浪,生死攸關(guān)或個人利益受到極大沖突時,人性的弱點(diǎn)才會突顯,當(dāng)每個人

只盯著個人得失或眼光短淺時,如果這個時候創(chuàng)始人沒有力挽狂瀾,強(qiáng)大的信念和人格魅力來一統(tǒng)所有人的行動準(zhǔn)則,在危機(jī)中遲疑,就等于在死神面前跳舞,當(dāng)年阿里的“中國供應(yīng)商”客戶涉嫌欺詐事件,如果不是馬云明

察秋毫,當(dāng)即立斷,我相信也不會有今天阿里世界霸主的地位.

第三,創(chuàng)業(yè)失敗是固步自封,看不見高山,如果我們只能看見自己的山最高,沒有走出去,沒有學(xué)習(xí)的心態(tài),沒有敬畏之心,很快時代就會把我們淘汰,當(dāng)年的諾基亞,柯達(dá)就是最好的例子.無論企業(yè)多大,都要有一顆創(chuàng)業(yè)的心,

永遠(yuǎn)相信還能做的更好,還可以再創(chuàng)新,還會想出其它的可能性.真正的對手不在外面,而在我們心中,心中無敵,才能無敵于天下.

第四,創(chuàng)業(yè)失敗是誤解了”客戶是上帝”,上帝并不是時時都知道自己要什么,我們不能只限于客戶表面的表達(dá)就決定了他們的需求,很多企業(yè)死就死在客戶的假需求中,看起來好像是客戶追求的產(chǎn)品,需要的服務(wù),但實(shí)際

當(dāng)產(chǎn)品生產(chǎn)出來,當(dāng)服務(wù)送到客戶面前,并沒有真正吸引到客戶的注意,愿意為此而買單,核心本質(zhì)就是我們曲解了”客戶是上帝”這句話,真正的上帝是不會當(dāng)自己是至高無上的,也不會對品質(zhì)無底限的追求,更不會對服

務(wù)沒有節(jié)制要求,其實(shí)客戶就是客戶,他們絕大部分人都是普通人,有著普通人的欲望,有著普通人的不滿足,有著普通人想要花更少的錢卻要得到更多的意識,他們的只忠誠于更便宜更高的品質(zhì),這一切都是企業(yè)需要認(rèn)

知到的本質(zhì),不然你的”上帝”是不會為你持續(xù)付費(fèi)的.

第五,創(chuàng)業(yè)失敗是講多了人情講少了制度,公司小,三五個人可以不需要任何制度,甚至也不需要任何系統(tǒng),因?yàn)槟菚r彼此聯(lián)結(jié)非常深,情感的能量可以喚醒每個人的斗志和決心 ,但當(dāng)企業(yè)發(fā)展到幾十個人甚至幾百個人

時,那種深深的聯(lián)結(jié)感很難在感受到,人性的弱點(diǎn)就會被環(huán)境所喚醒,就會被利益所綁架,就會被自私所控制,但也不是有了制度就有了保障,制度是人的工具,制度最終是服務(wù)于人,只有促進(jìn)發(fā)展的制度,可能激勵人性向

善的制度才能長久, 反之亦然.

如果你想想創(chuàng)立一家公司?

如果你是一家剛剛開始創(chuàng)業(yè)的公司?

如果你現(xiàn)在在創(chuàng)業(yè)的過程中遇到了挑戰(zhàn)?

結(jié)合上面的五大常見創(chuàng)業(yè)失敗,我們總結(jié)出來了五個可以讓你有更大成功機(jī)率的法則,可以讓你活的更久一些,但不保證你一定成功,因?yàn)槭率伦兓?因緣和合,萬法無常,只能隨機(jī)而變.

第一法則:準(zhǔn)備自己

創(chuàng)始人需要自我審視,首先要準(zhǔn)備好自我犧牲的精神,要做好大海有風(fēng)暴的思想準(zhǔn)備,其次利用一切可以實(shí)踐的機(jī)會去鍛煉自己的綜合能力,不僅僅相信前輩和書本的聲音,更需要相信實(shí)戰(zhàn)后帶來的思考和反思.即要有

遠(yuǎn)大的理想和抱負(fù),又要有腳踏實(shí)地做好每一件事的決心.

第二法則:認(rèn)識自我

創(chuàng)始人要極早的認(rèn)識自我,想清楚為什么要創(chuàng)業(yè)比創(chuàng)業(yè)更重要,清晰明確的了解自己的價值是什么?什么是自己會堅(jiān)持的,什么是自己抗拒的,混亂的價值觀就會吸引五花八門的人,企業(yè)內(nèi)部的斗爭都是創(chuàng)始人自己思想

的斗爭,初創(chuàng)企業(yè)所呈現(xiàn)出來的一切現(xiàn)象都是創(chuàng)始人內(nèi)在的顯化.當(dāng)年阿里快速成長,內(nèi)部也出現(xiàn)了一系列的問題,但極其智慧的馬云沒有去解決這些問題,反而把自己關(guān)在道觀中整整7天,最后終于想明白了三個問題:

我要什么,我有什么,我要放棄什么,當(dāng)他想清晰這三個問題后,并向全公司傳遞出來,最后所有那些紛繁復(fù)雜的問題都不解自明.

第三法則:持續(xù)打開

創(chuàng)始人的天花板就是企業(yè)的天花板,企業(yè)無法突破,就是創(chuàng)始人沒有突破自己,突破其實(shí)不容易,因?yàn)楣逃械挠^念就像萬里長城一樣,非一日之功,是多少個春夏秋冬,嚴(yán)寒酷暑的積累和沉淀,這些不是沒有價值,而是幫助

過我們創(chuàng)了價值,讓我們來到了今天這一步,但如果我們期望有一個更大的世界,就需要放下它們,放下我們曾經(jīng)一直的堅(jiān)持和執(zhí)著,打開自己,讓自己接納一個全新的可能性,也許過不了多久,我們又會把這些新的東西奉

為圭臬但只要我們還想看到一個更大的可能性,就需要再次打開自己,重新建立認(rèn)知,我們一生都是在打開和重建過程中,直到生命的終結(jié),又一切回歸原點(diǎn).

第四法則:回歸本質(zhì)

創(chuàng)始人剛開始需要和團(tuán)隊(duì)一起參與戰(zhàn)斗,甚至做具體細(xì)節(jié)工作,因?yàn)槌鮿?chuàng)需要激情來點(diǎn)燃,而創(chuàng)始人是這個團(tuán)隊(duì)最有激情的一個人,初創(chuàng)團(tuán)隊(duì)需要有人帶動去點(diǎn)燃更大的燃料.當(dāng)所有團(tuán)隊(duì)和部門走向正軌時,創(chuàng)始人更大

的價值是深度的思考,有效的區(qū)分,精神的引領(lǐng)和正確的選擇.

企業(yè)越來越大,事情就會越來越多,如果沒有一個清醒的大腦保持深度的思考,就像讓企業(yè)很多人很忙,忙是一種現(xiàn)象,并不代表有價值,只有透過深度思考發(fā)現(xiàn)事物的本質(zhì),才知道忙什么才是最重要的,

懂得有效的區(qū)分是一個領(lǐng)導(dǎo)者必須掌握的能力, 《尼布爾的祈禱文》說:”上帝，請賜予我平靜，去接受我無法改變的。給予我勇氣，去改變我能改變的，賜我智慧，分辨這兩者的區(qū)別。”只有具備分辨的智慧,才不

會讓自己誤入歧途.

創(chuàng)始人要有強(qiáng)大的精神力量,讓所有員工感受到這股力量,因?yàn)樗械某晒Χ茧x不開一個偉大的精神領(lǐng)袖,就像蘋果的喬布斯,微軟的比爾蓋茨和阿里的馬云.

選擇比努力更重要,這句話告訴我們順勢而為的選擇可以讓我們在同樣的努力情況下獲得不同的結(jié)果,如何才能具備這樣明智選擇的能力呢,強(qiáng)大的深度思考能力和有效的區(qū)分能力就可以幫到我們看見正確的選擇.

第五法則:創(chuàng)造系統(tǒng)

創(chuàng)始人是人,是人就會有七情六欲,就會有生老病死,就會有悲歡離合,這些人性的因素會讓我們很不穩(wěn)定,但企業(yè)能持久有效的運(yùn)轉(zhuǎn)一定是在穩(wěn)定的能量下運(yùn)行,所以不能始終靠人來推動,企業(yè)想要活的久一定是有內(nèi)生

的系統(tǒng),只有建立一個自動運(yùn)轉(zhuǎn)的系統(tǒng)才能保持穩(wěn)定健康的成長.
以上的分享像從管子里看豹，只看見豹身上的一塊花斑，看不到全豹,以此拋磚引玉,希望有更多人可以把自己創(chuàng)業(yè)的經(jīng)歷和經(jīng)驗(yàn)分享出來,從而讓我們更全面的看見一家企業(yè)怎樣做才能活得久,活的好,活的更有價

值.
 
 
遇到服務(wù)器故障，問題出現(xiàn)的原因很少可以一下就想到。我們基本上都會從以下步驟入手：

一、盡可能搞清楚問題的前因后果
不要一下子就扎到服務(wù)器前面，你需要先搞明白對這臺服務(wù)器有多少已知的情況，還有故障的具體情況。不然你很可能就是在無的放矢。
必須搞清楚的問題有：
故障的表現(xiàn)是什么？無響應(yīng)？報錯？
故障是什么時候發(fā)現(xiàn)的？
故障是否可重現(xiàn)？
有沒有出現(xiàn)的規(guī)律（比如每小時出現(xiàn)一次）
最后一次對整個平臺進(jìn)行更新的內(nèi)容是什么（代碼、服務(wù)器等）？
故障影響的特定用戶群是什么樣的(已登錄的, 退出的, 某個地域的…)?
基礎(chǔ)架構(gòu)（物理的、邏輯的）的文檔是否能找到?
是否有監(jiān)控平臺可用? （比如Munin、Zabbix、 Nagios、 New Relic… 什么都可以）
是否有日志可以查看?. （比如Loggly、Airbrake、 Graylog…）
最后兩個是最方便的信息來源，不過別抱太大希望，基本上它們都不會有。只能再繼續(xù)摸索了。

二、有誰在?
復(fù)制代碼 代碼如下:

$ w
$ last
用這兩個命令看看都有誰在線，有哪些用戶訪問過。這不是什么關(guān)鍵步驟，不過最好別在其他用戶正干活的時候來調(diào)試系統(tǒng)。有道是一山不容二虎嘛。（ne cook in the kitchen is enough.）

三、之前發(fā)生了什么?
$ history查看一下之前服務(wù)器上執(zhí)行過的命令。看一下總是沒錯的，加上前面看的誰登錄過的信息，應(yīng)該有點(diǎn)用。另外作為admin要注意，不要利用自己的權(quán)限去侵犯別人的隱私哦。
到這里先提醒一下，等會你可能會需要更新 HISTTIMEFORMAT 環(huán)境變量來顯示這些命令被執(zhí)行的時間。對要不然光看到一堆不知道啥時候執(zhí)行的命令，同樣會令人抓狂的。

四、現(xiàn)在在運(yùn)行的進(jìn)程是啥?
復(fù)制代碼 代碼如下:

$ pstree -a
$ ps aux
這都是查看現(xiàn)有進(jìn)程的。 ps aux 的結(jié)果比較雜亂， pstree -a 的結(jié)果比較簡單明了，可以看到正在運(yùn)行的進(jìn)程及相關(guān)用戶。

五、監(jiān)聽的網(wǎng)絡(luò)服務(wù)
復(fù)制代碼 代碼如下:

$ netstat -ntlp
$ netstat -nulp
$ netstat -nxlp
我一般都分開運(yùn)行這三個命令，不想一下子看到列出一大堆所有的服務(wù)。netstat -nalp倒也可以。不過我絕不會用 numeric 選項(xiàng) （鄙人一點(diǎn)淺薄的看法：IP 地址看起來更方便）。
找到所有正在運(yùn)行的服務(wù)，檢查它們是否應(yīng)該運(yùn)行。查看各個監(jiān)聽端口。在netstat顯示的服務(wù)列表中的PID 和 ps aux 進(jìn)程列表中的是一樣的。
如果服務(wù)器上有好幾個Java或者Erlang什么的進(jìn)程在同時運(yùn)行，能夠按PID分別找到每個進(jìn)程就很重要了。
通常我們建議每臺服務(wù)器上運(yùn)行的服務(wù)少一點(diǎn)，必要時可以增加服務(wù)器。如果你看到一臺服務(wù)器上有三四十個監(jiān)聽端口開著，那還是做個記錄，回頭有空的時候清理一下，重新組織一下服務(wù)器。

六、CPU 和內(nèi)存
復(fù)制代碼 代碼如下:

$ free -m
$ uptime
$ top
$ htop
注意以下問題:
還有空余的內(nèi)存嗎? 服務(wù)器是否正在內(nèi)存和硬盤之間進(jìn)行swap?
還有剩余的CPU嗎? 服務(wù)器是幾核的? 是否有某些CPU核負(fù)載過多了?
服務(wù)器最大的負(fù)載來自什么地方? 平均負(fù)載是多少?

七、硬件
復(fù)制代碼 代碼如下:

$ lspci
$ dmidecode
$ ethtool
有很多服務(wù)器還是裸機(jī)狀態(tài)，可以看一下：
找到RAID 卡 (是否帶BBU備用電池?)、 CPU、空余的內(nèi)存插槽。根據(jù)這些情況可以大致了解硬件問題的來源和性能改進(jìn)的辦法。
網(wǎng)卡是否設(shè)置好? 是否正運(yùn)行在半雙工狀態(tài)? 速度是10MBps? 有沒有 TX/RX 報錯?

八、IO 性能
復(fù)制代碼 代碼如下:

$ iostat -kx 2
$ vmstat 2 10
$ mpstat 2 10
$ dstat --top-io --top-bio
這些命令對于調(diào)試后端性能非常有用。
檢查磁盤使用量：服務(wù)器硬盤是否已滿?
是否開啟了swap交換模式 (si/so)?
CPU被誰占用：系統(tǒng)進(jìn)程? 用戶進(jìn)程? 虛擬機(jī)?
dstat 是我的最愛。用它可以看到誰在進(jìn)行 IO： 是不是MySQL吃掉了所有的系統(tǒng)資源? 還是你的PHP進(jìn)程?

九、掛載點(diǎn) 和 文件系統(tǒng)
復(fù)制代碼 代碼如下:

$ mount
$ cat /etc/fstab
$ vgs
$ pvs
$ lvs
$ df -h
$ lsof +D / /* beware not to kill your box */
一共掛載了多少文件系統(tǒng)?
有沒有某個服務(wù)專用的文件系統(tǒng)? (比如MySQL?)
文件系統(tǒng)的掛載選項(xiàng)是什么： noatime? default? 有沒有文件系統(tǒng)被重新掛載為只讀模式了？
磁盤空間是否還有剩余?
是否有大文件被刪除但沒有清空?
如果磁盤空間有問題，你是否還有空間來擴(kuò)展一個分區(qū)？

十、內(nèi)核、中斷和網(wǎng)絡(luò)
復(fù)制代碼 代碼如下:

$ sysctl -a | grep ...
$ cat /proc/interrupts
$ cat /proc/net/ip_conntrack /* may take some time on busy servers */
$ netstat
$ ss -s
你的中斷請求是否是均衡地分配給CPU處理，還是會有某個CPU的核因?yàn)榇罅康木W(wǎng)絡(luò)中斷請求或者RAID請求而過載了？
SWAP交換的設(shè)置是什么？對于工作站來說swappinness 設(shè)為 60 就很好, 不過對于服務(wù)器就太糟了：你最好永遠(yuǎn)不要讓服務(wù)器做SWAP交換，不然對磁盤的讀寫會鎖死SWAP進(jìn)程。
conntrack_max 是否設(shè)的足夠大，能應(yīng)付你服務(wù)器的流量?
在不同狀態(tài)下(TIME_WAIT, …)TCP連接時間的設(shè)置是怎樣的？
如果要顯示所有存在的連接，netstat 會比較慢， 你可以先用 ss 看一下總體情況。
你還可以看一下 Linux TCP tuning 了解網(wǎng)絡(luò)性能調(diào)優(yōu)的一些要點(diǎn)。

十一、系統(tǒng)日志和內(nèi)核消息
復(fù)制代碼 代碼如下:

$ dmesg
$ less /var/log/messages
$ less /var/log/secure
$ less /var/log/auth
查看錯誤和警告消息，比如看看是不是很多關(guān)于連接數(shù)過多導(dǎo)致？
看看是否有硬件錯誤或文件系統(tǒng)錯誤?
分析是否能將這些錯誤事件和前面發(fā)現(xiàn)的疑點(diǎn)進(jìn)行時間上的比對。

十二、定時任務(wù)
復(fù)制代碼 代碼如下:

$ ls /etc/cron* + cat
$ for user in $(cat /etc/passwd | cut -f1 -d:); do crontab -l -u $user; done
是否有某個定時任務(wù)運(yùn)行過于頻繁?
是否有些用戶提交了隱藏的定時任務(wù)?
在出現(xiàn)故障的時候，是否正好有某個備份任務(wù)在執(zhí)行？

十三、應(yīng)用系統(tǒng)日志
這里邊可分析的東西就多了, 不過恐怕你作為運(yùn)維人員是沒功夫去仔細(xì)研究它的。關(guān)注那些明顯的問題，比如在一個典型的LAMP（Linux+Apache+Mysql+Perl）應(yīng)用環(huán)境里:
Apache & Nginx; 查找訪問和錯誤日志, 直接找 5xx 錯誤, 再看看是否有 limit_zone 錯誤。
MySQL; 在mysql.log找錯誤消息，看看有沒有結(jié)構(gòu)損壞的表， 是否有innodb修復(fù)進(jìn)程在運(yùn)行，是否有disk/index/query 問題.
PHP-FPM; 如果設(shè)定了 php-slow 日志, 直接找錯誤信息 (php, mysql, memcache, …)，如果沒設(shè)定，趕緊設(shè)定。
Varnish; 在varnishlog 和 varnishstat 里, 檢查 hit/miss比. 看看配置信息里是否遺漏了什么規(guī)則，使最終用戶可以直接攻擊你的后端？
HA-Proxy; 后端的狀況如何？健康狀況檢查是否成功？是前端還是后端的隊(duì)列大小達(dá)到最大值了？