1. linux設置定時任務
《使用PSSH批量管理Linux》 一文中,已經學習了使用pssh批量管理linux的技巧。而很多時候,我們需要定時執行一些任務,或者需要定時執行一些批量任務。因此,本文就來研究一下linux設置定時任務的方法。
主要參考 Linux Crontab 定時任務 、 Linux定時任務Crontab命令詳解 和 Linux 定時任務詳解 。
cron(crond)是linux下用來周期性的執行某種任務或等待處理某些事件的一個守護進程。linux系統上面原本就有非常多的計劃性工作,因此這個系統服務是默認啟動的。crond進程每分鍾會定期檢查是否有要執行的任務,如果有要執行的任務,則自動執行該任務。另外,由於使用者自己也可以設置計劃任務,所以,linux系統也提供了使用者控制計劃任務的命令:crontab命令。
crontab命令是cron table的簡寫,它是cron的配置文件,也可以叫它作業列表,我們可以在以下文件夾內找到相關配置文件。
linux下的任務調度分為兩類,系統任務調度和用戶任務調度。
系統任務調度:系統周期性所要執行的工作,比如寫緩存數據到硬碟、日誌清理等。 /etc/crontab 文件就是系統任務調度的配置文件。
用戶任務調度:用戶定期要執行的工作,比如用戶數據備份、定時郵件提醒等。用戶可以使用 crontab 工具來定製自己的計劃任務。所有用戶定義的crontab文件都被保存在 /var/spool/cron/crontabs/ 目錄中,其文件名與用戶名一致。
假設我們使用的是Ubuntu14.04.5 Server版,查看 /etc/crontab ,內容為:
第一行SHELL變數指定了系統要使用哪個shell;第二行PATH變數指定了系統執行 命令的路徑。
接下來的命令格式為:
m h dom mon dow user command
英文全拼為:
minute hour day month week user commond
注意, /var/spool/cron 目錄中的用戶調度任務,沒有user一項,因為文件名已經代表了user。
在以上各個欄位中,還可以使用以下特殊字元:
crontab命令格式為:
crontab [-u username] [file] [ -e | -l | -r ]
設置定時任務和時間緊密相關,如果伺服器的時區時間設置和本地不同,就不能保證計劃任務的正確執行。所以使用crontab的第一步,是調節好伺服器的時間。
下面參考 Ubuntu 16.04將系統時間寫入到硬體時間BIOS ,對伺服器時間進行調節。
時間是有時區的,無論硬體時間還是操作系統時間。hwclock的時區在/etc/default/rcS文件中設置,裡面有一個參數UTC,默認值為yes,表示使用UTC時區,如果設置為no,那表示使用osclock的時區。建議hwclock與osclock設置相同的時區,也就是no。
1、查看伺服器硬體時間
sudo hwclock -r ,看到的時間格式為: Wed 23 May 2018 11:02:17 AM HKT -0.031663 seconds
2、查看伺服器系統時間
date ,看到的時間格式為: Wed May 23 11:02:41 HKT 2018
3、設置hwclock和osclock時區相同
sudo vim /etc/default/rcS ,找到:
修改為:
4、將系統時間寫入硬體時間
sudo hwclock -w
5、修改系統時區
osclock的時區配置文件為/etc/timezone,不建議直接修改配置文件。
如果你想修改為CST時間,那麼執行 sudo tzselect 命令時,選擇Asia->China->Beijing Time即可,這時會提示使用Asia/Shanghai時區。(ubuntu和centos通用)
6、設置即刻生效
執行 date ,發現時區沒有變化,依然是HKT。
sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
sudo ntpdate time.windows.com
如果執行ntpdate報錯:ntpdate[18409]: no server suitable for synchronization found ,那麼就換一個時間同步工具。
sudo apt-get install rdate
sudo rdate -s time-b.nist.gov
再次執行 date ,發現時區已經變成了CST。
7、硬體時間同步
sudo hwclock -r ,發現硬體時間落後。
sudo hwclock -w ,再次把系統時間寫入硬體時間,同步完成。
實例1:每分鍾、每小時、每天、每周、每月、每年執行
實例2:每小時的第3和第15分鍾執行
3,15 * * * * myCommand
實例3:在上午8點到11點的第3和第15分鍾執行
3,15 8-11 * * * myCommand
實例4:每隔兩天的上午8點到11點的第3和第15分鍾執行
3,15 8-11 */2 * * myCommand
實例5:每周一上午8點到11點的第3和第15分鍾執行
3,15 8-11 * * 1 myCommand
實例6:每晚的21:30重啟smb
30 21 * * * /etc/init.d/smb restart
實例7:每月1、10、22日的4 : 45重啟smb
45 4 1,10,22 * * /etc/init.d/smb restart
實例8:每周六、周日的1 : 10重啟smb
10 1 * * 6,0 /etc/init.d/smb restart
實例9:每天18 : 00至23 : 00之間每隔30分鍾重啟smb
0,30 18-23 * * * /etc/init.d/smb restart
實例10:每星期六的晚上11 : 00 pm重啟smb
0 23 * * 6 /etc/init.d/smb restart
實例11:每一小時重啟smb
0 * * * * /etc/init.d/smb restart
實例12:晚上11點到早上7點之間,每隔一小時重啟smb
0 23-7/1 * * * /etc/init.d/smb restart
實例13:每月的4號與每周一到周三的11點重啟smb
0 11 4 * mon-wed /etc/init.d/smb restart
實例14:一月一號的4點重啟smb
0 4 1 jan * /etc/init.d/smb restart
實例15:每小時執行/etc/cron.hourly目錄內的腳本
01 * * * * root run-parts /etc/cron.hourly
run-parts這個參數了,如果去掉這個參數的話,後面就可以寫要運行的某個腳本名,而不是目錄名了。
目標:每分鍾查看一下ganglia的狀態,並保存到/tmp/log/ganglia目錄。
1、創建/tmp/log/ganglia目錄
sudo mkdir -p /tmp/log/ganglia
sudo chmod a+w /tmp/log/ganglia
2、編輯crontab
crontab -e ,選擇編輯器為vim
3、在crontab文件中添加一行
4、查看crontab任務
crontab -l ,看到任務已經添加成功。
5、等待了五分鍾,發現/tmp/log/ganglia目錄下啥也沒有。
sudo service cron status ,狀態正常。
sudo /etc/init.d/cron restart ,重啟cron試試。
又等待了五分鍾,發現/tmp/log/ganglia目錄下依然空空。
莫非是因為pssh沒有使用絕對路徑? whereis pssh ,找到pssh路徑為 /usr/lib/pssh ,修改crontab為:
然而,並沒有用。
還是查看下crontab日誌吧!
以下主要參考 Ubuntu下用crontab 部署定時任務 。
1、編輯50-default.conf
sudo vim /etc/rsyslog.d/50-default.conf
2、把cron前的井號去掉,也就是修改為:
3、重啟rsyslog服務
sudo service rsyslog restart
4、重啟crontab服務
sudo service cron restart
5、查看crontab日誌
less /var/log/cron.log
果然發現了問題:
也就是說,命令確實按時執行了,只不過沒有執行完,被百分號截斷了,導致log文件沒有正常生成!
修改crontab為:
終於,log文件成功生成,nice!但是,文件內容是空的!因為, /usr/lib/pssh 是一個目錄,不是pssh命令!真正的pssh命令是parallel-ssh,找到它的位置為 /usr/bin/parallel-ssh ,修改crontab:
至此,問題圓滿解決。
實際使用的時候,一天獲取一次ganglia的狀態就夠了,所以crontab改成:
以上,每天執行一次定時任務,抓取ganglia的運行狀態保存到日誌文件中。緊接著,我們的目標是使用腳本檢查當天的日誌文件,如果發現ganglia運行異常,則產生一個錯誤日誌。
1、假設日誌文件ganglia-20180524.log的內容為:
2、參考 grep命令最經常使用的功能總結 ,編寫腳本checkganglia.sh
3、執行
chmod a+x checkganglia.sh
./checkganglia.sh
如果所有客戶機的ganglia運行正常,就會輸出All services are runing!。如果有的客戶機ganglia進程不存在,則會在/tmp/log/ganglia/目錄下生成當天的錯誤日誌。
4、設置定時運行
因為日誌的檢查工作要在日誌生成之後,所以時間上延後十分鍾。
上面的腳本,還有很多要改進的地方。比如有的客戶機宕機了,上面的腳本檢查不出來。比如有的客戶機ganglia服務沒有啟動,那麼具體是哪幾台?針對這兩個問題,下面進行改進。假設已經知道客戶機的數量為10。
參考 csplit命令 ,checkganglia.sh腳本修改為:
以上腳本,實現了當客戶機數量不為10的時候,進行報錯;當客戶機ganglia服務沒有啟動時,進行報錯,並且篩選出所有沒有啟動ganglia的客戶機。
本文中,我們先學習了crontab的基礎知識和基本用法。然後通過監控ganglia這一個應用場景來具體學習crontab的詳細使用方法,包括查看cron日誌的方法,crontab中命令轉義的方法,定時執行腳本的方法,以及審閱日誌腳本的編寫和進階。
至此,還不夠完美,因為我們需要每天登錄管理機查看有沒有錯誤日誌。下一篇 Linux設置郵件提醒 中,我們將會研究linux設置郵件提醒的方法。審閱完日誌後,如果腳本能夠給我們發送一封郵件,告知我們審閱的結果,那麼我們就不必再每天查看錯誤日誌。
2. 求linux毫秒級定時器的實現
1 nanosleep函數可以提供最高解析度,一般是納秒級
2 select、poll函數的定時是毫秒級,pselect是納秒級
以上三個函數都可以實現你的要求
3. linux下多個定時器的實現(C語言),麻煩高手指點哈嘛(急)
給你兩個函數參考
omsTimer函數是處理定時事件,void(*handle)(union sigval v)參數就是處理事件的函數指針。
int omsSetTimer(timer_t *tId,int value,int interval)就是設置定時器。
按你說的,如果要同時起多個定時器,需要定義一個數組timer_t tm[n];int it[n];tm就是定時器結構,it用來記錄對應的定時器是否已經使用,使用中的就是1,沒用的就是0;
主進程消息來了就從it找一個沒用的來omsSetTimer,如果收到終止消息,那omsSetTimer 定時時間為0
int omsTimer(timer_t *tId,int iValue,int iSeconds ,void(*handle)(union sigval v),void * param)
{
struct sigevent se;
struct itimerspec ts;
memset (&se, 0, sizeof (se));
se.sigev_notify = SIGEV_THREAD;
se.sigev_notify_function = handle;
se.sigev_value.sival_ptr = param;
if (timer_create (CLOCK_REALTIME, &se, tId) < 0)
{
return -1;
}
ts.it_value.tv_sec = iValue;
// ts.it_value.tv_sec =3;
//ts.it_value.tv_nsec = (long)(iValue % 1000) * (1000000L);
ts.it_value.tv_nsec = 0;
ts.it_interval.tv_sec = iSeconds;
//ts.it_interval.tv_nsec = (long)(iSeconds % 1000) * (1000000L);
ts.it_interval.tv_nsec = 0;
if (timer_settime(*tId, TIMER_ABSTIME, &ts, NULL) < 0)
{
return -1;
}
return 0;
}
int omsSetTimer(timer_t *tId,int value,int interval)
{
struct itimerspec ts;
ts.it_value.tv_sec =value;
//ts.it_value.tv_nsec = (long)(value % 1000) * (1000000L);
ts.it_value.tv_nsec = 0;
ts.it_interval.tv_sec = interval;
//ts.it_interval.tv_nsec = (long)(interval % 1000) * (1000000L);
ts.it_interval.tv_nsec = 0;
if (timer_settime(*tId, TIMER_ABSTIME, &ts, NULL) < 0)
{
return -1;
}
return 0;
}
4. 在linux環境中,如何實現多線程中使用多個定時器,POSIX定時器可以嗎,如何用
個局御辯人解決了,以下是一個實現:
#include <stdlib.h>
#include <unistd.h>
#include <stdio.h>
#include <signal.h>
#include <string.h>
#include <pthread.h>
#include <time.h>
#if 1
pthread_attr_t attr;
timer_t hard_timer, software_timer;
struct sigevent hard_evp, software_evp;
static void watchdog_hard_timeout(union sigval v)
{
time_t t;
char p[32];
timer_t *q;
struct itimerspec ts;
int ret;
time(&t);
strftime(p, sizeof(p), "%T", localtime(&t));
printf("watchdog hard timeout!\n");
printf("%s thread %d, val = %u, signal captured.\n", p, (unsigned int)pthread_self(), v.sival_int);
q = (timer_t *)(v.sival_ptr);
printf("hard timer_t:%d add:%p, q:%p!\n", (int)hard_timer, &hard_timer, q);
ts.it_interval.tv_sec = 0;
ts.it_interval.tv_nsec = 0;
ts.it_value.tv_sec = 6;
ts.it_value.tv_nsec = 0;
ret = timer_settime(*q, CLOCK_REALTIME, &ts, NULL);
if (ret != 0) {
printf("settime err(%d)!\n", ret);
}
}
static void watchdog_software_timeout(union sigval v)
{
time_t t;
char p[32];
timer_t *q;
struct itimerspec ts;
int ret;
time(&t);
strftime(p, sizeof(p), "%T", localtime(&t));
printf("watchdog software timeout!\n");
printf("%s thread %d, val = %u, signal captured.\n"桐缺, p, (unsigned int)pthread_self(), v.sival_int);
q = (timer_t *)(v.sival_ptr);
printf("hard timer_t:%d add:%p, q:%p!\拆讓n", (int)hard_timer, &hard_timer, q);
ts.it_interval.tv_sec = 0;
ts.it_interval.tv_nsec = 0;
ts.it_value.tv_sec = 10;
ts.it_value.tv_nsec = 0;
ret = timer_settime(*q, CLOCK_REALTIME, &ts, NULL);
if (ret != 0) {
printf("settime err(%d)!\n", ret);
}
}
static void dcmi_sol_pthread_attr_destroy(pthread_attr_t *attr)
{
pthread_attr_destroy(attr);
}
static int dcmi_sol_pthread_attr_init(pthread_attr_t *attr)
{
int ret;
if ((ret = pthread_attr_init(attr) != 0)) {
goto err;
}
if ((ret = pthread_attr_setdetachstate(attr, PTHREAD_CREATE_DETACHED)) != 0) {
dcmi_sol_pthread_attr_destroy(attr);
goto err;
}
/* 設置線程的棧大小,失敗則用系統默認值 */
pthread_attr_setstacksize(attr, 128 * 1024);
return 0;
err:
printf("set ptread attr failed(ret:%d)!\n", ret);
return -1;
}
int main(void)
{
struct itimerspec ts;
int ret;
ret = dcmi_sol_pthread_attr_init(&attr);
if (ret != 0) {
printf("init pthread attributes fail(%d)!\n", ret);
exit(-1);
}
memset(&hard_evp, 0, sizeof(struct sigevent));
hard_evp.sigev_value.sival_ptr = &hard_timer;
hard_evp.sigev_notify = SIGEV_THREAD;
hard_evp.sigev_notify_function = watchdog_hard_timeout;
hard_evp.sigev_notify_attributes = NULL;//&attr;
memset(&software_evp, 0, sizeof(struct sigevent));
software_evp.sigev_value.sival_ptr = &software_timer;
software_evp.sigev_notify = SIGEV_THREAD;
software_evp.sigev_notify_function = watchdog_software_timeout;
software_evp.sigev_notify_attributes = NULL;//&attr;
ret = timer_create(CLOCK_REALTIME, &hard_evp, &hard_timer);
if(ret != 0) {
perror("hard timer_create fail!");
exit(-1);
}
ret = timer_create(CLOCK_REALTIME, &software_evp, &software_timer);
if (ret != 0) {
timer_delete(hard_timer);
perror("software timer_create fail!");
exit(-1);
}
ts.it_interval.tv_sec = 0;
ts.it_interval.tv_nsec = 0;
ts.it_value.tv_sec = 6;
ts.it_value.tv_nsec = 0;
ret = timer_settime(hard_timer, CLOCK_REALTIME, &ts, NULL);
if(ret != 0) {
perror("hard timer_settime fail!");
timer_delete(hard_timer);
timer_delete(software_timer);
exit(-1);
}
ts.it_value.tv_sec = 10;
ret = timer_settime(software_timer, CLOCK_REALTIME, &ts, NULL);
if(ret != 0) {
perror("hard timer_settime fail!");
timer_delete(hard_timer);
timer_delete(software_timer);
exit(-1);
}
while(1) {
printf("main ready sleep!\n");
sleep(15);
printf("main sleep finish!\n");
}
return 0;
}
#endif
5. linux下編寫定時任務crontab
linux下的crontab服務:
1、crontab 是用來讓使用者在固定時間或固定間隔執行程序之用
在linux平台上如果需要實現任務調度功能可以編寫cron腳本來實現。
以某一頻率執行任務
linux預設會啟動crond進程,crond進程不需要用戶啟動、關閉。
crond進程負責讀取調度任務並執行,用戶只需要將相應的調度腳本寫入cron的調度配置文件中。
cron的調度文件有以下幾個:
1. crontab
2. cron.d
3. cron.daily
4. cron.hourly
5. cron.monthly
6. cron.weekly
如果用的任務不是以hourly monthly weekly方式執行,則可以將相應的crontab寫入到crontab 或cron.d目錄中。
示例:
每隔一分鍾執行一次腳本 /opt/bin/test-cron.sh
可以在cron.d新建腳本 echo-date.sh
內容為
*/1 * * * * root /opt/bin/test-cron.sh
2、cron是一個linux下的定時執行工具,可以在無需人工干預的情況下運行作業。由於Cron 是Linux的內置服務,如果它不自動起來,可以用以下的方法啟動、關閉這個服務:
/sbin/service crond start //啟動服務
/sbin/service crond stop //關閉服務
/sbin/service crond restart //重啟服務
/sbin/service crond reload //重新載入配置
你也可以將這個服務在系統啟動的時候自動啟動:
在/etc/rc.d/rc.local這個腳本的末尾加上:
/sbin/service crond start
現在Cron這個服務已經在進程裡面了,我們就可以用這個服務了
查看服務是否已經運行用 ps -ax | grep cron
3、crontab命令
查看該用戶下的crontab服務是否創建成功, 用 crontab -l 命令
命令 which php 查看linux下安裝的php的路徑
cron服務提供crontab命令來設定cron服務的,以下是這個命令的一些參數與說明:
crontab -u //設定某個用戶的cron服務,一般root用戶在執行這個命令的時候需要此參數
crontab -l //列出某個用戶cron服務的詳細內容
crontab -r //刪除沒個用戶的cron服務
crontab -e //編輯某個用戶的cron服務
比如說root查看自己的cron設置:crontab -u root -l
再例如,root想刪除fred的cron設置:crontab -u fred -r
在編輯cron服務時,編輯的內容有一些格式和約定,輸入:crontab -u root -e
進入vi編輯模式,編輯的內容一定要符合下面的格式:*/1 * * * * ls >> /tmp/ls.txt
任務調度的crond常駐命令crond 是linux用來定期執行程序的命令。當安裝完成操作系統之後,默認便會啟動此 任務調度命令。crond命令每分鍾會定期檢查是否有要執行的工作,如果有要執行的工作便會自動執行該工作。
crontab命令選項:
-u指定一個用戶
-l列出某個用戶的任務計劃
-r刪除某個用戶的任務
-e編輯某個用戶的任務
4、cron文件語法:
分 小時 日 月 星期 命令
0-59 0-23 1-31 1-12 0-6 command (取值范圍,0表示周日一般一行對應一個任務)
5、 新增調度任務
新增調度任務可用兩種方法:
1)、在命令行輸入: crontab -e 然後添加相應的任務,wq存檔退出。
2)、直接編輯/etc/crontab 文件,即vi /etc/crontab,添加相應的任務。
6、 查看調度任務
crontab -l //列出當前的所有調度任務
crontab -l -u jp //列出用戶jp的所有調度任務
7、 刪除任務調度工作
crontab -r //刪除所有任務調度工作
8、 任務調度執行結果的轉向
例1:每天5:30執行ls命令,並把結果輸出到/jp/test文件中
30 5 * * * ls >/jp/test 2>&1
註:2>&1 表示執行結果及錯誤信息。
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root //如果出現錯誤,或者有數據輸出,數據作為郵件發給這個帳號
HOME=/ //使用者運行的路徑,這里是根目錄
# run-parts
01 * * * * root run-parts /etc/cron.hourly //每小時執行/etc/cron.hourly內的腳本
02 4 * * * root run-parts /etc/cron.daily //每天執行/etc/cron.daily內的腳本
22 4 * * 0 root run-parts /etc/cron.weekly //每星期執行 /etc/cron.weekly內的腳本
42 4 1 * * root run-parts /etc/cron.monthly //每月去執行/etc/cron.monthly內的腳本
大家注意」run-parts」這個參數了,如果去掉這個參數的話,後面就可以寫::要運行的某個腳本名,而不是文件夾名了。
總結:
編寫定時任務的兩種方式:1.sudo vim /etc/crontab 2. sudo crontab -e
查看定時任務的兩種方式:1.sudo cat /etc/crontab 2.sudo crontab -l
*/1 * * * * appuser cd /app/webserver/website/api-cb.chuchujie.com/master/current/script/ && ./back_coupon.sh 2 10 >> /dev/null 2>&1
查看定時任務是否運行:
sudo tail -f /var/log/cron //定時任務日誌(查看剛才設置的任務是否執行)
註:腳本有可執行許可權
sh a.sh(不需要執行許可權)
./sh (需要執行許可權)
1.當shell腳本具有可執行許可權時,用sh filename與./filename執行腳本是沒有區別的。./filename是因為當前目錄沒有在PATH中,所有"."是用來表示當前目錄的。