星期二, 12月 25, 2012

ImageMagick 將 jpeg 合併製成 gif 動畫

簡報檔只能有一個檔案是個人在做簡報的一個原則,所以裏面的動畫檔,基本上都用gif來解決…可是最近一直有gif檔太大,但是縮小又太模糊的困擾發生,只好測試一下看看該怎麼做gif檔比較能夠接受。
本篇重點在於resize jpg圖檔時,記得 -quality 100,圖形才不會糊糊的。
convert -resize 14% -quality 100 input.jpg output.jpg
基本上用到的工具就只是ImageMagick,請自行安裝先…

這是原始圖檔,4600x5500像素…檔案大小1.64MB,這樣的檔案一共44個。
基本上放ppt檔的圖形不需要那麼多像素,full hd 也才1920x1200。何況投影片解析度通常沒那麼高,以1024x768為目標來說,我們把圖形縮 14% 的話就變成644x770的檔案。指令如下:
convert -resize 14% original-1.jpg small-1.jpg
檔案大小被這麼一縮,剩下82k大小,可是圖形變的很糊,字與線條邊邊都會因為壓縮而有雜點…

用下述指令產生gif 檔
convert -loop 30 -delay 25 small-*.jpg anim.gif
做成的檔案大小是10.6mb,真是出人意料之外,因為44個各別的檔案也才3.64mb,怎會做成gif卻變那麼大,而且gif圖形品質當然不會變好哩。


jpeg轉檔時記得不要壓縮
由於jpeg存檔時可以指定是否壓縮,預設都會壓(不過我不知道convert採用的預設值多少),我們可以透過-quality 來決定壓縮值,0-100,100是不壓,所以重新用下述指令縮小圖檔:
convert -resize 14% -quality 100 original-1.jpg small-1.jpg
檔案大小變成約300kb,44個一共13.0mb

用下述指令把jpg合成gif後,檔案變成約9mb大小…又是另一個讓人意外的答案。
convert -loop 30 -delay 25 small-*.jpg anim.gif
註:
convert -loop 30 -delay 25 -quality 100 smail-*.jpg anim.gif
convert -loop 30 -delay 25 -quality 50 smail-*.jpg anim.gif
合成的檔案大小一樣是9mb,懷疑合成gif時沒有用到壓縮,所以quality在合成gif時無做用。


星期四, 10月 11, 2012

samba無法進入連結(link)資料夾

因為安全因素,所以samba預設不會讓你進到連結的資料夾。當然,一定有打開的方法,如下:
編輯/etc/samba/smb.conf

[global]
如果有這些關鍵字,就把它設成如下,不然就新增。然後/sbin/service smb restart 即可。
follow symlinks = yes
wide links = yes
unix extensions = no

#然後記得還有 selinux 的權限問題, #假如你link到/disk1/cmd 那麼記得執行如下指令打開selinux權限 chcon -t samba_share_t /disk1/cmd

星期二, 6月 12, 2012

bash 如何用變數取得變數名稱

中文形容的不恰當,英文比較貼切
bash, how to get variable name from variable

假設bash有如下變數:
st21413=5234.3
st21416=4432.2
st52405=5732.1
所以
echo $st21413 會得到 5234.3
那如果
A=st21413
有沒有什麼方法可以透過A得到5234.3的值?
直覺得想法像是
echo $`$A`
結果得到 $st21413 而非 5234.3 …
正解:
A=st21413
echo ${!A}
即可得到5234.3
如果
B=${!A}
那 B 的值就是 5234.3 囉,即
echo $B 會得到 5234.3

星期一, 5月 14, 2012

用 ImageMagick 的 convert 合併圖檔

話說生論文的重點在於你有沒有好看的圖…英文不好、論點不佳、結果很慘,只好靠作圖來加分…是這樣嗎。
使用GMT繪圖時,撰寫的scripts習慣以一張圖為一個檔案,並且直接轉成jpg。 可是在論文編排時,常常需要把幾張圖合成一張,然後在圖中附上a,b,c,d。 以前的做法是用power point編排後再存成ps檔,再由ps檔轉成jpg(此時可設定解析度)。 本來以為這樣的做法,解析度可以保持(事實上解析度是很大…可以過論文排版的檢查),不過實際上圖的解析度並沒有很好。 另外的做法是用gimp處理jpg檔,或是保留ps檔使用coreldraw,可是對於不常用這些軟體的我來說很是麻煩。
由於我一直有在使用ImageMagick,尤其是要執行縮小或製作gif檔時使用convert命令的方法很是方便。 當然強大的ImageMagick如果只是要把很有規則(大小一樣有的沒的)的幾張圖重新排列,並加上(a)(b)(c)(d)應該不難,只是我不會,也一直沒空去了解。最近又要排版了,再用回power point實在品質太差(我標準提高了嗎?)。所以只好花點時間研究ImageMagick,哇~簡值是神奇,只要一個指令就可以搞定。 例如我有四張圖如下:




然後透過下面的指令:
convert \( -page -0-0 \( figure4-a.jpg -page +350+220 -background none -fill black -pointsize 220 label:\(a\) -flatten \) -page -0-0 \( figure4-b.jpg -page +350+220 -background none -fill black -pointsize 220 label:\(b\) -flatten \) -bordercolor black -border 50 +append \) \( -page -0-0 \( figure4-c.jpg -page +350+220 -background none -fill black -pointsize 220 label:\(c\) -flatten \) -page -0-0 \( figure4-d.jpg -page +350+220 -background none -fill black -pointsize 220 label:\(d\) -flatten \) -bordercolor black -border 50 +append \) -append out.jpg
就變成這樣一張圖:

很神奇對不對(我是指我能寫出這天書般的指令),只是上面的指令記不起來的啦,下次也保證看不懂的啦。既然已經花點時間去了解ImageMagick裏convert的用法,也相信下次要用時會忘記,只好寫個簡單的scripts幫助記憶,並且希望可以再下次要用時直接取用。如果你有需要就請隨便用,把你的圖搞壞了別怪我就是了。
convert 可以透過( ) 來優先處理,所以下面的邏輯是先對每一張圖加上(a) (b) (c) (d),用-label給文字,-pointsize給大小,-page給位置。另外,圖要合併時是沒間距的,所以透過-border加個白色外框(由-bordercolor設定白色)。
然後用+append把二張做橫向合併,所以每個橫向的合併要再用一個( )
最後把橫向合份好的結果再用-append用垂向合併。大致上是這個意思
convert   ( (圖1加字) (圖2加字) +append)  ( (圖3加字) (圖4加字) +append ) )  -append  outfigname.jpg

scripts的寫法是當然由最裏面的小圖一路往上拓展,內容如下:

figncols=2
fignrows=2
outfigname=out.jpg
figname[1]=figure4-a.jpg
figname[2]=figure4-b.jpg
figname[3]=figure4-c.jpg
figname[4]=figure4-d.jpg

labelvar[1]="label:\(a\)"
labelvar[2]="label:\(b\)"
labelvar[3]="label:\(c\)"
labelvar[4]="label:\(d\)"
labelvar[5]="label:\(e\)"
labelvar[6]="label:\(f\)"
labelvar[7]="label:\(g\)"
labelvar[8]="label:\(h\)"
labelvar[9]="label:\(i\)"
labelvar[10]="label:\(j\)"
labelvar[11]="label:\(k\)"
labelvar[12]="label:\(l\)"
# ( if rows=3, cols=4, there will have 12 figs)
#          rows
# c    fig1   fig2   fig3
# o    fig4   fig5   fig6
# l    fig7   fig8   fig9
# s    fig10  fig11  fig12
#
#
figtots=`expr $figncols \* $fignrows`
pagevar="-page +350+220"  # label position in pixel
#  下面設定圖與圖中的間隔及顏色,這裏是設黑色,寬度50
bordervar="-bordercolor black -border 50"
pointsize="-pointsize 220"  # font size in pixel
pointvar="$pagevar -background none -fill black $pointsize"
for (( i=1; i<=$figtots; i++ )); do
  a[$i]=`echo " -page -0-0 \( ${figname[$i]} $pointvar ${labelvar[$i]} -flatten \)"`
done
for (( i=1; i<=$fignrows; i++ )); do
    b[$i]=`echo "\("`
  for (( j=1; j<=$figncols; j++ )); do
    k=`expr \( $i \- 1 \) \* $figncols \+ $j `
    b[$i]=`echo "${b[$i]} ${a[$k]}"`
  done
    b[$i]=`echo "${b[$i]} $bordervar +append \)"`
done
c=`echo "convert "`
for (( i=1; i<=$fignrows; i++ )); do
  c=`echo "$c ${b[$i]}"`
done
c=`echo "$c -append $outfigname"`
echo $c
echo "the command above is excuting"
eval $c
echo "done"

星期一, 1月 30, 2012

編譯 ncview


一直以來,都用 fortran 配合 GMT畫模式輸出結果的圖,其實已經很方便了,不過常常還是要改一下script。有時候只想非常快速的看一下結果,(完全不重品質),其實 ncview 算是不錯的軟體。下面是其安裝步驟:

安裝 udunits
export F77=ifort
./configure --prefix=/usr/local/udunits
make
make check
make install
make install-html install-pdf


安裝 ncview 除udunits外,至少需要下面的套件
yum install libXaw-devel.x86_64
yum install libXmu-devel.x86_64
yum install libpng-devel.x86_64
./configure --prefix=/usr/local/ncview --with-udunits2_incdir=/usr/local/udunits/include --with-udunits2_libdir=/usr/local/udunits/lib
make
make install

星期四, 12月 29, 2011

剛學NCL很多東西還搞不是很清楚,只好用TIP的方式。
跑海洋模式,大部份在繪圖時會用到岸線資料,所以寫一個能畫模式結果並顯示岸線資料是基本的工夫,如下圖。但如果不想繪岸線怎辦?


最簡單的想法是透過繪圖的順序,把岸線蓋掉。在NCL中,岸線是與CONTOUR畫在一起。控制繪圖順序的方式有PreDraw, Draw,  與 PostDraw。
PreDraw是最先畫的,Draw次之最後是PostDraw,所以讓岸線先畫,Contour後畫。不過還是得先找出控制繪圖順序的屬性,cnFillDrawOrder是contour的屬性;mpOutlineDrawOrder是map的屬性。在程式碼上加上下面二行屬性。
res@cnFillDrawOrder        = "Draw"
res@mpOutlineDrawOrder="PreDraw"
結果如果是沒有反應,那應該是我們用了rangs/gshhs 的高解析度岸線的關係…如果我們用了rangs/gshhs的岸線,有很多屬性會自動失效(手冊上寫的,別問我原因)…所以就不要用 rangs/gshhs的岸線檔就好了,改用預設值,就是把下面這一行註解掉就可以了。
;res@mpDataBaseVersion      = "HighRes"

結果岸線的確是變粗,不過還是沒有成功,主要是預設的邊界設定還沒關閉,再加上下面這一行:
res@mpFillBoundarySets="NoBoundaries"
結果就會如下圖一樣,看不到岸線…白色的地方是因為模式本身的mask所致。


星期三, 7月 13, 2011

/etc/sysconfig/iptables 被重設

最近某一台新機器的iptables改完之後常常會跑回原先的設定
仔細看一下/etc/sysconfig/iptables 的檔案,發現前二行是
# Firewall configuration written by system-config-securitylevel
# Manual customization of this file is not recommended.
大意是說,這個iptables是由 system-config-sercuritylevel 產生,查了一下
發現這是一個執行檔在/usr/bin下
改為root,執行system-config-sercuritylevel (文字介面即可)
嗯,是一個防火牆的設定介面…裏面的設定值大概固定時間會寫一次到iptables這個檔案,難怪怎麼設定都沒用。
怎麼解決?就把要開的埠在寫在自訂就好了5901,5902,5903 餘類推。

POM bcond

純個人紀錄用…
最近在計算海嘯的例子發現在邊界上有明顯的反射…

這個試了n天,這應該是預設邊界條件的ramp(一個介於1~0間的值)所致…
ramp的目的是要由邊界推動模式時,可以在一個時間內慢慢的起動,免得一下推太用力爆掉,但是這個算例(海嘯)是由計算區域內往外傳,所以ramp反而把該往外傳的值變的比較小…導致出去的不乾淨,造成反射。下面是原始的code,在bcond 的subroutine中(idx=2)。
       vaf(i,jm)=vabn(i)
     $          +rfn*sqrt(grav/h(i,jmm1))
     $          *(el(i,jmm1)-eln(i))
       vaf(i,jm)=ramp*vaf(i,jm)
下述的code應該有一個邏輯上的錯誤,就是不應該全部的值乘上ramp,而是只有邊界往內傳的部份要乘上ramp。照上面的想法,只要不要啟動ramp(即ramp一直為1)就應該不會有反射(或至少要變的比較小),試跑之後,得到下面的結果:
果然邊界的反射沒有了…
按上面的敘述把code改成如下(共四個邊界,這舉一隅,餘類推):
       vaf(i,jm)=ramp*vabn(i)
     $               +rfn*sqrt(grav/h(i,jmm1))
     $               *(el(i,jmm1)-ramp*eln(i))
這一行就不要了,看是刪掉還是註解掉。
c       vaf(i,jm)=ramp*vaf(i,jm)
註:話說回來rfn 放的地方也怪怪的…印像中,他是rfe=0或1,第於1就沒什麼意思,有乘等於沒乘。等於0就讓vaf=0,就等於設了一道牆,既然設為牆了,vabn(i)應該也要乘才是。不過目前為止,我的例子的rfn都是1,就暫且不管了。不過還是把認為對的寫在下面,當成記錄,方便哪天用到時可以查。
       vaf(i,jm)=ramp*vabn(i)
     $              +sqrt(grav/h(i,jmm1))
     $              *(el(i,jmm1)-ramp*eln(i))
       vaf(i,jm)=rfn*vabn(i)

星期三, 6月 01, 2011

intel fortran 使用大的陣列 ( > 2G)

跑數值的當然會需要有大大的記體,然後開大大的陣列
編譯時如果遇到  relocation truncated to fit 錯誤,那編譯時就加入
-shared-intel -mcmodel=medium
例如:
ifort -shared-intel -mcmodel=medium mycode.f90


如果用的是動態陣列,不會先知道用多大的陣列,可以編譯過關
但是執行時可能會遇到 segment fault 錯誤
那就執行程式前使用下列命令
ulimit -s unlimited

星期六, 5月 21, 2011

車控~


終於到了可以讓我這個老爸好好玩軌道組的時候了…今天帶小雞去反斗城買一組五百元左右的一火車及一個簡單的軌道組,想說來和現有的A夢火車拼一起,並且這樣就有二台小火車可以跑…結果明明架上寫的是498的…付錢卻變成1190……這種過年過節才買的下去的價位…當然就沒買了…不過還是買了99元的二倍長型軌道一包四支…
Posted by Picasa

星期五, 4月 29, 2011

ROMS再試

ROMS... n個年前就想玩了,實際上也每隔一段時間就玩一下…
重點是好難啊…沒有一次上手,希望這次能成…
這裏記錄一些指令…免得每次玩都要查半天
請確定你有裝 ifort 以及 intel math kernel liberary
而且這二個的初始路徑設置也都正確執行了…
mkdir roms
cd roms
svn co --username CMD https://www.myroms.org/svn/src/trunk <---這是roms主程式
svn co --username CMD https://www.myroms.org/svn/src/test  <---測試範例
找一個範例來試,DAMEE_4,它在 test/DAMEE_4目錄下 DAMEE_4包含三個子資料夾Data scoord11 scoord22, 再到scoord11中 修改 build.bash
cd test/DAMEE_4/scoord11
vi build.bash
export        MY_ROOT_DIR=${HOME}/roms <--主要是看你的trunk是放哪
# 以下的平行設定只有用到openmp…因為只有一台多核心電腦,沒有cluster
# export           USE_MPI=on            # distributed-memory parallelism
# export        USE_MPIF90=on            # compile with mpif90 script
##export         which_MPI=mpich         # compile with MPICH library
##export         which_MPI=mpich2        # compile with MPICH2 library
# export         which_MPI=openmpi       # compile with OpenMPI library
export        USE_OpenMP=off            # shared-memory parallelism
# 說過了,慣用ifort
export              FORT=ifort
#export              FORT=gfortran
# export              FORT=pgi
# 關掉debug,注意!!!netcdf 4以後版本一定要設USE_NETCDF4=on
# 注意2!! netcdf4以後版本理論上會在netcdf/bin資料夾中有一個nc-config 確定一下它的位置在path中
#        也就是你可以直接 nc-config 即可成功執行,不需打路徑。如果沒辦法的話,就想辦法讓它能被執行吧。
# 
#export         USE_DEBUG=on            # use Fortran debugging flags
 export         USE_LARGE=on            # activate 64-bit compilation
 export       USE_NETCDF4=on            # compile with NetCDF-4 library
#export   USE_PARALLEL_IO=on            # Parallel I/O with Netcdf-4/HDF5
# 下面這一行不打開,就沒有什麼要設定的啦…
#export       USE_MY_LIBS=on            # use my library paths below
改完之後執行 ./build.bash 會產生一個OceanO 可執行檔(如果沒有用open_mp的話,就是oceanS) 執行方法如下:
ln -s ../Data/netcdf4/* ./
export OMP_NUM_THREAD=4   <---看你要用幾個核心
./oceanO < oecea_damee_4.in > log &
注意:不知道為什麼,一定要把輸出結果轉到一個檔案…不然會segment fault。

配合ROMS所需: netcdf 4.1.2 + hdf5 + zlib 1.2.5

ROMS如果要用到netcdf4以上,必需要讓netcdf4編譯時用到 with hdf5 非常煩人
很快速的記下步驟:
一、安裝 zlib1.2.5
./configure --prefix=/usr/local/zlib --shared
make
make install
註:如果 --prefix=/usr/local/zlib 是讓zlib裝在 /usr/local/zlib 資料夾中。這樣裝的好處是方便管理,缺點是 lib 與 includ 所在地要另外告知系統(就是讓系統知道他們被放在/usr/local/zlib 中。通常我的作法是寫一個script放在/etc/profile.d中,內容如下:
#! /bin/bash
ZLIBHOME=/usr/local/zlib

if [ -z "${LIBRARY_PATH}" ]
then
    LIBRARY_PATH="$ZLIBHOME/lib"
    export LIBRARY_PATH
else
    LIBRARY_PATH="$ZLIBHOME/lib:${LIBRARY_PATH}"
    export LIBRARY_PATH
fi

if [ -z "${LD_LIBRARY_PATH}" ]
then
    LD_LIBRARY_PATH="$ZLIBHOME/lib"
    export LD_LIBRARY_PATH
else
    LD_LIBRARY_PATH="$ZLIBHOME/lib:${LD_LIBRARY_PATH}"
    export LD_LIBRARY_PATH
fi
安裝szip-2.1
http://www.hdfgroup.org/ftp/lib-external/szip/2.1/src/szip-2.1.tar.gz
tar zxvf szip-2.1.tar.gz
cd szip
export F77=ifort
./configure --prefix=/usr/local/szip
make all
make install
二、安裝 hdf5 同zlib,如果我們不是裝在預設的資料夾,就需要告訴系統lib與includ放哪。拿上面的script一下即可。
export FC=ifort
./configure --prefix=/usr/local/hdf5 --enable-fortran --enable-hl --enable-shared --with-szlib=/usr/local/szip --with-zlib=/usr/local/zlib

make
make check
make install
make check-install

三、安裝libjpeg (jpge-6b) 原來,hdf4和hdf5是不相容的,衛星資料用的是hdf4,所以來裝一下hdf4,上面的libjpeg與szip就是為了這個hdf4裝的,請注意路徑是否與下面的設定一致。 在安裝hdf4之前,還得先裝libjpeg (jpge-6b)
wget http://www.hdfgroup.org/ftp/lib-external/jpeg/src/jpegsrc.v6b.tar.gz
tar zxvf jpegsrc.v6b.tar.gz
cd jpeg-6b
export F77=ifort
./configure --prefix=/usr/local/libjpeg
make all
# 需要自行新增資料夾…
mkdir /usr/local/libjpeg/bin
mkdir /usr/local/libjpeg/man
mkdir /usr/local/libjpeg/man/man1
make install
mkdir /usr/local/libjpeg/include
make install-headers
mkdir /usr/local/libjpeg/lib
make install-lib
四、安裝 hdf4
#因為gdal要新版,epel裏的太舊,所以要自己裝,重點是,如果這個 hdf4 打算讓gdal用,就必需加上下面三行
export CFLAGS="-fPIC"
export CXXFLAGS="-fPIC"
export LIBS="-lm"
export F77=ifort
./configure --prefix=/usr/local/hdf4 --with-szlib=/usr/local/szip --disable-netcdf --disable-fortran --enable-shared
#./configure --prefix=/usr/local/hdf4 --with-zlib=/usr/local/zlib --with-szlib=/usr/local/szip --with-jpeg=/usr/local/libjpeg --enable-fortran 
make
make check
make install
# 因為hdf4的bin裏也有叫做ncdump 與ncgen的執行檔,和netcdf取同樣名子,所以把它改掉。
cd /usr/local/hdf4/bin
mv ncdump h4dump
mv ncgen h4gen

四、安裝 netcdf 4.3.1.1 (C) 與 netcdf-4.2 (fortran)
注意,自4.2版之後,fortran c c++分開,要先裝c版,再裝fortran 版 CPPFLAGS="-I/usr/local/hdf5/include -I/usr/local/zlib/include" LDFLAGS="-L/usr/local/hdf5/lib -L/usr/local/zlib/lib"
所以改成下面指令
yum install libcurl-devel.x86_64
wget ftp://ftp.unidata.ucar.edu/pub/netcdf/netcdf-4.3.1.1.tar.gz
tar zxvf netcdf-4.3.1.1.tar.gz
cd netcdf-4.3.1.1
./configure FC=ifort F77=ifort F90=ifort CXX=g++ --prefix=/usr/local/netcdf --enable-netcdf4 --enable-shared --enable-dap CPPFLAGS="-I/usr/local/hdf5/include -I/usr/local/zlib/include" LDFLAGS="-L/usr/local/hdf5/lib -L/usr/local/zlib/lib" 
make 
make check
make install
wget http://www.unidata.ucar.edu/downloads/netcdf/ftp/netcdf-fortran-4.2.tar.gz
tar zxvf netcdf-fortran-4.2.tar.gz
cd netcdf-fortran-4.2
#./configure FC=ifort F77=ifort F90=ifort CXX=g++ --prefix=/usr/local/netcdf --enable-shared CPPFLAGS="-I/usr/local/netcdf/include -I/usr/local/hdf5/include -I/usr/local/zlib/include" LDFLAGS="-L/usr/local/hdf5/lib -L/usr/local/zlib/lib -L/usr/local/netcdf/lib" 
#因為系也另外裝了netcdf,所以要注意LD_LIBRARY_PATH裏的順序,我們裝的netcdf要放前可,不然會用到系統裝的,會有問題。
#所以如果用上面的方法出現錯誤,可能是這個原因,那就改用下面的方法
CPPFLAGS="-I/usr/local/netcdf/include -I/usr/local/hdf5/include -I/usr/local/zlib/include" \
  LD_LIBRARY_PATH=/usr/local/hdf5/lib:/usr/local/zlib/lib:/usr/local/netcdf/lib:${LD_LIBRARY_PATH} \
  LDFLAGS="-L/usr/local/hdf5/lib -L/usr/local/zlib/lib -L/usr/local/netcdf/lib" \
  LIBS="-lnetcdf -lhdf5_hl -lhdf5 -lz -lcurl" \
  ./configure  FC=ifort F77=ifort F90=ifort CXX=g++ --prefix=/usr/local/netcdf --enable-shared --prefix=/usr/local/netcdf
安裝 netcdf 4.1.3
注意,自4.1.3版之後,不支援--with-hdf5=/usr/local/hdf5,取而代之的是改用
CPPFLAGS=-I/usr/local/hdf5/include LDFLAGS=-L/usr/local/hdf5/lib
所以改成下面指令
yum install curl-devel.x86_64
./configure FC=ifort F77=ifort F90=ifort CXX=g++ --prefix=/usr/local/netcdf --enable-netcdf4 --enable-shared --enable-dap CPPFLAGS=-I/usr/local/hdf5/include LDFLAGS=-L/usr/local/hdf5/lib 
make 
make check
make install

安裝 netcdf 4.1.2
./configure FC=ifort F77=ifort F90=ifort CXX=g++ --prefix=/usr/local/netcdf --enable-netcdf4 --enable-shared --with-hdf5=/usr/local/hdf5
make 
make check
make install

星期四, 4月 28, 2011

剪刀石頭布

忽然的,小雞就會猜拳了…
剪刀石頭布…輸的畫一筆…
誰說二歲八個月的小朋友好騙…
以下公布戰況…


註:那個用來畫臉的「有夠貴」彩色筆號稱無毒且耐操,不怕小朋友用力畫…但是輕~~~輕點啦…臉好痛啊~~~~

貓村

每逢週末溜小孩的時間,大多是跟團、桃園、大安森林公園或是台大…
無意間看到朋友的facebook講猴硐,看起來非常有趣…
重點是不遠且火車可以到,就殺過來了。


星期三, 4月 27, 2011

grd2xyz 解 etopo2 (netcdf) 然後用gawk挖空其中一塊…

自從GMT支援netcdf 後,有些三維的nc檔可以透過grd2xyz解…還算方便。
下面的程式主要是我有二個水深檔,一個是台灣附近500m解析度,一個是etopo2。
我想取出東經114.5-150.5,北緯14.5-55.5的水深,有500m解析度的水深就用他,沒有的話就用etopo2。然後合起來的水深內插成5分一個點,並轉成xyz檔。程式如下:

R1="-R114.5/150.5/14.5/55.5"
slonl=117
slonr=125
slatt=27
slatb=18
FN500m=taidpv626_500m.xyz
OFN=decetop.dat
DELTX="-I5m/5m -S2m -N1"
grd2xyz ETOPO2v2g_f4.nc -fg $R1 | gawk '! ($1 > L && $1 < R && $2 > B && $2 < T) {printf"%8.4f %8.4f %7.1f\n", $1, $2, -1*$3}' L=$slonl R=$slonr T=$slatt B=$slatb > $OFN
gawk '{print $1, $2}' decetop.dat | psxy $R1 -JM5i -S+0.01 -W0.001c -Ba10f5SWne -P -K > decetop.ps
pscoast -R -JM -B -G104 -Df -O -W0.01,104 >> decetop.ps
cat $FN500m >> $OFN
makecpt -Cseis -T-8000/8000/500 -Z > colors.cpt
nearneighbor $OFN $R1 $DELTX -Gbath.grd 1>/dev/null 2>&1
grdview bath.grd $R1 -JM5i -Qi100 -V -Sc -Ccolors.cpt -P -K > bath.ps
pscoast -R -JM -B -G104 -Df -O -W0.01,104 >> bath.ps
grd2xyz bath.grd -fg $R1 | gawk  '{printf"%8.4f %8.4f %7.1f\n", $1, $2, $3}'> resample_$OFN

ps2epsi decetop.ps decetop.eps
eps2jpg -d 600 -f decetop.eps
ps2epsi bath.ps bath.eps
eps2jpg -d 600 -f bath.eps
rm -f decetop.ps decetop.eps bath.ps bath.eps

星期四, 3月 24, 2011

本機 matlabpool 無法使用的問題

在Linux下要使用 matlabpool local n 如果出現 Attempt to reference field of non-structure array。
那有可能是它無法根據你的電腦名稱找到你的ip。請在linux終端機模式下試試下面的指令:
hostname -i
hostname -f
如果出現未知的遠端位址,那就是沒設定好啦。
解決方法如下:
hostname
會出現你設定的電腦名稱,如: mypc1
切換成root,然後 vi /etc/hosts
找到這一行
127.0.0.1      localhost.localdomain localhost
改成
127.0.0.1      mypc1 localhost.localdomain localhost
存檔

hostname -i <--會出現 127.0.0.1
hostname -f <-- 會出現 mypc1
然後記得一定要重開 matlab。

星期二, 12月 21, 2010

星期二, 12月 07, 2010

NETCDF + CENTOS + ifort 編譯

NETCDF + CENTOS + ifort 編譯
注意1: 如果裝gmt用自編的netcdf出現錯誤,說是curl之類的錯誤,可以先
export NETCDF_LIB="/usr/local/netcdf/lib -lcurl"

sh gmt_install.sh gmtvar.txt

注意2: 如果編譯遇到錯誤,說是少了crypt 之類的函數庫,可以試試不要編譯 dap
./configure --prefix=/usr/local/netcdf --disable-dap

下面的系統都試過了,應該沒有問題
netcdf + CentOs 5.4 + ifort 11.1 + icc emt64
先執行下面指令:

export CC=icc
export CXX=icpc
export CFLAGS='-O3 -xT -ip -no-prec-div -static'
export CXXFLAGS='-O3 -xT -ip -no-prec-div -static'

export F77=ifort
export FC=ifort
export F90=ifort
export FFLAGS='-O3 -xT -ip -no-prec-div -static'

export CPP='icc -E'
export CXXCPP='icpc -E'

# 然後
./configure --prefix=/usr/local/netcdf
make
#make test
好像改成
make check
make install

Cygwin + gfortran

export CC=gcc
export FC=gfortran
export F90=gfortran
export F77=gfortran
export CPPFLAGS=-DpgiFortran
./configure --prefix=/usr/local/netcdf/

防堵暴力 try ssh 密碼

由於有太多的小白喜歡try別人的電腦,所謂的try是指隨便猜一個帳號及密碼,一直試,總有試出來的時候。這種情況太比較大型的網站有效,因為有太多的帳號密碼啦。至於我們實驗室的話,沒幾個帳號,是不會那麼容易被try到。不過既然這是一個問題,那麼能的話還是做些防堵的工作才好。首先當然是要把 root 的帳號登入的權限關掉,因為程式第一個try的一定是root的密碼啦。關掉的方法是把/etc/ssh/sshd_config 裏的 PermitRootLogin yes
改為
PermitRootLogin no
之後重新啟動ssh。
再來是當每次有人用ssh連線時,啟動電腦來執行一個程式,這個程式會檢查/var/log/messages 的檔案,用連線進來的ip及 Faile password為關鍵字進行篩選,如果在一個小時內有錯過10次的連線的話,就叫防火牆把它的ip檔住,不再讓它連啦。
上面的文字包含二個重點,一個是如何在有使用者用ssh連線時去執行某程式;另一個是如何檢查log檔,看該使用者是否有try超過10次錯誤。
第一個問題的答案在/etc/hosts.allow 這個檔案裏有解。
在這個檔案裏加一行
sshd : ALL : spawn (/root/bin/block_ssh.pl %c %d)
第一個是服務名稱,第二個是來源,第三個則是執行的工作,其中spawn的意思是執行一個shell 命令。 %c %d 則是hosts.allow 裏的關鍵字,除了%c %d 以外還有很多可以試,請自行 man hosts.allow 來看。
%c 指的是連線進來的電腦的電腦名稱或ip。
%d 是指透過啥服務進來。 (不過前面寫了sshd,後面當然一定會是sshd,不過如果前面是ALL,那就有用啦。)
第二個問題的答案就太美妙啦,感謝vixual的無私貢獻以又酷學園裏的大大提出bug 修正,所以就有現成可以用的程式啦,是用perl寫的,其實概念不是太難。程式內容如下,把它存成 block_ssh.pl,所有者為root,存放位置隨便,當然啦,hosts.allow裏的spawn要隨之更改,這裏是放在 /root/bin/裏面,並且讓它以有可以執行的權限。
#!/usr/bin/perl

# 及時封鎖使用 "暴入法" 入侵的使用者(SSH)
# 技術支援: http://www.vixual.net/
# 原著者是 vixual (應該是吧!)
# chmod 755 block_ssh.pl
# 編輯 /etc/hosts.allow,加入
# sshd : ALL : spawn (/root/bin/block_ssh.pl %c %d)
# 這樣就完成了,如有必要,請自行修改 block_ssh.pl 裡相關的參數。
# 以上取自原作者的網站
# ==相關參數==

#記錄 ssh 連線的 LOG 檔,預設: /var/log/secure
$log_file = "/var/log/secure";

#於多久的時間內嘗試登入(秒),預設: 1 小小時
$time_range = 1 * 60 * 60;

#於 $time_range 所設定的時間內,嘗試登入失敗多少次立即封鎖 IP,預設: 10 次
$drop_count = 10;

#寄件通知,預設收件者: root@localhost
$mail = 'cmd@www.lapom.no-ip.org';

#寄件程式的位置
$sendmail = "/usr/sbin/sendmail";

#====

use Time::Local;

$ip = $ARGV[0];
$daemon = $ARGV[1];
$count = 0;
$ip =~ s/::ffff://;
%month = (
    Jan    =>    0,
    Feb    =>    1,
    Mar    =>    2,
    Apr    =>    3,
    May    =>    4,
    Jun    =>    5,
    Jul    =>    6,
    Aug    =>    7,
    Sep    =>    8,
    Oct    =>    9,
    Nov    =>    10,
    Dec    =>    11
);

$time = time();
($second,$minute,$hour,$day,$month,$year) = localtime($time);

#取得登入失敗的 logg
@list = `cat $log_file | grep "sshd.*Failed password.*$ip "`;
for(my $i = $#list; $i >= 0; $i--){
    #取得 log 的時間
    my($log_month,$log_day,$log_time) = split(/ +/,$list[$i]);
    my($log_hour,$log_minute,$log_second) = split(/:/,$log_time);
    #前一年的記錄
    if($log_month > $month){
        $log_year = $year - 1;
    }else{
        $log_year = $year;
    }
    #將時間轉為秒數
    $log_time = timelocal($log_second,$log_minute,$log_hour,$log_day,$month{$log_month},$log_year);
    if($time < $log_time + $time_range ){
        $count++;
    }else{
        last;
    }
}

if($count > $drop_count){
    #封鎖 IP
    `iptables -I INPUT -p tcp -s $ip --dport 22 -j DROP`;
    if($mail){
        #寄件通知
        $hostname = `hostname`;
        $month++;
        $year += 1900;
        chomp($hostname);
        open(MAIL, "| $sendmail -t") || die "Can't open $sendmail !\n";
        print MAIL qq|To: $mail\n|;
        print MAIL qq|Subject: [$hostname]封鎖 $ip\n|;
        print MAIL qq|Content-Transfer-Encoding: 8bit\n|;
        print MAIL qq|Content-type: text/plain\; charset=Big5\n\n|;
        print MAIL "\n時間: $year-$month-$day $hour:$minute:$second\n----\n使用者 \"$ip\" 嘗試以 SSH 登入伺服器,共失敗 $count 次,已於防火牆封鎖該 IP。\n\n";
        print MAIL @list;
        close(MAIL);
    }
}

exit;

懶人ssh 站台列表

因為工作的需要…常常要ssh到不同的電腦去跑CASE,如果用X介面的SSH client軟體,通常都可以弄一些站台列表。然後只要點選就可以,方便的很,可是如果是透過終端介面去連,都每都要下指令,非常的煩人。下面的script範例,可以把常連的機器放進去一個script中,以後只要執行它,就可以連到你想連的地方去啦,當然,我的功力普普,所以一定有可以改進的地方,就這樣啦,夠用就好。
把下面的文字存成lazssh.bash,當然,常用的電腦IP要改,最後增加可以執行的權限即可。以後只要執行它,就可以連到你想去的地方啦 。
#******************************
#ssh client menu script by CMD
#                               2010.02.25
#******************************
# specify PC's IP address here
# 把常用的電腦IP加在這裏
PC[1]="192.168.69.247"
PC[2]="192.168.69..243"
PC[3]="192.168.69..122"
PC[4]="192.168.69..141"
#***********************************
# do not need to be changed from here
REPEAT_LOOP=1
while [ "$REPEAT_LOOP" = 1 ]; do
    clear
    echo " Lazy ssh....."
    I=0
    for Spc in "${PC[@]}";do
      I=`expr $I + 1`
      echo " $I. ssh to $Spc."
    done
    I=0
    for Spc in "${PC[@]}";do
      I=`expr $I + 1`
      echo " X$I. ssh -X to $Spc."
    done
    echo " X|x.  EXIT."
    echo " "
    echo -n "Please type a selection: "
    read usr_choice &> /dev/null
    if (( $usr_choice > 0 && $usr_choice <= $I )) ; then
       echo "ssh ${PC[$usr_choice]}..."
       ssh ${PC[$usr_choice]}
    elif ([ $usr_choice = "X" ] || [ $usr_choice = "x" ]) ; then
       echo "Exiting ......"
       exit
    else
      tmp=`echo "$usr_choice" | sed s/X// | sed s/x// `
      if (( $tmp > 0 && $tmp <= $I )) ; then
        echo "ssh -X ${PC[$tmp]}..."
        ssh -X ${PC[$tmp]}
      else
        echo "Invalid Choice. Please try again."
        REPEAT_LOOP=1
      fi
    fi
done