Linux編 / Linux

Linuxの環境構築についてです．
基本的にLinuxはデータサーバーあるいは，計算機として利用する．
多くのPCのOSはUbuntuをインストールしているので，Ubuntuベースでの環境構築をいかにメモしておく．

  1. 環境構築関係
    • 固定IPの設定：インストールされたUbuntuがDesktop版であれば，設定画面から固定IP等の設定を行う．
    • パッケージリストの更新，インストールされているパッケージの更新
      • パッケージリストの更新：sudo apt-get update
      • インストールされているパッケージの更新：sudo apt-get upgrade
    • ファイアウォールの設定
      • sudo apt-get install ufw
    • ポートの開放
      • sudo ufw allow “port num or name”
        • 例えば，1000番を開放したいときは
          sudo ufw allow 1000
          sambaを開放したいときは
          sudo ufw allow samba
      • 許可以外のポートの閉鎖：sudo ufw default deny
      • ファイアーウォールの有効化：sudo ufw enable
    • language-pack-jaのインストール：sudo apt-get install language-pack-ja
    • ja_jp.UTF-8の設定：sudo update-locale LANG=ja_jp.utf-8
    • ipafontのインストール：sudo apt-get install fonts-ipafont
    • ssh環境の構築
      • opensshのインストール：sudo apt-get install openssh-server
      • ssh環境の設定
        • 他のUbuntuを参考に，”sudo vim /etc/ssh/sshd_config”で環境設定を行う．
      • 有効化：sudo systemctl enable ssh
      • 開始：sudo systemctl start ssh
      • sshポートの開放：sudo ufw allow ssh
    • samba環境の構築
      • sambaのインストール：sudo apt-get install samba
      • sambaで共有したいディレクトリの設定
        • 他のUbuntuを参考に”sudo vim /etc/samba/smb.conf”で環境設定を行う．ただし，共有ディレクトリは異なるので注意．
        • 開始：sudo systemctl restart smbd
      • sambaポートの開放：sudo ufw allow samba
    • sshfs環境の構築
      • sshfsのインストール：sudo apt-get install sshfs
  2. アプリケーションのインストール
    • 計算環境
      • 下記で記載する例えば，”~/.bashrc”の編集など，ターミナル上でのコマンドについては，コマンド関係も参照しながら実行すること．
      • C言語，Fortran：gcc (g++)，gfortranをインストールする．
        お金に余裕があれば，intelコンパイラを購入しても良いかも．

        • gcc (g++)，gfortranのインストール方法
          • gcc (g++)，make：sudo apt-get install build-essential
          • gfortran：sudo apt-get install gfortran
        • Intelコンパイラ（intel oneapi）が無償で利用可能となっているので，こちらを参考にインストールする．
      • wgrib2のインストール
        1. FCとCCの設定
          • “~/.bashrc”にFCとCCを以下を書き込み設定する（sudo vim ~/.bashrc）
            export FC=gfortran
            export CC=gcc
        2. wgrib2のダウンロード：wget ftp://ftp.cpc.ncep.noaa.gov/wd51we/wgrib2/wgrib2.tgz
        3. wgrib2の解凍：tar -xvzf wgrib2.tgz
        4. 解凍したwgrib2内へ移動：cd grib2
        5. makeの実行：make
        6. 解凍したwgrib2の外のディレクトリへ移動：cd ../
        7. wgrib2のフォルダを”/usr/local/”へ移動：sudo mv grib2 /usr/local
        8. “~/.bashrc”にwgrib2のpathを通す：
          ・sudo vim ~/.bashrc
          ・”~/.bashrc”内の一番最後の行に
          # — wgrib2 —
          export WGRIB2=”/usr/local/grib2″
          export PATH=”${WGRIB2}/wgrib2:${PATH}”
          #—————
        9. “~/.bashrc”の更新：source ~/.bashrc
      • Anaconda：python環境構築用．Anacondaが企業での利用は有料になったようですが，2021/2/8時点では研究用途ではフリーで利用可能．有料になった場合はAnacondaを使わずに，自分でpip等で環境構築が必要になる．
        • pythonで別途インストールが必要なライブラリは”2.python”を参照．
        • Anacondaを使わずにソースコードからインストールする場合は，以下のURLを参考にすると良い（2023/6/13）
          https://qiita.com/hikaru3n/items/85edefd790f7dbf238fe
      • ffmpeg：sudo apt-get install ffmpeg
  3. python
    • 環境構築
      • Anacondaをインストールする．
        • Linux版の64-Bit (x86) Installerをダウンロードすること．
        • インストールは”bash”コマンドで行う．
          • 具体的には，
            ・bash ./Anaconda···.sh
        • インストール実行中に，yes|noと確認される場所やPathの確認をされる場所があるので，そこはメッセージを確認して適切に対応すること．
          • 基本の流れは，
            1. “enterキー”を押す
            2. “yes”と入力
            3. “enterキー”を押す
            4. “enterキー”を押す
            5. “yes”と入力
            6. “enterキー”を押す
        • インストール後，ちゃんとPathが通っているか確認するために，ターミナル上で，以下を実行しておくこと．
          • conda –version (“-“が2回であることに注意）
          • python –version (“-“が2回であることに注意）
        • ちゃんとPathが通っていれば，特に”conda –version”を実行した際に，condaのバージョンが出力される．
        • もしPathが通っていなければ，”~/.bashrc”あるいは”~/.bash_profile”に以下を追記し，Pathを通すこと．
          • export PATH=~/anaconda3/bin:$PATH
      • Anacondaをインストール後は，不要なライブラリをインストールするのを防ぐために，
        ・conda config –append channels conda-forge
        を実行する．
      • ライブラリは極力condaとpipどちらかでインストールすべき．
        ただし，たまにcondaでインストールできないライブラリが存在する（探すのに時間がかかる？）ので，その場合は，pipでインストールする．
        Anaconda環境でのcondaとpipでの違いはここが参考になる．
    • ライブラリ：下記はあると便利なライブラリ．その他，必要に応じてインストールすべし．
      # Anacondaを使わない場合は，全てpipでインストールすること．

      • natsort：natural sortをするのに利用
        ・pip install natsort
      • pygrib：gribのreadに利用
        ・pip install pygrib
      • pyproj：座標系変換等に利用（座標系・空間参照のデータベースの参照先のエラーが出ることが多い？）
        ・conda install pyproj
      • gdal : 座標系変換等に利用
        • まず以下のコマンドで”libgdal-dev”をインストールする．
          ・sudo apt install libgdal-dev
        • その後，インストールした”libgdal-dev”のバージョンを以下のコマンドで確認する．
          ・apt search libgdal-dev
          出力される結果は以下のような形となるはず．
          * libgdal-dev/bionic,now xx.xx.xx+dfsg-1~bionic0 amd64（xx.xx.xxがバージョン）
        • 上で確認したバージョンに該当するgdalを以下のコマンドでインストールする（xx.xx.xxがバージョン）
          ・pip install gdal==xx.xx.xx
      • netcdf4：netcdfのreadに利用
        ・conda install netcdf4
      • spotpy：数値モデルのパラメータ同定に利用
        ・pip install spotpy
      • cartopy：各種地図作成に利用
        pipでインストールする際に，”geos_c.h no such file or directory”と言われるので，まず”libgeos-dev”を以下のコマンドでインストールする．
        ・sudo apt -y install libgeos-dev

        その後，以下のコマンドを実行し，インストールする．詳細はここを参照．
        ・pip install git+https://github.com/SciTools/cartopy.git

      • geopandas：shapefile等を扱うのに利用
        ・pip install geopandas
      • sh：terminal上でのコマンドと同様なコマンドで実行が可能となる．
        ・conda install sh
      • staticmap：pythonでopenstreetmapを利用が可能となる．（cartopyでも可能）
        ・pip install staticmap

 

2023/6/13　更新