環境: Docker上でubuntu16.04のコンテナを起動 GPU:TITAN V nvidia-driver: 390 cuda: 9.1 エラー内容 tensorflow-gpuをインストールした時に、下記のエラーが発生することがあります。 E tensorflow/stream_executor/cuda/cuda_blas.cc:366] failed to crea…

-1や999など欠損値として格納されているデータをpandasのreplaceを使ってNaNに変換する方法を書く。 サンプルデータフレームの作成 まずはサンプルのために簡単なデータフレームを作成する。 欠損値は、-1, 999, 1000とする。 import pandas as pd df = pd.D…

pandasでデータを読み込んで色々手を加えたデータフレームをpickleファイルとして保存（ダンプ）する方法を書く。 毎回 jupyter-notebookを開いたときに最初から実行せずに、保存しておいた編集済みのpickleファイルを読み込むことで、かなりの時短になる。 …

2019/10/14追記 Rancherもバージョンアップが進み、情報が古くなってきたので、下記に改めて書きました。こちらをご参照ください。 sagantaf.hatenablog.com コンテナ管理のためのGUIであるRancher バージョン2 の導入方法と使い方をまとめておく。 目次 は…

はじめに Dockerイメージの操作 イメージの取得（pull） イメージの作成（Dockerfileから） イメージの一覧表示 イメージの詳細表示 イメージのタグ設定 イメージの削除 Dockerコンテナの生成、起動、停止 コンテナの表示（状態確認） コンテナの生成 コンテ…

はじめに ここでは例えとして年始1/1から何日が経ったか算出する sklearnのライブラリの一つであるLabelEncoderのfitとtransformを使う 方法 まずはライブラリのインポートと、ラベルエンコーダーのオブジェクトの生成 import pandas as pd import numpy as …

はじめに Astoropyのチュートリアルを参考にして、使い方を学んでいく。 まずは一つ目のチュートリアル「Getting Started with astropy.coordinates」を参考に、astropy.coordinatesを使って画像を表示させてみる。 このチュートリアルでは、「ヒクソン・コ…

はじめに コンテナを構築した後、アプリケーションを追加したりして、 「新たなポートを使って外部からコンテナにアクセスしたい！」 「でもコンテナを作り直したくない！」 となった時、コンテナを止めずにポートフォワード設定を追加する方法を書きます。 …

Astropy をインストールする方法を書いておく。 Anacondaを使っている場合はデフォルトでインストールされている。 以下のコマンドでバージョンを確認するだけで済む。 $ conda list |grep astropy astropy 3.0.2 py36h3010b51_1 pytest-astropy 0.3.0 py36_…

Gitとは Gitとはファイルのバージョン管理システムのこと バージョン管理とは、ファイルの過去の状態も保存しておき、どのように変更されてきたか管理することを表している。 普段、WindowsやMacでエクセルファイルやテキストファイルを作って書いて保存して…