Python基礎– tag –
-
【Python基礎】BeautifulSoup：インストール、リンク先のURLとそのテキストを取得
BeautifulSoup 前回、urllibライブラリを使って、Webページの取得と保存を行いました。 今回からは取得したWebページを解析する手法を色々と試していきましょう。 Webページを解析するには「BeautifulSoup」というライブラリを用います。 と言うことで今回... -
【Python基礎】urllibでWebページの取得と保存：urllib.request.urlopen、.getcode()、.read()、.decode()、urllib.request.urlretrieve
urllib 今回はPythonのurllibライブラリを使って、Webページの取得と保存を試していきます。 その理由としては、最近少しWebページの解析をやり、その解析の前段階としてWebページの取得を行なったので備忘録的に復習しようというのが今回の背景です。 ち... -
【Python基礎】ファイルの書き込み方法の比較：データを処理しつつ書き込む or リストに格納して、最後に書き込む
ファイルの書き込みの比較 前回、ファイルの書き込みで「ファイルを開いて、データを全て書き込んでから閉じる」と「開いて1行書いて閉じるを繰り返す」を比較しました。 その結果、「ファイルを開いて、データを全て書き込んでから閉じる」方がよかったと... -
【Python基礎】multiprocessingとconcurrentの比較：ThreadPoolExecutor、ProcessPoolExecutor
並列処理 前回、Pythonでマルチスレッド処理をするためのThreading、そしてconcurrentのThreadPoolExecutorとProcessPoolExecutor（こちらはマルチプロセスですが）の紹介をしました。 ただ前回は処理が軽かったためか、マルチプロセスやマルチスレッドの... -
【Python基礎】並列処理：ThreadingとConcurrent
Threading 前回、Pythonで並列処理する方法として、multiprocessingを試してみました。 今回はもう一つの並列処理の方法として、Threadingを試していきましょう。 正直に言って前回のmultiprocessingと今回のThreadingの違いは私自身がよく分かっていませ... -
【Python基礎】ファイルの書き込み方法の比較：全て書き込んでから閉じる or 1行書き込んだら閉じる
ファイルの書き込みの比較 今回は何となく思ったことを試していくコーナーとして、ファイルの書き込みの際、いつファイルを閉じたらいいかを検証していきます。 どういうことかと言うと、例えばこんな感じのデータ。 1行ずつ数値データが書き込まれていま... -
【Python基礎】並列処理：multiprocessing（mapとstarmap）
multiprocessing 前回、matplotlibで大量の画像を出力した際に起こるメモリ不足でプログラムが落ちてしまう現象の対処法を試してみました。 そして何とかメモリ使用量は安定化したのですが、せっかくなら少しでも早く処理できるようにしたいという思いが芽... -
【Python基礎】プログラムの処理時間：TimeモジュールとJupter Notebookのマジックコマンド（%time、%timeit）
プログラムの処理時間 前回、Pythonで各変数が使用しているメモリの状況を取得する方法を紹介しました。 プログラムがどれだけパソコンに負荷をかけているかに関して、確かにメモリ（やCPU）の使用量を確認するのは一つの良い手だと思います。 ただもう一... -
【Python基礎】メモリの使用状況の取得：各変数で使用しているメモリ量の取得
メモリ使用状況の取得 前回、「現状のPCのメモリ使用状況を取得する関数psutil」で取得したメモリ使用量とメモリ使用率をグラフ化するプログラムを紹介しました。 今回はメモリ使用状況を把握する方法のもう一つとして「各変数で使用しているメモリ量の取... -
【Python基礎】数値のリストを作成する方法：range、np.arange、np.linspace
数字のリスト 今回はPythonで数字のリストを作る方法を解説していきます。 というのも数値のリストを作るというのは、結構基本的なことだと思うのですが、自分自身が何度も調べてしまうことがあったので、それならば一度まとめてみようとなったわけです。 ...