Python基礎– tag –
-
【Python基礎】BeautifulSoup：本文の取得
BeautifulSoup 前回、Webページ解析ライブラリBeautifulSoupを使って、見出しの取得を行いました。 今回はさらに本文の取得を行なっていきます。 用いる記事は前回同様、こちらの記事を使っていきましょう。 また上記のページを保存するにはこちらのプログ... -
【Python基礎】BeautifulSoup：見出しの取得
BeautifulSoup 前回、Webページ解析ライブラリBeautifulSoupのインストールとリンクのテキスト、URLの取得を行いました。 今回は特定のブログ記事を解析して、見出しを取得してみましょう。 今回用いる記事はこちらです。 この記事を書いている時にちょう... -
【Python基礎】BeautifulSoup：インストール、リンク先のURLとそのテキストを取得
BeautifulSoup 前回、urllibライブラリを使って、Webページの取得と保存を行いました。 今回からは取得したWebページを解析する手法を色々と試していきましょう。 Webページを解析するには「BeautifulSoup」というライブラリを用います。 と言うことで今回... -
【Python基礎】urllibでWebページの取得と保存：urllib.request.urlopen、.getcode()、.read()、.decode()、urllib.request.urlretrieve
urllib 今回はPythonのurllibライブラリを使って、Webページの取得と保存を試していきます。 その理由としては、最近少しWebページの解析をやり、その解析の前段階としてWebページの取得を行なったので備忘録的に復習しようというのが今回の背景です。 ち... -
【Python基礎】ファイルの書き込み方法の比較：データを処理しつつ書き込む or リストに格納して、最後に書き込む
ファイルの書き込みの比較 前回、ファイルの書き込みで「ファイルを開いて、データを全て書き込んでから閉じる」と「開いて1行書いて閉じるを繰り返す」を比較しました。 その結果、「ファイルを開いて、データを全て書き込んでから閉じる」方がよかったと... -
【Python基礎】multiprocessingとconcurrentの比較：ThreadPoolExecutor、ProcessPoolExecutor
並列処理 前回、Pythonでマルチスレッド処理をするためのThreading、そしてconcurrentのThreadPoolExecutorとProcessPoolExecutor（こちらはマルチプロセスですが）の紹介をしました。 ただ前回は処理が軽かったためか、マルチプロセスやマルチスレッドの... -
【Python基礎】並列処理：ThreadingとConcurrent
Threading 前回、Pythonで並列処理する方法として、multiprocessingを試してみました。 今回はもう一つの並列処理の方法として、Threadingを試していきましょう。 正直に言って前回のmultiprocessingと今回のThreadingの違いは私自身がよく分かっていませ... -
【Python基礎】ファイルの書き込み方法の比較：全て書き込んでから閉じる or 1行書き込んだら閉じる
ファイルの書き込みの比較 今回は何となく思ったことを試していくコーナーとして、ファイルの書き込みの際、いつファイルを閉じたらいいかを検証していきます。 どういうことかと言うと、例えばこんな感じのデータ。 1行ずつ数値データが書き込まれていま... -
【Python基礎】並列処理：multiprocessing（mapとstarmap）
multiprocessing 前回、matplotlibで大量の画像を出力した際に起こるメモリ不足でプログラムが落ちてしまう現象の対処法を試してみました。 そして何とかメモリ使用量は安定化したのですが、せっかくなら少しでも早く処理できるようにしたいという思いが芽... -
【Python基礎】プログラムの処理時間：TimeモジュールとJupter Notebookのマジックコマンド（%time、%timeit）
プログラムの処理時間 前回、Pythonで各変数が使用しているメモリの状況を取得する方法を紹介しました。 プログラムがどれだけパソコンに負荷をかけているかに関して、確かにメモリ（やCPU）の使用量を確認するのは一つの良い手だと思います。 ただもう一...