環境構築からWEBアプリ開発・スマホアプリ開発まで。ときには動画制作やゲームも。

supilog
すぴろぐ

【PythonでWEBスクレイピング】スクレイピング結果をhtmlファイルに出力する(selenium)

より複雑なスクレイピング処理を記述する時に、途中結果を確認したい時があります。そんなときはHTMLファイルに出力してみるのも一つの手! ということで、ファイル出力してみます。 HTMLファイル出力 今回は以下のようなログイン処理を行った後に出力してみる。スクリプトは長ったらしいですが出力処理はちょっとですw ファイル出 […]

【PythonでWEBスクレイピング】値が取得できない場合の待機処理(selenium)

画面の表示をJavaScriptに頼っているWEBサイトも多いので、表示するまでにラグがあり値が取得できないことがあります。少し待機すれば良いのですが、待機の方法を確認してみる。 待機する方法 プログラムのスリープ(time.sleep) スクレイピングに限らず、あえて処理を遅らせたい場合に使う。記述した箇所で待機し、 […]

【PythonでWEBスクレイピング】JavaScriptで表示される情報を取得する(selenium)

本日の目標 https://cube.supisupi.com こちらは、先日わたしが作成したルービックキューブのタイマーです。下の図の赤線で囲った部分に書いてある文字列を今回は取得してみようと思います。(以下、スクランブル文字列と呼びます) 前回までの要領で取得 早速ですが、前回までの要領で取得してみます。 何も取得 […]