【PythonでWEBスクレイピング】ログインが必要な情報を取得する

今回は、ログイン後のWEBサイトの情報を取得してみることにする。 必要な情報を調べる ログイン後のWEBページを取得するためには、ログイン処理を実装しなければならない。その準備として、ログイン時にどのようなパラメータが送信されているかを知る必要がある。IDやパスワードのような値はもちろんのこと、tokenのような隠され […]
今回は、ログイン後のWEBサイトの情報を取得してみることにする。 必要な情報を調べる ログイン後のWEBページを取得するためには、ログイン処理を実装しなければならない。その準備として、ログイン時にどのようなパラメータが送信されているかを知る必要がある。IDやパスワードのような値はもちろんのこと、tokenのような隠され […]
前回、基本のスクレイピングをやってみたが、今回はヘッダ情報を追加してみる。 前回記事 ヘッダを設定する意味とは? 本ブログにChromeでリクエストした際のヘッダをデベロッパーツールでみてみるとこんな感じ。 ヘッダ情報を付与する意味はどこにあるのだろうか。 WEBページを作成する側の立場にたち考えると、ヘッダ情報を元に […]
スクレイピングとは、プログラムがWEBページにアクセスして、必要な情報を抽出する作業のことです。手動で情報を集めるのことも可能ではありますが、スクレイピングは比較にならないほどの速さで抽出を行うことが出来ます。また、一度プログラムを組めば、その後は同じプログラムを定期的に動作させることにより、未来の工数を大幅に削減する […]
プロジェクト【ルービックキューブのタイマーを作る】の最終回となります。ここまで閲覧して頂いた方、本当にありがとうございます。今回はコレ! スクランブルに合わせて、展開図のカラーリングを変化させようという作業です。 一旦かるく現在の仕様を・・・ 作業前の仕様を確認しておく。 スクランブル文字列(F’ R2 B […]
第8回となる今回は、取得したタイムのデータをグラフ化してみます。グラフ化にはChart.jsを使います。 Chart.js Chart.jsは、JavaScriptでグラフを描画するライブラリです。「線グラフ」「棒グラフ」等の基本グラフだけでなく、「レーダーチャート」「円グラフ」「バブルチャート」など、様々なグラフを作 […]
第7回目の今回は、保存したデータを表示してみる回です。とりあえず、今回は、登録した全件を取得して表示するということを目標にやってみようと思う。 実装 ※ルーティングやCSSの紹介は省略します。興味がある方は、ページ下部にあるソースコードから直接見てください。 public/js/database.js 全件取得する処理 […]
第6回です。今回は前回のテストを踏まえて、実際に記録を保存する機能を作成してみる。 ざっくりとした見通し ちょっとまだどう組み込むかは決めていないのですが、IndexedDBと直接連絡し合う部分は、timer機能とは分離して実装しようと思います。 実装 なんやかんや数日試行錯誤して、たどり着いた結果がコレです。 pub […]
もうシリーズも今回で5回目。今回は、テスト的にIndexedDBを使ってみようと思う。個人的に使ったことがないので。テスト回なのでソースコードは微妙なところが多々ありますが、お許しください。 IndexedDBとは IndexedDBは、ブラウザ内にデータを保存する機能。永続的保存です。CookieやlocalStor […]
今回はスクランブル情報をAPI経由で取得できるようにしてみる。 API化について LaravelのAPI化は難しくない。今回の場合は、認証なども無くてよいので、さらに簡単である。Controllerを用意して、返却したいデータ配列をreturnしてあげれば、あら不思議。 下記に、簡単な例を示す。 app/Http/Co […]
今回はスクランブルを表示してみる。 スクランブルとは? ルービックキューブを遊ぶ前に、まずバラバラにする。その作業をスクランブルと言う。アプリ上で表示予定の↓この部分が、スクランブルの表示です。 スクランブル表示があると、毎回スクランブル作業に困ることがないし、手癖と関係なくランダムに作業出来る。また、タイムを保存する […]