これまで、ちょっとしたツール作るときにphp使ったり、perl使ったりして作ってたのですが、そろそろPythonにしてみようかと思って、始めてみる。

ひとまず、いろんな環境にAnacondaで最新のPython環境をインストール。

https://qiita.com/saragai/items/52de118c1aef1efeb284

ソースコードが綺麗か?をチェックするには
flake8
なるものを使うといいらしい。
インストールは
pip install flake8
でインストールできる。

軽く、サイトのRSSを取得してファイルに書き出すプログラムを書いてみたが確かに、ライブラリは多いし作るのは楽だ。

スクレイピングでTableタグを読み込む→結局今回は使わず
https://qiita.com/kitsuyui/items/4906bb457af4d0e2d0a5

BeautifulSoup4

https://qiita.com/itkr/items/513318a9b5b92bd56185

スクレイピング
当初、requestで行けると思ってたが、思いの外うまく行かなかったので、
Selenium – Headless Chrome を使うことに。
色々とハマりどころはあったものの、なんとか思ったものは作成できた。

参考：
https://qiita.com/orangain/items/db4594113c04e8801aad

PythonとSeleniumでブラウザ操作を自動化したよ on Ubuntu

https://kurozumi.github.io/selenium-python/locating-elements.html

一番のハマりどころ、ChromeをHeadlessにすると、なぜかダウンロード処理ができなくてハマる。
解決策としては以下
https://github.com/shawnbutton/PythonHeadlessChrome/blob/master/driver_builder.py

csvファイルは、pandasなどで操作すると楽。

もうちょっとしたら、この辺を使ってみる
https://qiita.com/gotta_dive_into_python/items/4180a6601502486918d7#graph

続く。