2018年4月2日 星期一

[Python]爬蟲初體驗

1.至官網下載Python https://www.python.org/
   *安裝完成至控制台>系統設定環境變數指定到你安裝的資料夾 C:\Python36\
   可參考 http://www.runoob.com/python/python-install.html
    *開啟cmd 輸入python -V 成功會出現版本訊息
 
2.安裝Anaconda3 https://anaconda.org/c3i_test/anaconda3
   *安裝完成會出現幾種開發Python工具,目前先紀錄Spyder使用狀況

Scrapy函式庫使用方式
Scrapy使用步驟
1.開啟Anaconda Prompt
2.cd到你的專案目錄下,如cd c:\ScraptTest  輸入pip install Scrapy 進行安裝函式庫
   請參考 https://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/install.html
3.執行產生專案指令scrapy startproject 專案名稱
4.在專案目錄下的spiders建一個py文建
5.輸出json,切換到spiders資料夾 cd c:\ScraptTest\apple\apple\spiders
   執行scrapy runspider 程式檔案.py -o 輸出名稱.json

Selenium函式庫使用方式
請參考 https://www.seleniumhq.org/
這拿來做系統測試很好用

未完............................

沒有留言:

張貼留言

Visual Studio JS intellisense 失效解決方式

  試了好久,發現到工具>選項>IntelliCode js項目設定啟用,重新開啟VS就正常了! 後來發現是TypeScript3.2版有問題停用,使用4.3版的TypeScript即可