快捷導(dǎo)航

python爬蟲篩選工作實例講解

更新時間：2020年11月23日 14:39:50 作者：小妮淺淺

在本篇內(nèi)容里小編給大家整理的是一篇關(guān)于python爬蟲篩選工作實例講解內(nèi)容，有需要的朋友們可以參考下。

我們在選擇一件商品的時候，會先了解一些相關(guān)的商品信息，根據(jù)自己的需求和情況再進行選擇。這種現(xiàn)象也同樣適用于找工作，篩選一個崗位的重要環(huán)節(jié)，就是看自身是否符合工作經(jīng)驗的要求。不過因為信息量比較大，有沒有什么方法可以用python爬蟲中的知識點幫我們解決一下呢~具體內(nèi)容往下看：

根據(jù)工作經(jīng)驗?zāi)晗蓿瑒澐终衅傅燃?/p>

# 校正拉勾網(wǎng)工作年限描述，以 Boss直聘描述為準
def update_lagou_workyear():
  items = db.jobs_lagou_php.find({})
  for item in items:
    if item['workYear'] == '應(yīng)屆畢業(yè)生':
      item['workYear'] = '應(yīng)屆生'
    elif item['workYear'] == '1年以下':
      item['workYear'] = '1年以內(nèi)'
    elif item['workYear'] == '不限':
      item['workYear'] = '經(jīng)驗不限'
    update_lagou(item)
  print('ok')
# 設(shè)置招聘的水平，分兩次執(zhí)行
def set_level():
  items = db.jobs_zhipin_php.find({})
  # items = db.jobs_lagou_php.find({})
    if item['workYear'] == '應(yīng)屆生':
      item['level'] = 1
    elif item['workYear'] == '1年以內(nèi)':
      item['level'] = 2
    elif item['workYear'] == '1-3年':
      item['level'] = 3
    elif item['workYear'] == '3-5年':
      item['level'] = 4
    elif item['workYear'] == '5-10年':
      item['level'] = 5
    elif item['workYear'] == '10年以上':
      item['level'] = 6
    elif item['workYear'] == '經(jīng)驗不限':
      item['level'] = 10
    update(item)
print('ok')

這里有點坑的就是，一般要求經(jīng)驗不限的崗位，需求基本都寫在任職要求里了，所以為了統(tǒng)計的準確性，這個等級的數(shù)據(jù)，后面會被舍棄掉。

從后續(xù)的平均數(shù)據(jù)來看，這里的經(jīng)驗不限，一般要求的是1-3年左右，但是還是建議舍棄掉。

拉勾網(wǎng)的職位描述和 Boss直聘稍有不同，需要先校正，然后再設(shè)置等級

實例擴展：

python實現(xiàn)圖片篩選程序

#_*_coding:utf-8_*_
'''
Version V17.1.0
Date 2017-10-15
@Author Cheney
'''

# 收集EL 圖片集中需要的圖片，在elpick目錄下進行

from PIL import Image
import csv
import os


# 獲取需要圖片的文件名
def readImageName():
 # 在elpick目錄下讀取sn.scv文件，該文件讀取出來后元素是list 需要轉(zhuǎn)換為str
 get_csv = csv.reader(open("elpick/sn.csv"))
 origSN = []
 transSN = []
 for sn in get_csv:
  origSN.append(sn)
 tempList = origSN

 # 讀取csv文件獲時獲取到的列表，其元素也是列表，需要將其轉(zhuǎn)換為字符串元素，使用下面for語句實現(xiàn)
 for s in tempList:
  # 去掉列表元素中的[''] 這幾個字符
   s = str(s).strip('[\'')
  s = str(s).strip('\']')
 transSN.append(s)
 ImageName = transSN
 return ImageName

pickImageName = readImageName()
# 遍歷所有圖片集的文件名
for image in os.listdir("elpick/original_el"):
 # 將讀取到的文件名進行處理，去擴展名，若是int文件名需要對文件名進行int 處理
 imageName = image.strip(".jpg")

 # 比較判斷 若遍歷的文件名在需要收集的列表中，讀取之后并保存到pick_el文件夾下
 if imageName in pickImageName:
  pickImage = Image.open(('elpick/original_el/%s.jpg') % imageName)
  pickImage.save(("elpick/picked_el/%s.jpg") % imageName)

到此這篇關(guān)于python爬蟲篩選工作實例講解的文章就介紹到這了,更多相關(guān)python爬蟲篩選工作內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: