Python讀寫(xiě)Json涉及到中文的處理方法
今天在幫前端準(zhǔn)備數(shù)據(jù)的時(shí)候,需要把數(shù)據(jù)格式轉(zhuǎn)成json格式,說(shuō)實(shí)話,涉及到中文有時(shí)候真的是很蛋疼,除非對(duì)Python的編碼規(guī)則比較了解,不然處理起來(lái)真的很蛋疼。
整個(gè)邏輯
我們需要處理的是把一些文章處理,生成多個(gè)html文件,然后用json來(lái)顯示文章的列表,圖片,摘要和標(biāo)題。
思路
為了以后的數(shù)據(jù)擴(kuò)展,那必須有一個(gè)數(shù)據(jù)庫(kù),我的想法就是自己寫(xiě)一個(gè)簡(jiǎn)單的網(wǎng)頁(yè)做為提交輸入,然后post到后臺(tái)以后錄入到數(shù)據(jù)庫(kù)中,再寫(xiě)一個(gè)展示文章的頁(yè)面,展示效果正確后,寫(xiě)一個(gè)requests動(dòng)態(tài)的把所有的數(shù)據(jù)都爬下來(lái)生成一個(gè)一個(gè)的html文檔。最后的json數(shù)據(jù)我只要從數(shù)據(jù)庫(kù)把數(shù)據(jù)抽出來(lái)生成就行了。
前端
其實(shí)前端的東西很簡(jiǎn)單,最近一直在寫(xiě)網(wǎng)頁(yè),所以前端的東西分分鐘就搞定了。代碼如下:
urls.py from django.conf.urls import url, include from . import views urlpatterns = { url(r'^$', views.index, name='index'), url(r'add_article/', views.add_article, name='add_article'), url(r'^article/(?P<main_id>\S+)/$', views.article, name='article'), } views.py # coding=utf-8 from django.shortcuts import render from .models import Tzxy # Create your views here. def index(request): return render(request, 'index.html') def add_article(request): error = 'error' if request.method == 'POST': # 獲取前段request的內(nèi)容 main_id = request.POST['main_id'] img_url = request.POST['img_url'] title = request.POST['title'] content = request.POST['content'] abstract = content[:50] print main_id indb = Tzxy( main_id=main_id, img_url=img_url, title=title, content=content, abstract=abstract ) indb.save() error = 'success' return render(request, 'index.html', {'error': error}) return render(request, 'index.html') def article(request, main_id): article_detial = Tzxy.objects.get(main_id=main_id) return render(request, 'views.html', {'content': article_detial}) models.py from __future__ import unicode_literals from django.db import models from django.contrib import admin class Tzxy(models.Model): main_id = models.CharField(max_length=10) img_url = models.CharField(max_length=50, null=True) title = models.CharField(max_length=50) content = models.TextField() abstract = models.CharField(max_length=200) admin.site.register(Tzxy)
模板我就隨便寫(xiě)了一個(gè)簡(jiǎn)單的表單
index.html
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <link rel="stylesheet"> <script src="http://libs.baidu.com/jquery/2.0.0/jquery.min.js"></script> <script src="http://libs.baidu.com/bootstrap/3.0.3/js/bootstrap.min.js"></script> </head> <body> <form method="post" action="/tzxy/add_article/"> {% csrf_token %} main_id: <input type="text" name="main_id"><br> img_url: <input type="text" name="img_url"><br> title: <input type="text" name="title"><br> {% if error == 'success' %} <div class="alert alert-success">{{ error }}</div> {% endif %} <textarea name="content" rows="25" style="width: 600px;"></textarea><br> <input type="submit" name="Submit"> </form> </body> </html>
展示的頁(yè)面
{% load custom_markdown %} <!DOCTYPE html> <html lang="zh-cn"> <head> <meta charset="UTF-8"> <meta name="viewport" content="initial-scale=1.0,maximum-scale=1.0,minimum-scale=1.0,user-scalable=no" /> <meta name="apple-touch-fullscreen" content="yes" /> <meta name="apple-mobile-web-app-capable" content="yes" /> <meta name="format-detection" content="telephone=no"> <meta http-equiv="Cache-Control" content="no-store" /> <meta http-equiv="Pragma" content="no-cache" /> <meta http-equiv="Expires" content="0" /> <title>{{ content.title }}</title> <link rel="stylesheet" href="../../css/cssreset.min.css"> <link rel="stylesheet" href="../../css/fx_tzxy_content.min.css"> </head> <body> <div class="page"> <h1>{{ content.title }}</h1> <div class="content"> {{ content.content | custom_markdown | linebreaksbr }} </div> </div> </body> </html>
當(dāng)然,我里面使用了markdown來(lái)處理了一些數(shù)據(jù)。有關(guān)markdown的集成,可以移步《Django開(kāi)發(fā)博客(六)——添加markdown支持》
爬數(shù)據(jù)的小腳本如下,需要使用到requests模塊
# coding=utf-8 import sys import requests reload(sys) sys.setdefaultencoding('utf8') def tohtml(file_name, startpos, endpos): """ 請(qǐng)求網(wǎng)頁(yè)數(shù)據(jù)后把網(wǎng)頁(yè)源碼存儲(chǔ)為html格式,啟動(dòng)腳本時(shí)要先啟動(dòng)Django的Server :param file_name:生成文件名的前綴,最后一位用傳入的數(shù)字來(lái)代替 :param startpos:開(kāi)始的數(shù)字 :param endpos:結(jié)束的數(shù)字 :return:None """ for x in range(startpos, endpos): r = requests.get('http://127.0.0.1:8000/tzxy/article/' + file_name + str(x)) with open('/Users/SvenWeng/Desktop/test/' + file_name + str(x) + '.html', 'w') as f: f.write(r.text) print 'success' if __name__ == '__main__': tzhtl_name = 'tzxy_tzhtl_h_' djjyy_name = 'tzxy_djjyy_h_' tohtml(djjyy_name, 1, 39)
里面的一些命名自己可以根據(jù)需要去修改。
生成json
說(shuō)實(shí)話,json的使用方式很簡(jiǎn)單,Python對(duì)json的支持也很好,不過(guò)涉及到中文就有點(diǎn)蛋疼了,我的代碼是這樣的:
# coding=utf-8 import sqlite3 import json import sys reload(sys) sys.setdefaultencoding('utf8') list_json = [] conn = sqlite3.connect('db.sqlite3') c = conn.cursor() sql = 'select * from Tzxy_tzxy' c.execute(sql) all_thing = c.fetchall() for x in all_thing: dic_member = {'id': x[1].split('_')[3], 'img': x[2], 'title': x[3], 'abstract': ''} list_json.append(dic_member) conn.close() final_json = json.dumps(list_json, sort_keys=True, indent=4) with open('test.json', 'w') as f: f.write(final_json)
代碼邏輯是:定義一個(gè)空列表,用來(lái)裝生成的字典信息,然后從sqlite里面把之前存的數(shù)據(jù)全部抓出來(lái)。把數(shù)據(jù)循環(huán)生成自己想要的格式的字典,一個(gè)一個(gè)的插到列表中。再用Python提供的json.dumps方法把數(shù)據(jù)轉(zhuǎn)成json格式,再寫(xiě)入文件就行了。
邏輯看上去是沒(méi)什么問(wèn)題,實(shí)現(xiàn)起來(lái)也很完美,但是最后我打開(kāi)json文件檢查的時(shí)候發(fā)現(xiàn)所有的中文都變成Unicode了。這簡(jiǎn)直是坑爹啊。
大致查了一下,好像網(wǎng)絡(luò)上對(duì)這塊說(shuō)的內(nèi)容并不詳細(xì),舉得例子也都是非常非常簡(jiǎn)單的那種,直接給中文的,并不是我想要的,最后只能硬著頭皮去看官方的說(shuō)明,最后找到了這么一個(gè)東西ensure_ascii=False,在Python轉(zhuǎn)Json的時(shí)候帶上這個(gè)方法,也就是
final_json = json.dumps(list_json, sort_keys=True, indent=4, ensure_ascii=False)
這樣處理之后,寫(xiě)入文件就是正常的中文了。
以上這篇Python讀寫(xiě)Json涉及到中文的處理方法就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
Python圖像識(shí)別+KNN求解數(shù)獨(dú)的實(shí)現(xiàn)
這篇文章主要介紹了Python圖像識(shí)別+KNN求解數(shù)獨(dú)的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11Python中利用pyqt5制作指針鐘表顯示實(shí)時(shí)時(shí)間(指針時(shí)鐘)
這篇文章主要介紹了Python中利用pyqt5制作指針鐘表顯示實(shí)時(shí)時(shí)間(動(dòng)態(tài)指針時(shí)鐘),本文通過(guò)示例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-02-02pip安裝庫(kù)報(bào)錯(cuò)[notice]?A?new?release?of?pip?available:?22.2
這篇文章主要給大家介紹了關(guān)于pip安裝庫(kù)報(bào)錯(cuò)[notice]?A?new?release?of?pip?available:?22.2?->?22.2.2的相關(guān)資料,文中通過(guò)圖文將解決的方法介紹的非常詳細(xì),需要的朋友可以參考下2023-03-03python開(kāi)發(fā)之str.format()用法實(shí)例分析
這篇文章主要介紹了python開(kāi)發(fā)之str.format()用法,結(jié)合實(shí)例形式較為詳細(xì)的分析了str.format()函數(shù)的功能,使用方法與相關(guān)注意事項(xiàng),代碼包含詳盡的注釋說(shuō)明,需要的朋友可以參考下2016-02-02Python mlxtend庫(kù)數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)補(bǔ)充工具功能探索
這篇文章主要介紹了Python mlxtend庫(kù)數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)補(bǔ)充工具功能探索,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-01-01python 隨機(jī)生成10位數(shù)密碼的實(shí)現(xiàn)代碼
這篇文章主要介紹了python 隨機(jī)生成10位數(shù)密碼的實(shí)現(xiàn)代碼,在文中給大家提到了生成隨機(jī)密碼要實(shí)現(xiàn)的功能,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-06-06