腳本之家服務(wù)器常用軟件

快捷導(dǎo)航

軟件下載

android MAC 驅(qū)動(dòng)下載字體下載 DLL

源碼下載

PHP ASP.NET ASP JSP

軟件編程

C# JAVA C 語(yǔ)言 Delphi Android

網(wǎng)絡(luò)編程

PHP ASP.NET ASP JavaScript

在線(xiàn)工具

CSS格式化 JS格式化 Html轉(zhuǎn)化為Js

數(shù)據(jù)庫(kù)

MYSQL MSSQL oracle DB2 MARIADB

CMS

PHPCMS DEDECMS 帝國(guó)CMS WordPress

常用工具

PHP開(kāi)發(fā)工具 python Photoshop 必備軟件

關(guān)于python處理大型json文件的方法

更新時(shí)間：2022年03月08日 09:52:58 作者：人生天天快樂(lè)

這篇文章主要介紹了python處理大型json文件的方法,本文通過(guò)示例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下

如圖所示，要處理的數(shù)據(jù)是一個(gè)json數(shù)組，而且非常大

下圖為電腦配置，使用 json.load() 方法加載上述json文件電腦直接卡死

解決思路：

　　　　先用python進(jìn)行預(yù)處理，即一整個(gè)json數(shù)據(jù)加載慢，那就分開(kāi)加載，每次加載一個(gè)json對(duì)象，然后使用 json.dumps()方法存儲(chǔ)到txt中，方便讀取。當(dāng)然也可以存儲(chǔ)到內(nèi)存中，根據(jù)情況而定。

　　　　算法思想：因?yàn)?json 是一種結(jié)構(gòu)化的數(shù)據(jù)，所以 {} 是成對(duì)存在的。因?yàn)槭褂弥鹦凶x取的方法讀入json文件，所以根據(jù) {} 的數(shù)量來(lái)判斷是否讀取了一個(gè)完整的json對(duì)象，如果是完整的，則使用 json.dumps()方法存儲(chǔ)到txt中。

　　　　getUsefullData(temp + line,id)這個(gè)方法是提取自己需要的數(shù)據(jù)

def jsonProcess(fileName,round):
    id = 1
    with open(fileName, 'r', encoding='utf-8') as f,open('../tempData/tempFile'+str(round)+'.txt','w') as tempFile:
        line = f.readline()
        line = f.readline()
        temp = ''
        khNum = 0
        id = 1
        while line:
            # print(line)
            if line.find('{') != -1:
                khNum += 1
    
            if line.find('}') != -1:
                khNum -= 1
    
            if khNum == 0:
                line = line.replace(',','')
                data = getUsefullData(temp + line,id)
                id += 1
                if len(data) > 1:
                    # print(data)
                    try:
                        tempFile.write(json.dumps(data)+'\n')
                    except 'json.decoder.JSONDecodeError':
                        break
                temp = ''
                line = f.readline()
                continue
            temp += line
            line = f.readline()

　　　　　　讀取方法：

with open('../tempData/tempFile'+str(round)+'.txt') as f:
        dataList = f.readlines()
        # 解析保存好的list
        for data in dataList:
            data = json.loads(data)

到此這篇關(guān)于python處理大型json文件的方法的文章就介紹到這了,更多相關(guān)python處理大型json文件內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: