使用Go語言實現(xiàn)找出兩個大文件中相同的記錄

更新時間：2024年10月21日 14:14:20 作者：Ai編碼助手

這篇文章主要為大家詳細介紹了使用Go語言實現(xiàn)找出兩個大文件中相同的記錄的相關知識,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學習一下

思路

讀文件：按行逐行讀取兩個文件中的記錄，假設每個文件的每一行代表一條記錄。
使用哈希集合（Set）：因為哈希集合能夠快速判斷某個記錄是否存在，所以我們可以將第一個文件中的記錄放入集合中，之后讀取第二個文件時逐行判斷該記錄是否也存在于集合中。如果存在則是相同的記錄。
性能優(yōu)化：
- 如果文件非常大，避免一次性全部加載到內(nèi)存中，而是逐行處理。
- 如果文件非常大且存在重復數(shù)據(jù)，可以先對文件中的數(shù)據(jù)去重。

代碼實現(xiàn)

package main

import (
    "bufio"
    "fmt"
    "os"
    "log"
)

// 從文件中讀取數(shù)據(jù)并返回一個map，記錄每一行的出現(xiàn)次數(shù)
func readFileToSet(filename string) (map[string]bool, error) {
    file, err := os.Open(filename)
    if err != nil {
        return nil, err
    }
    defer file.Close()

    recordSet := make(map[string]bool)
    scanner := bufio.NewScanner(file)
    for scanner.Scan() {
        line := scanner.Text()
        recordSet[line] = true
    }

    if err := scanner.Err(); err != nil {
        return nil, err
    }

    return recordSet, nil
}

// 找出兩個文件中相同的記錄
func findCommonRecords(file1, file2 string) ([]string, error) {
    // 讀取第一個文件到Set
    recordSet, err := readFileToSet(file1)
    if err != nil {
        return nil, err
    }

    // 打開第二個文件并逐行讀取
    file, err := os.Open(file2)
    if err != nil {
        return nil, err
    }
    defer file.Close()

    var commonRecords []string
    scanner := bufio.NewScanner(file)
    for scanner.Scan() {
        line := scanner.Text()
        if recordSet[line] {
            commonRecords = append(commonRecords, line)
        }
    }

    if err := scanner.Err(); err != nil {
        return nil, err
    }

    return commonRecords, nil
}

func main() {
    file1 := "file1.txt"
    file2 := "file2.txt"

    commonRecords, err := findCommonRecords(file1, file2)
    if err != nil {
        log.Fatalf("Error finding common records: %v", err)
    }

    fmt.Println("Common Records:")
    for _, record := range commonRecords {
        fmt.Println(record)
    }
}