Go语言通过goroutine实现多协程文件上传

2024-05-21 01:08
golang, 后端, 开发语言
10人已看

文章正文

多协程文件上传是指利用多线程或多协程技术，同时上传一个或多个文件，以提高上传效率和速度。通过将文件分块，每个块由单独的协程处理上传，可以有效减少总上传时间。Go语言通过goroutine实现多协程文件上传。

多协程文件上传的基本流程

文件分块：将大文件分成多个小块，以便多个协程可以同时处理不同的块。
上传块：每个协程负责上传一个或多个块。
合并块：在服务器端接收到所有块后，将其合并为原始文件。
错误处理和重试机制：确保上传的可靠性，处理失败的上传并重试。

示例代码

以下是一个简化的多协程文件上传的示例代码：

package main

import (
	"bytes"
	"fmt"
	"io"
	"math"
	"mime/multipart"
	"net/http"
	"os"
	"sync"
)

// 定义每块的大小（例如 5MB）
const chunkSize = 5 * 1024 * 1024

// 上传块的函数
func uploadChunk(url string, filename string, filePart []byte, partNumber int, wg *sync.WaitGroup, errChan chan error) {
	defer wg.Done()

	body := new(bytes.Buffer)
	writer := multipart.NewWriter(body)
	part, err := writer.CreateFormFile("file", fmt.Sprintf("%s.part%d", filename, partNumber))
	if err != nil {
		errChan <- err
		return
	}

	part.Write(filePart)
	writer.Close()

	req, err := http.NewRequest("POST", url, body)
	if err != nil {
		errChan <- err
		return
	}

	req.Header.Set("Content-Type", writer.FormDataContentType())
	client := &http.Client{}
	resp, err := client.Do(req)
	if err != nil {
		errChan <- err
		return
	}
	defer resp.Body.Close()

	if resp.StatusCode != http.StatusOK {
		errChan <- fmt.Errorf("failed to upload part %d, status: %s", partNumber, resp.Status)
	}
}

func main() {
	filePath := "path/to/large/file"
	url := "http://example.com/upload"

	file, err := os.Open(filePath)
	if err != nil {
		fmt.Println("Error opening file:", err)
		return
	}
	defer file.Close()

	fileInfo, err := file.Stat()
	if err != nil {
		fmt.Println("Error getting file info:", err)
		return
	}

	numParts := int(math.Ceil(float64(fileInfo.Size()) / float64(chunkSize)))
	var wg sync.WaitGroup
	errChan := make(chan error, numParts)

	for i := 0; i < numParts; i++ {
		partSize := chunkSize
		if i == numParts-1 {
			partSize = int(fileInfo.Size()) - (i * chunkSize)
		}
		filePart := make([]byte, partSize)
		file.Read(filePart)

		wg.Add(1)
		go uploadChunk(url, fileInfo.Name(), filePart, i+1, &wg, errChan)
	}

	wg.Wait()
	close(errChan)

	if len(errChan) > 0 {
		for err := range errChan {
			fmt.Println("Error:", err)
		}
	} else {
		fmt.Println("File uploaded successfully")
	}
}

详细分析

1 文件分块:

const chunkSize = 5 * 1024 * 1024

这里定义每块的大小为5MB。

2 上传块函数:

func uploadChunk(url string, filename string, filePart []byte, partNumber int, wg *sync.WaitGroup, errChan chan error)

上传块的函数使用goroutine来处理每个块的上传。wg用于等待所有goroutine完成，errChan用于错误传递。

3 文件读取和分块:

numParts := int(math.Ceil(float64(fileInfo.Size()) / float64(chunkSize)))

for i := 0; i < numParts; i++ {
   partSize := chunkSize
   if i == numParts-1 {
	   partSize = int(fileInfo.Size()) - (i * chunkSize)
   }
   filePart := make([]byte, partSize)
   file.Read(filePart)

   wg.Add(1)
   go uploadChunk(url, fileInfo.Name(), filePart, i+1, &wg, errChan)
}

计算文件分块数，逐块读取文件并启动goroutine进行上传。

等待和错误处理:

wg.Wait()
close(errChan)

if len(errChan) > 0 {
   for err := range errChan {
	   fmt.Println("Error:", err)
   }
} else {
   fmt.Println("File uploaded successfully")
}

等待所有上传goroutine完成，并检查错误。

总结

多协程文件上传通过将文件分块和并行上传提高了上传效率和速度。上述示例代码展示了如何在Go语言中实现基本的多协程文件上传，包括文件分块、上传和错误处理。实际应用中还需要考虑更多的细节，如断点续传、重试机制和进度监控等。

个人技术分享

Go语言通过goroutine实现多协程文件上传

文章推荐

文章正文

多协程文件上传的基本流程

示例代码

详细分析

总结