分片读取http超大文件流
Golang中的HTTP发送get请求,在获取内容有两种情况。
Golang发送http get请求方式
resp, err := http.Get(sendUrl) if err != nil { fmt.Println("出错", err) return }
第一种方式是直接全部读取出来,这种方式在小数据量的时候很方便。
body变量直接全部接收resp响应内容
body, err2 := ioutil.ReadAll(resp.Body)
第二种方式,分片获取。
首先顶一个切片buf := make([]byte, 4096) 容量和大小都是4096个char字符(切片就是Golang自己的动态变长数组)
for无限循环读取,读取一块内容放入buf中。result 是一个string字符串,然后用 result 自动拼接。
for { n, err:= resp.Body.Read(buf) if err != nil || n == 0{ fmt.Println("出现错误") break } result += string(buf[:n]) }
Golang中匹配正则
MustCompile内容不是单引号,而是 `
// 解析,编译正则表达式 ret := regexp.MustCompile(`<img width="100" alt="("`) //提取需要信息 var fileName [][] string = ret.FindAllStringSubmatch(result, -1)
该方法可以进一步推广,可以推广到下载超大文件,然后分片读取和写入硬盘。
然后再开启另一个线程去将这些已经写入硬盘的分片合称在一起。
Golang 并发控制
Java中的多线程,如果主线程开启多个子线程后,在多个子线程全部完成后,主线程才会退出,程序终止。
而在Golang中不会出现此类情况,主Go程和子Go程需要人为控制主GO程和子GO程同步,否则主GO程瞬间结束。
在主GO程开始执行子GO程地方创建一个 channel。子GO程开始往 channel 中添加数据,主GO程再消费数据。
func toWork(start, end int) { //子Go程与主Go程完成同步,意思是子Go程没有全部执行完毕,主Go程不许退出。 page := make(chan int) for i:=start; i<=end; i++ { //开启子GO程 go SpiderPage(i, page) } //主GO程开始消费管道中的数据 for i:=start; i<=end; i++ { fmt.Println("爬取完成", <- page) } }
往主GO程的channel中添加数据,提供给主GO程消费从而达到同步
func SpiderPage(index int, page chan int) { page <- index }
读取http二进制码写入图片
创建文件
获取http流
分片逐步写入
func saveImag(sendUrl string, index int, imageChannel chan int) { //创建文件 path := "C:/img/" + strconv.Itoa(index) + ".jpg" f, err := os.Create(path) if err != nil { return } defer f.Close() //获取http流 resp, err :=http.Get(sendUrl) if err != nil { return } defer resp.Body.Close() //分片逐步写入 buf := make([]byte, 4096) for { n, err := resp.Body.Read(buf) if err != nil { break } f.Write(buf[:n]) } imageChannel <- index }
补充:golang实现http表单大文件流式上传服务端代码
golang的http标准库的上传文件是一次性将文件全部读到内存中,这样上传小文件还可以,但是大文件就无能为力了。
一开始在网上找到一篇gin实现大文件流式上传的文章。大体思路是手动解析form表单的header和body,然后分片读取上传的文件内容。但是代码量有点多且复杂。有兴趣的同学可以自行百度。
后来在github找到一个库
github.com/albrow/forms
可以看到这个库读取上传文件的方法
func (d Data) GetFileBytes(key string) ([]byte, error) { fileHeader, found := d.Files[key] if !found { return nil, nil } else { file, err := fileHeader.Open() if err != nil { return nil, err } return ioutil.ReadAll(file) } }
最后使用的是ioutil.ReadAll,大文件上传的话就会有问题,要实现流式上传,可以在这个包里加一个方法。以下是我自己加的方法
func (d Data) GetFileReader(key string) (io.Reader, error) { fileHeader, found := d.Files[key] if !found { return nil, nil } else { file, err := fileHeader.Open() if err != nil { return nil, err } return file, nil } }
得到reader后使用io.Copy即可将文件落盘
userData, err := forms.Parse(c.Request) if err != nil { log.Printf("parse错误:%v", err) return } header := userData.GetFile("file") fileReader, err := userData.GetFileReader("file") if err != nil { log.Printf("获取reader错误:%v", err) return } file, _ := os.Create(header.Filename) io.Copy(file, fileReader)
以上为个人经验,希望能给大家一个参考,也希望大家多多支持。如有错误或未考虑完全的地方,望不吝赐教。
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新日志
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果(九)》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]