我试图同时处理文件中的行,但由于某种原因,我似乎得到了不一致的结果。我的代码的简化版本如下:
var wg sync.WaitGroup
semaphore := make(chan struct{}, 2)
lengths:= []int{}
for _, file := range(args[1:]){
// Open the file and start reading it
reader, err := os.Open(file)
if err != nil {
fmt.Println("Problem reading input file:", file)
fmt.Println("Error:", err)
os.Exit(0)
}
scanner := bufio.NewScanner(reader)
// Start streaming lines
for scanner.Scan() {
wg.Add(1)
text := scanner.Text()
semaphore <- struct{}{}
go func(line string) {
length := getInformation(line)
lengths = append(lengths, length)
<-semaphore
wg.Done()
}(text)
}
}
wg.Wait()
sort.Ints(lengths)
fmt.Println("Lengths:", lengths)
getInformation
函数只是返回行的长度。然后我接受该行并将其添加到数组中。我遇到的问题是,当我对同一个文件多次运行时,我的数组中会有不同数量的项目。我曾经假设,因为我使用的是waitGroup
,所有的线都会被处理,因此lengths
的内容会相同,但事实并非如此。谁能看到我在这里做错了什么?
lengths = append(lengths, length)
正在同时执行。这不安全,会导致切片中缺少条目等问题。您可以通过将附加调用包装在互斥锁中来解决此问题,或者让gorountines将结果发布到通道,并将一个位置收集到一个切片中。