前建资讯>财经 >「五发国际娱乐」70行Go代码打败C
「五发国际娱乐」70行Go代码打败C-前建资讯
2020-01-11 19:13:29

「五发国际娱乐」70行Go代码打败C

五发国际娱乐,【12月公开课预告】,入群直接获取报名地址

12月11日晚8点直播主题:人工智能消化道病理辅助诊断平台——从方法到落地

12月12日晚8点直播:利用容器技术打造ai公司技术中台

12月17日晚8点直播主题:可重构计算:能效比、通用性,一个都不能少

作者 | ajeet d'souza

译者 | 苏本如,编辑 | maozz

来源 | csdn(id:csdnnews)

chris penner最近发表的这篇文章——用80行haskell代码击败c(https://chrispenner.ca/posts/wc),在互联网上引起了相当大的争议,从那以后,尝试用各种不同的编程语言来挑战历史悠久的c语言版wc命令(译者注:用于统计一个文件中的行数、字数、字节数或字符数的程序命令)就变成了一种大家趋之若鹜的游戏,可以用来挑战的编程语言列表如下:

ada

common lisp

dyalog apl

futhark

haskell

rust

今天,我们将用go语言来进行这个wc命令的挑战。作为一种具有优秀并发原语的编译语言,要获得与c语言相当的性能应该很容易。

虽然wc命令被设计为可以从标准输入设备(stdin)读取、处理非ascii文本编码和解析命令行标志(wc命令的帮助可以参考这里),但我们在这里不会这样做。相反,像上面提到的文章一样,我们将集中精力使我们的实现尽可能简单。

如果你想看这篇文章用到的源代码,可以参考这里(https://github.com/ajeetdsouza/blog-wc-go)。

比较基准

我们将使用gnu的time工具包,针对两种语言编写的wc命令,从运行耗费时间和最大常驻内存大小两个方面来进行比较。

$ /usr/bin/time -f "%es %mkb" wc test.txt

用来比较的c语言版的wc命令和在chris penner的原始文章里用到的版本相同,使用gcc 9.2.1和-o3编译。对于我们自己的实现,我们将使用go 1.13.4(我也尝试过gccgo,但结果不是很好)来编译。并且,我们将使用以下系统配置作为运行的基准:

英特尔酷睿i5-6200u@2.30ghz 处理器(2个物理核,4个线程)

4+4 gb内存@2133 mhz

240 gb m.2固态硬盘

fedora 31 linux发行版

为了确保公平的比较,所有实现都将使用16 kb的缓冲区来读取输入。输入将是两个大小分别为100 mb和1gb,使用us-ascii编码的文本文件。

原始实现(wc-naïve)

解析参数很容易,因为我们只需要文件路径,代码如下:

if len(os.args) < 2 {

panic("no file path specified")

filepath := os.args[1]

file, err := os.open(filepath)

if err != nil {

panic(err)

defer file.close

我们将按字节遍历文本和跟踪状态。幸运的是,在这种情况下,我们只需要知道两种状态:

前一个字节是空白;

前一个字节不是空白。

当从空白字符变为非空白字符时,我们给字计数器(word counter)加一。这种方法允许我们直接从字节流中读取,从而保持很低的内存消耗。

const buffersize = 16 * 1024

reader := bufio.newreadersize(file, buffersize)

linecount := 0

wordcount := 0

bytecount := 0

prevbyteisspace := true

for {

b, err := reader.readbyte

if err != nil {

if err == io.eof {

break

} else {

panic(err)

bytecount++

switch b {

case '\n':

linecount++

prevbyteisspace = true

case ' ', '\t', '\r', '\v', '\f':

prevbyteisspace = true

default:

if prevbyteisspace {

wordcount++

prevbyteisspace = false

要显示结果,我们将使用本机println函数。在我的测试中,导入fmt库(注:go语言的格式化库)会导致可执行文件的大小增加大约400 kb!

println(linecount, wordcount, bytecount, file.name)

让我们运行这个程序,然后看看它与c语言版wc的运行结果比较(见下表):

好消息是,我们的第一次尝试已经使我们在性能上接近c语言的版本。实际上,我们在内存使用方面做得比c更好!

拆分输入(wc-chunks)

虽然缓冲i/o读取对于提高性能至关重要,但调用readbyte并检查循环中的错误会带来很多不必要的开销。我们可以通过手动缓冲读取调用而不是依赖bufio.reader来避免这种情况。

为此,我们将把输入分成可以单独处理的缓冲块(chunk)。幸运的是,要处理一个chunk,我们只需要知道前一个chunk的最后一个字符是否是空白。

让我们编写几个工具函数:

type chunk struct {

prevcharisspace bool

buffer byte

type count struct {

linecount int

wordcount int

func getcount(chunk chunk)count{

count := count{}

prevcharisspace := chunk.prevcharisspace

for _, b := range chunk.buffer {

switch b {

case '\n':

count.linecount++

prevcharisspace = true

case ' ', '\t', '\r', '\v', '\f':

prevcharisspace = true

default:

if prevcharisspace {

prevcharisspace = false

count.wordcount++

return count

func isspace(b byte)bool{

return b == ' ' || b == '\t' || b == '\n' || b == '\r' || b == '\v' || b == '\f'

现在,我们可以将输入分成几个chunk(块),并将它们传送给getcount函数。

totalcount := count{}

lastcharisspace := true

const buffersize = 16 * 1024

buffer := make([]byte, buffersize)

for {

bytes, err := file.read(buffer)

if err != nil {

if err == io.eof {

break

} else {

panic(err)

count := getcount(chunk{lastcharisspace, buffer[:bytes]})

lastcharisspace = isspace(buffer[bytes-1])

totalcount.linecount += count.linecount

totalcount.wordcount += count.wordcount

要获取字节数,我们可以进行一次系统调用来查询文件大小:

filestat, err := file.stat

if err != nil {

panic(err)

bytecount := filestat.size

现在我们已经完成了,让我们看看它与c语言版wc的运行结果比较(见下表):

从上表结果看,我们在这两个方面都超过了c语言版wc命令,而且我们甚至还没有开始并行化我们的程序。tokei报告显示这个程序只有70行代码!

使用channel并行化(wc-channel)

不可否认,将wc这样的命令改成并行化运行有点过分了,但是让我们看看我们到底能走多远。chris penner的原始文章里的测试采用了并行化来读取输入文件,虽然这样做改进了运行时,但文章的作者也承认,并行化读取带来的性能提高可能仅限于某些类型的存储,而在其他类型的存储则有害无益。

对于我们的实现,我们希望我们的代码能够在所有设备上执行,所以我们不会这样做。我们将建立两个channel – chunks和counts。每个worker线程将从chunks中读取和处理数据,直到channel关闭,然后将结果写入counts中。

func chunkcounter(chunks <-chan chunk, counts chan<- count){

totalcount := count{}

for {

chunk, ok := <-chunks

if !ok {

break

count := getcount(chunk)

totalcount.linecount += count.linecount

totalcount.wordcount += count.wordcount

counts <- totalcount

我们将为每个逻辑cpu核心生成一个worker线程:

numworkers := runtime.numcpu

chunks := make(chan chunk)

counts := make(chan count)

for i := 0; i < numworkers; i++ {

go chunkcounter(chunks, counts)

现在,我们循环运行,从磁盘读取并将作业分配给每个worker:

const buffersize = 16 * 1024

lastcharisspace := true

for {

buffer := make([]byte, buffersize)

bytes, err := file.read(buffer)

if err != nil {

if err == io.eof {

break

} else {

panic(err)

chunks <- chunk{lastcharisspace, buffer[:bytes]}

lastcharisspace = isspace(buffer[bytes-1])

close(chunks)

一旦完成,我们可以简单地将每个worker得到的计数(count)汇总来得到总的word count:

totalcount := count{}

for i := 0; i < numworkers; i++ {

count := <-counts

totalcount.linecount += count.linecount

totalcount.wordcount += count.wordcount

close(counts)

让我们运行它,并且看看它与c语言版wc的运行结果比较(见下表):

从上表可以看出,我们的wc现在快了很多,但在内存使用方面出现了相当大的倒退。特别要注意我们的输入循环如何在每次迭代中分配内存的!channel是共享内存的一个很好的抽象,但是对于某些用例来说,简单地不使用channel通道可以极大地提高性能。

使用mutex并行化(wc-mutex)

在本节中,我们将允许每个worker读取文件,并使用sync.mutex互斥锁确保读取不会同时发生。我们可以创建一个新的struct来处理这个问题:

type filereader struct {

file *os.file

lastcharisspace bool

mutex sync.mutex

func (filereader *filereader) readchunk(buffer []byte)(chunk, error){

filereader.mutex.lock

defer filereader.mutex.unlock

bytes, err := filereader.file.read(buffer)

if err != nil {

return chunk{}, err

chunk := chunk{filereader.lastcharisspace, buffer[:bytes]}

filereader.lastcharisspace = isspace(buffer[bytes-1])

return chunk, nil

然后,我们重写worker函数,让它直接从文件中读取:

func filereadercounter(filereader *filereader, counts chan count){

const buffersize = 16 * 1024

buffer := make([]byte, buffersize)

totalcount := count{}

for {

chunk, err := filereader.readchunk(buffer)

if err != nil {

if err == io.eof {

break

} else {

panic(err)

count := getcount(chunk)

totalcount.linecount += count.linecount

totalcount.wordcount += count.wordcount

counts <- totalcount

与前面一样,我们现在可以为每个cpu核心生成一个worker线程:

filereader := &filereader{

file: file,

lastcharisspace: true,

counts := make(chan count)

for i := 0; i < numworkers; i++ {

go filereadercounter(filereader, counts)

totalcount := count{}

for i := 0; i < numworkers; i++ {

count := <-counts

totalcount.linecount += count.linecount

totalcount.wordcount += count.wordcount

close(counts)

让我们运行它,然后看看它与c语言版wc的运行结果比较(见下表):

可以看出,我们的并行实现运行速度比wc快了4.5倍以上,而且内存消耗更低!这是非常重要的,特别是如果你认为go是一种自动垃圾收集语言的话。

结束语

虽然本文绝不暗示go语言比c语言强,但我希望它能够证明go语言可以作为一种系统编程语言替代c语言。

如果你有任何建议和问题,欢迎在评论区留言。

原文链接:

https://ajeetdsouza.github.io/blog/posts/beating-c-with-70-lines-of-go/

© Copyright 2018-2019 ulrbowv.cn 前建资讯 Inc. All Rights Reserved.

最火新闻

  • 央行宣布降息!房贷利率降了

    央行宣布降息!房贷利率降了

      央行宣布最新5年期以上lpr为4.80%,比上月下调了5个基点。本次降息,相当于利率少了0.05个百分点。事实上,本次5年期以上lpr下调早有预兆:11月5日,央行宣布降低1年期中期借贷便利利率5个基点;11月18日,央行宣布“7天逆回购”利率下调5个基点。今年8月20日以后,贷款基准利率发生了巨大变化。以前,是央行公布存贷款基准利率,银行参照执行。

  • 以自由的名义,宣示爱

    以自由的名义,宣示爱

      以决绝神情站在新世纪门槛的人们,向未来伸出期盼的双臂。千寻的父母由于贪吃,未经过店员允许就随便触碰食物,而遭到惩罚变成了两只肥硕的大猪。千帮助白龙想起了自己的名字,同时也在白龙的帮助下,克服各种困难,冲破种种危险,救出了父母,找回了自己的名字和生活。这是真正的人世间,更是以自由的名义捍卫爱、守护着理想的人世间。千寻一度丢失了名字,成为“千”;小白龙在千寻的帮助下想起了自己的名字,回归“琥珀川”。

  • 西湖水域荷花顺利通过区(局)验收

    西湖水域荷花顺利通过区(局)验收

      7月6日上午,西湖水域管理处邀请2018年西湖荷花验收组,对西湖荷区逐块进行了检查,并进行了座谈和总结。为确保西湖荷花盛景如期呈现,水域管理处领导与湖面养护队负责人、技术骨干于年初针对西湖荷花往年生长情况,制定了2018年荷花养护管理方案,编制了荷花生长前准备工作和生长期养护工作计划。目前,西湖荷花已进入盛花期。西湖水域荷花养护应建立专业科研团队,由专业技术人才持续拔高西湖荷花栽培养护水平。

  • 美团:未来十年人才基于培养实现,少空降

    美团:未来十年人才基于培养实现,少空降

      近日,美团市值突破5000亿港元,引发外界热议。观察者网获悉,9月底,王兴在内部沟通会再次分享《领导梯队》,王兴强调,未来十年,美团要让新一批各层级领导者成长起来,这是美团未来竞争力的重要来源。

  • 申万宏源:社保征管体制改革对A股盈利有多大影响?

    申万宏源:社保征管体制改革对A股盈利有多大影响?

      经过测算,两者呈现明显的正相关性,刚性福利较低的企业社保缴纳率一般较低,同时弹性福利占比也很低,腾挪空间很小,受到社保征管体制改革的影响将会较大。在1993年,我国颁布城镇职工养老保险改革的办法,废除了“劳动保险”这一叫法并正式更名为“社会保险”。

  • 年入85亿,销售却不到100人:会算账的公司,不要太爽!

    年入85亿,销售却不到100人:会算账的公司,不要太爽!

      “粮不三载”,这要求更高了。举个例子,晨光文具2018年全年销售收入85亿元。卖文具这样的快消品,做到85亿的规模,通常需要近万名销售人员,一万人的大军,就是一万人的成本。但是,晨光文具实际上的销售人员不足一百人。华与华对成本结构的改变,是完全取消客户部门。华与华把这个部门完全撤销了,那就把公司最大的一块成本砍掉了。不去,要求对方来华与华谈。

  • “幼童溺毙事件”还未结束,美墨边境又一次上演人道危机

    “幼童溺毙事件”还未结束,美墨边境又一次上演人道危机

      美墨边境难民悲剧不断上演,让美国总统特朗普备受争议的严控移民政策再遭责难,批评人士甚至抨击墨西哥政府正成为特朗普的帮凶。自特朗普威胁加征关税后,墨西哥政府便同意加大打击非法移民的力度。本周一,墨西哥防长宣布,1.5万墨西哥士兵已经部署到美墨边境。墨西哥当局表示,被从墨西哥驱逐的移民数字一直在上升。移民儿童死亡的照片已成为美墨边境大规模人道主义危机的象征。

  • 美国曾向伊朗提供一先进战机,几十年后中国让它战力大增

    美国曾向伊朗提供一先进战机,几十年后中国让它战力大增

      照片中,当时伊朗空军司令穆罕默德·阿米尔·哈塔米在f-4战斗机的交接仪式发表讲话,不过他1975年9月12日的一次车祸中丧生。1979年之后随着与美国关系的破裂,伊朗几乎断绝了与西方的所有军事联系,这也让f-4战斗机的维护保养成了最大问题。不过据称在中国的帮助下f-4更换了多种等设备让它能发射反舰巡航导弹,大大增加了战斗力。而在以色列和伊朗之间紧张关系的背景下,伊朗空军可能会使用f-4战斗机。

  • 2019年上半年上海货币信贷运行情况

    2019年上半年上海货币信贷运行情况

      二、上半年人民币个人住房贷款增加537亿元,境内非金融企业票据融资增加637亿元上半年新增人民币住户消费贷款中,个人住房贷款增加537亿元,同比多增254亿元;个人汽车消费贷款减少51亿元,同比多减191亿元;个人其他消费贷款增加283亿元,同比多增168亿元。

  • “吴晓波频道”登陆资本市场遇阻,全通教育收购杭州巴九灵宣告终止

    “吴晓波频道”登陆资本市场遇阻,全通教育收购杭州巴九灵宣告终止

      记者 | 柳书琪编辑 | 全通教育对“吴晓波频道”历时6个月的收购大戏以失败告终。由于杭州巴九灵业务对吴晓波个人影响力的严重依赖,此次收购引发了深交所的重点关注,两次向全通教育下发问询函。次日,深交所再度下达问询函,全通教育被要求对巴九灵面向的客户及收入实现情况、各业务板块广告收入的确认情况进行说明。在发布终止收购公告的三日前,吴晓波频道app已更名为“890新商学”,系巴九灵的谐音。

  • 我们国家的“大龄剩女”,为什么越来越多?原因无非就这三点

    我们国家的“大龄剩女”,为什么越来越多?原因无非就这三点

      因为我们国家的大龄剩女,已经呈现越来越多的趋势。当一个女人觉得,单身所需要承受的压力,也远远小于她匆忙嫁人所需要承担的痛苦时,她宁愿成为大龄剩女,也不愿意步入婚姻。而不是一味地提要求,用高目标要求别人,最后反而让自己成为大龄剩女。婚姻是一次慎重的选择,宁可成为别人口中的“大龄剩女”,也要多等一等,这样至少不会经历仓促且苍白的婚姻。end.今日话题:你们愿意娶一个“大龄剩女”吗?

随机新闻