整整一个晚上,我的私信里堆满了断着的手掌
有视频,有图片,有横着拍的,有竖着拍的
看着它,不反胃,不抵触,但是很茫然
原来不是电影里那样,被砍掉以后就血溅横飞的样子。
相反,它就那样孤零零,冷冰冰地被遗忘在地上
就好像人遭遇剧烈疼痛的时候是叫不出声的
这种现实感往往比认知中的血腥画面更加压迫
毁灭,但是悄无声息,超出二十米,没人知道发生了什么。
这让我联想到我自己的死亡。
https://twitter.com/lilaoshizuikeai/status/1661064498789187584?s=19
有两个墙里的博主在外直播时被人袭击,其中一个应该是手掌被砍了下来。结果直播室里的网友在叫好嘲笑,周围的忙着拍视频拍断掌,还有人把直播的视频弄出来卖。李老师大概是一下看了太多中国人的冷漠无情,十分感慨。
https://twitter.com/Fifa_Jess/status/1661197907528151042?s=19
有视频,有图片,有横着拍的,有竖着拍的
看着它,不反胃,不抵触,但是很茫然
原来不是电影里那样,被砍掉以后就血溅横飞的样子。
相反,它就那样孤零零,冷冰冰地被遗忘在地上
就好像人遭遇剧烈疼痛的时候是叫不出声的
这种现实感往往比认知中的血腥画面更加压迫
毁灭,但是悄无声息,超出二十米,没人知道发生了什么。
这让我联想到我自己的死亡。
https://twitter.com/lilaoshizuikeai/status/1661064498789187584?s=19
有两个墙里的博主在外直播时被人袭击,其中一个应该是手掌被砍了下来。结果直播室里的网友在叫好嘲笑,周围的忙着拍视频拍断掌,还有人把直播的视频弄出来卖。李老师大概是一下看了太多中国人的冷漠无情,十分感慨。
https://twitter.com/Fifa_Jess/status/1661197907528151042?s=19
Twitter
整整一个晚上,我的私信里堆满了断着的手掌
有视频,有图片,有横着拍的,有竖着拍的
看着它,不反胃,不抵触,但是很茫然
原来不是电影里那样,被砍掉以后就血溅横飞的样子。
相反,它就那样孤零零,冷冰冰地被遗忘在地上
就好像人遭遇剧烈疼痛的时候是叫不出声的…
有视频,有图片,有横着拍的,有竖着拍的
看着它,不反胃,不抵触,但是很茫然
原来不是电影里那样,被砍掉以后就血溅横飞的样子。
相反,它就那样孤零零,冷冰冰地被遗忘在地上
就好像人遭遇剧烈疼痛的时候是叫不出声的…
在“直播砍手”这件事里最让我不适的其实是直播间里满屏的“哈哈哈”“砍死他”,以及后来被砍者评论区里满屏对“断手”的嘲讽和嬉笑玩梗。
彷佛来说,对于观众们这就是恬噪夜晚里一份出其不意的节目效果。
坊间流传着很多版本,讲诉着被砍者的罪有因得,但是站在某种程度上,这也让我觉得不寒而栗。我其实可以预想这个年轻人苏醒后,打开抖音,那个他过去充满快乐的平台,满屏都是对他的嘲讽,是什么样的心情。
或许他那时才会意识到,原来一个人的人生亦可以成为大众娱乐的一部分。
这场狂欢就像是一场远古时代的人祭,在血与断肢中让一些人获得兴奋和满足。
https://twitter.com/lilaoshizuikeai/status/1661141547579047938?s=35
彷佛来说,对于观众们这就是恬噪夜晚里一份出其不意的节目效果。
坊间流传着很多版本,讲诉着被砍者的罪有因得,但是站在某种程度上,这也让我觉得不寒而栗。我其实可以预想这个年轻人苏醒后,打开抖音,那个他过去充满快乐的平台,满屏都是对他的嘲讽,是什么样的心情。
或许他那时才会意识到,原来一个人的人生亦可以成为大众娱乐的一部分。
这场狂欢就像是一场远古时代的人祭,在血与断肢中让一些人获得兴奋和满足。
https://twitter.com/lilaoshizuikeai/status/1661141547579047938?s=35
Twitter
在“直播砍手”这件事里最让我不适的其实是直播间里满屏的“哈哈哈”“砍死他”,以及后来被砍者评论区里满屏对“断手”的嘲讽和嬉笑玩梗。
彷佛来说,对于观众们这就是恬噪夜晚里一份出其不意的节目效果。…
彷佛来说,对于观众们这就是恬噪夜晚里一份出其不意的节目效果。…
腾讯联合浙江大学的研究人员研究发现安卓/鸿蒙指纹识别系统可以被暴力破解,iPhone则无法被爆破。
全文链接:ourl.co/98797
研究人员发现指纹传感器的串口外设并没有做好严格的校验,可以发起中间人劫持,然后再利用指纹数据库,无限次提交指纹图像直到完成解锁。
测试的样机包括小米、OPPO、三星、vivo、OnePlus、三星、华为、苹果。最终只有iPhone 7和SE没被破解。
实际破解时间取决于用户录入的指纹数量,一个指纹的情况下大概要3~14小时,两个以上指纹最低只需要半个小时多点就可以破解。
另外研究人员在论文中还提到了一点,指纹数据库来源:某些学术数据集或从非法渠道购买的,这充分说明了生物特征信息一旦泄露就可能造成严重危害,毕竟,生物特征是无法修改的。
全文链接:ourl.co/98797
研究人员发现指纹传感器的串口外设并没有做好严格的校验,可以发起中间人劫持,然后再利用指纹数据库,无限次提交指纹图像直到完成解锁。
测试的样机包括小米、OPPO、三星、vivo、OnePlus、三星、华为、苹果。最终只有iPhone 7和SE没被破解。
实际破解时间取决于用户录入的指纹数量,一个指纹的情况下大概要3~14小时,两个以上指纹最低只需要半个小时多点就可以破解。
另外研究人员在论文中还提到了一点,指纹数据库来源:某些学术数据集或从非法渠道购买的,这充分说明了生物特征信息一旦泄露就可能造成严重危害,毕竟,生物特征是无法修改的。
This media is not supported in your browser
VIEW IN TELEGRAM
马斯克罕见憔悴,公布宣布接班人大事。
本周二,年富力强的马斯克公开露面时,面容极其憔悴,宣布自己已经选好了特斯拉的接班人,如果自己遭遇不测,将由该接班人接替,但未透露接班人姓名。
作为商业大佬世界首富,他是不会无缘无故说出这样语句。
马斯克说自己可能“神秘地死亡”# https://t.co/s10SMzdBMW
大雄的微笑 @DXDWX999
Download By @awemebot
本周二,年富力强的马斯克公开露面时,面容极其憔悴,宣布自己已经选好了特斯拉的接班人,如果自己遭遇不测,将由该接班人接替,但未透露接班人姓名。
作为商业大佬世界首富,他是不会无缘无故说出这样语句。
马斯克说自己可能“神秘地死亡”# https://t.co/s10SMzdBMW
大雄的微笑 @DXDWX999
Download By @awemebot
财新这个报道写的很清楚,昆明那个纪要是海通证券的会议。
城投债个人无法直接购买,都是金融机构买,券商,基金,信托,保险,银行,怕无法兑付,这些机构慌了,所以海通证券请了专家解读,因为是匿名,就很敢说。
关键在于,专家提到了用社保和公积金兑付。
https://twitter.com/ACanadianeditor/status/1661442887031160839?s=19
城投债个人无法直接购买,都是金融机构买,券商,基金,信托,保险,银行,怕无法兑付,这些机构慌了,所以海通证券请了专家解读,因为是匿名,就很敢说。
关键在于,专家提到了用社保和公积金兑付。
https://twitter.com/ACanadianeditor/status/1661442887031160839?s=19
This media is not supported in your browser
VIEW IN TELEGRAM
據說,這是前幾天,在巴菲特的伯克希爾·哈撒韋公司年會,國家法律和政策中心 (NLPC) 主席彼得·弗萊厄蒂 (Peter Flaherty) 的麥克風被切斷麥克風並被強行帶離會場。
原因是他說了令他們非常不安的真相:
“如果我們有一位獨立主席,公司就不會那麼認同巴菲特先生的政治活動,他向比爾和梅琳達·蓋茨基金會捐贈了數百億美元,正如蓋茨夫婦還在一起時解釋的那樣: “雖然基金會以我們的名字命名,但基本上我們一半的資源都來自巴菲特。”
如果“覺醒”文化是一種疾病,那麼慈善事業就是病毒,蓋茨基金會資助全國各地的批判種族理論教學,本質上是種族主義的。
蓋茨基金會提供了一個性別認同工具箱,它斷言性別是 “社會和文化建構思想” 的結果,這是個謊言,性別不是一種文化建構,這是遺傳和生物學事實。”
此時有人嘗試阻止他,但巴菲特礙於規則勉強同意他繼續:
“當然,我們知道比爾蓋茨對孩子的關心程度,在愛潑斯坦因性犯罪被定罪後,他與杰弗裡·愛潑斯坦多次會面和旅行。(現場歡呼聲大起)
蓋茨基金會對 COVID 產生了巨大影響,他為中國的 COVID 政策辯護,並仍然否認該病毒起源於實驗室的可能性,儘管美國情報機構不同意。
蓋茨基金會可能是被稱為 Arabella Associates 的 “黑錢” 機器的最大單一捐助者。”
至此,他的麥克風被切斷並被強行帶離會場
https://twitter.com/shijinxia/status/1661435570642452481?s=19
原因是他說了令他們非常不安的真相:
“如果我們有一位獨立主席,公司就不會那麼認同巴菲特先生的政治活動,他向比爾和梅琳達·蓋茨基金會捐贈了數百億美元,正如蓋茨夫婦還在一起時解釋的那樣: “雖然基金會以我們的名字命名,但基本上我們一半的資源都來自巴菲特。”
如果“覺醒”文化是一種疾病,那麼慈善事業就是病毒,蓋茨基金會資助全國各地的批判種族理論教學,本質上是種族主義的。
蓋茨基金會提供了一個性別認同工具箱,它斷言性別是 “社會和文化建構思想” 的結果,這是個謊言,性別不是一種文化建構,這是遺傳和生物學事實。”
此時有人嘗試阻止他,但巴菲特礙於規則勉強同意他繼續:
“當然,我們知道比爾蓋茨對孩子的關心程度,在愛潑斯坦因性犯罪被定罪後,他與杰弗裡·愛潑斯坦多次會面和旅行。(現場歡呼聲大起)
蓋茨基金會對 COVID 產生了巨大影響,他為中國的 COVID 政策辯護,並仍然否認該病毒起源於實驗室的可能性,儘管美國情報機構不同意。
蓋茨基金會可能是被稱為 Arabella Associates 的 “黑錢” 機器的最大單一捐助者。”
至此,他的麥克風被切斷並被強行帶離會場
https://twitter.com/shijinxia/status/1661435570642452481?s=19
This media is not supported in your browser
VIEW IN TELEGRAM
泰森:我年轻的时候是完全的自由主义者,但随着年龄的增长,看着我的孩子,看到外面的世界,我变得有点保守了。你知道,这是常识。
在泰森、乔丹、杰克逊、摩根弗里曼那个年代,他们不会刻意强调自己的身份特征,也没有谁在乎他们的肤色,人们只关注他们的才华,反种族歧视搞了这么多年,反而倒退了。
https://twitter.com/Ethanlovegod/status/1661543895728025602?s=19
在泰森、乔丹、杰克逊、摩根弗里曼那个年代,他们不会刻意强调自己的身份特征,也没有谁在乎他们的肤色,人们只关注他们的才华,反种族歧视搞了这么多年,反而倒退了。
https://twitter.com/Ethanlovegod/status/1661543895728025602?s=19
《西苏》是一部2022年芬兰和美国合拍的历史动作片,由亚尔马里·赫兰德执导。电影背景设置于二战时的芬兰拉普兰。电影讲述的是一个淘金者尽力保护自己所淘到的金块,并防卫来自一个残忍的党卫队军官领导的纳粹处决小队的威胁。 该电影在2022年9月9日首映于2022年多伦多国际电影节,并于2023年4月28日在美国发行。 维基百科
SISU是芬兰语中的一个单词,它通常被解释为“坚韧不拔”、“毅力”、“决心”或“斗志”。它是芬兰文化和民族认同的核心价值观之一,被描述为一种个人品质,涵盖了在不利情况下追求目标的能力、自我控制和意志力。在芬兰文化中,Sisu 被认为是一种非常重要的品质,被视为芬兰人的精神力量和耐力的来源。
当芬兰在二战期间面临苏联的入侵时,芬兰人表现出了强烈的 Sisu 精神。尽管芬兰的军队规模很小,但他们在寒冷的天气中战斗了多个月,在人数和装备上远远劣于苏联军队的情况下,他们仍然能够坚持抵御苏联的进攻。在这种情况下,Sisu 被认为是芬兰人坚定意志和决心的象征,使他们能够在极端困难的情况下坚持下来。这是一个很好的 Sisu 的例子,展示了芬兰人在极端困难的情况下表现出的毅力和坚韧不拔的精神。
SISU是芬兰语中的一个单词,它通常被解释为“坚韧不拔”、“毅力”、“决心”或“斗志”。它是芬兰文化和民族认同的核心价值观之一,被描述为一种个人品质,涵盖了在不利情况下追求目标的能力、自我控制和意志力。在芬兰文化中,Sisu 被认为是一种非常重要的品质,被视为芬兰人的精神力量和耐力的来源。
当芬兰在二战期间面临苏联的入侵时,芬兰人表现出了强烈的 Sisu 精神。尽管芬兰的军队规模很小,但他们在寒冷的天气中战斗了多个月,在人数和装备上远远劣于苏联军队的情况下,他们仍然能够坚持抵御苏联的进攻。在这种情况下,Sisu 被认为是芬兰人坚定意志和决心的象征,使他们能够在极端困难的情况下坚持下来。这是一个很好的 Sisu 的例子,展示了芬兰人在极端困难的情况下表现出的毅力和坚韧不拔的精神。
导致三年前大骚乱的黑人George Floyd的尸检报告被公布出来,尸检报告证明Floyd没有受到任何外力的致命伤害。尸检报告测出他体内有多种高浓度毒品,最多的就是酚酞呢。
一个瘾君子,因为吸毒过量死亡,却被别有用心的猪党挂上道德制高点,封为英雄,享受和耶稣一样被膜拜的待遇,猪党高层在他的葬礼上集体下跪请求宽恕。
Floyd事件彻底击碎了我的美国梦,如此荒谬绝伦的事情居然在美国这种自称民主自由的灯塔的国家堂而皇之地发生,任何的质疑都被立刻封杀,一个前科累累的罪犯,居然从政府手里拿到几千万美元的赔偿金,公理何在?道义何在?
从此我不再相信美国有公正的司法。
https://twitter.com/lydia488144315/status/1661922272192663553?s=35
一个瘾君子,因为吸毒过量死亡,却被别有用心的猪党挂上道德制高点,封为英雄,享受和耶稣一样被膜拜的待遇,猪党高层在他的葬礼上集体下跪请求宽恕。
Floyd事件彻底击碎了我的美国梦,如此荒谬绝伦的事情居然在美国这种自称民主自由的灯塔的国家堂而皇之地发生,任何的质疑都被立刻封杀,一个前科累累的罪犯,居然从政府手里拿到几千万美元的赔偿金,公理何在?道义何在?
从此我不再相信美国有公正的司法。
https://twitter.com/lydia488144315/status/1661922272192663553?s=35
Twitter
导致三年前大骚乱的黑人George Floyd的尸检报告被公布出来,尸检报告证明Floyd没有受到任何外力的致命伤害。尸检报告测出他体内有多种高浓度毒品,最多的就是酚酞呢。…
BREAKING NEWS: George Floyd full autopsy released. Says “no life threatening injuries identified” and reveals high levels of multiple additional toxic drugs on top of the Fentanyl that was initially reported.
https://twitter.com/MattWallace888/status/1661839153384792066?s=19
https://twitter.com/MattWallace888/status/1661839153384792066?s=19
未科,我小区明显就是高点的580万到上个月的370万,短短两三年时间,年初问中介,得到的回复还是基本430万能成交呢,结果上上周成交价370万……
好在是刚需房,更运气的是买的早,也就不考虑这个了,比较惨的是2018年买房的朋友们,将近2万的月供,阿里的公积金还是给力的,一旦失业压力是真的很大了!
https://twitter.com/Ammy_cn/status/1661961328091865088?s=35
好在是刚需房,更运气的是买的早,也就不考虑这个了,比较惨的是2018年买房的朋友们,将近2万的月供,阿里的公积金还是给力的,一旦失业压力是真的很大了!
https://twitter.com/Ammy_cn/status/1661961328091865088?s=35
Twitter
@tracy68683668 未科,我小区明显就是高点的580万到上个月的370万,短短两三年时间,年初问中介,得到的回复还是基本430万能成交呢,结果上上周成交价370万……
好在是刚需房,更运气的是买的早,也就不考虑这个了,比较惨的是2018年买房的朋友们,将近2万的月供,阿里的公积金还是给力的,一旦失业压力是真的很大了!
好在是刚需房,更运气的是买的早,也就不考虑这个了,比较惨的是2018年买房的朋友们,将近2万的月供,阿里的公积金还是给力的,一旦失业压力是真的很大了!
专治某信/Q扣不服?微软开源了一款应用隔离软件,可以打包Win32软件,将其放在虚拟化容器中运行。
全文链接:
ourl.co/98847
微软称这是Windows的一项安全功能,旨在帮助用户解决某些软件带来的威胁。
被容器化的应用将无法越过安全边界读取宿主机内容,对于某些软件扫描磁盘、安装所谓的防护盾等问题,具有极佳的效果。
https://twitter.com/landiantech/status/1661693915131678720?s=19
全文链接:
ourl.co/98847
微软称这是Windows的一项安全功能,旨在帮助用户解决某些软件带来的威胁。
被容器化的应用将无法越过安全边界读取宿主机内容,对于某些软件扫描磁盘、安装所谓的防护盾等问题,具有极佳的效果。
https://twitter.com/landiantech/status/1661693915131678720?s=19
1—4月份,全国规模以上工业企业实现利润总额20328.8亿元,同比下降20.6%。
国有控股企业实现利润总额7579.8亿元,同比下降17.9%;股份制企业实现利润总额14962.4亿元,下降22.0%;外商及港澳台商投资企业实现利润总额4679.9亿元,下降16.2%;私营企业实现利润总额5240.3亿元,下降22.5%。
https://twitter.com/myfxtrader/status/1662270520065155073?s=19
统计局:总体看,工业企业效益延续恢复态势,但也要看到,国际环境严峻复杂,需求不足制约明显,工业企业盈利持续恢复面临较多困难。下阶段,要着力恢复和扩大需求,进一步提高产销衔接水平,持续提振经营主体信心,把发挥政策效力和激发经营主体活力结合起来,推动工业经济持续回升向好。
国有控股企业实现利润总额7579.8亿元,同比下降17.9%;股份制企业实现利润总额14962.4亿元,下降22.0%;外商及港澳台商投资企业实现利润总额4679.9亿元,下降16.2%;私营企业实现利润总额5240.3亿元,下降22.5%。
https://twitter.com/myfxtrader/status/1662270520065155073?s=19
统计局:总体看,工业企业效益延续恢复态势,但也要看到,国际环境严峻复杂,需求不足制约明显,工业企业盈利持续恢复面临较多困难。下阶段,要着力恢复和扩大需求,进一步提高产销衔接水平,持续提振经营主体信心,把发挥政策效力和激发经营主体活力结合起来,推动工业经济持续回升向好。
合肥也拉垮了…
https://twitter.com/Pandazhq/status/1662217089044848642?s=19
这两天推主来发房地产内容,引得我查了下温州房价。嗯,跌到了2007年水线,两万左右一平。没错,温州房价才是变态!!温州2007年房价就是两万每平,2008年温州鹿城广场开盘价5万每平,转手价10万每平。武汉是2016年左右房价破万
https://twitter.com/lieshaCCP/status/1662276701605310465?s=19
https://twitter.com/Pandazhq/status/1662217089044848642?s=19
这两天推主来发房地产内容,引得我查了下温州房价。嗯,跌到了2007年水线,两万左右一平。没错,温州房价才是变态!!温州2007年房价就是两万每平,2008年温州鹿城广场开盘价5万每平,转手价10万每平。武汉是2016年左右房价破万
https://twitter.com/lieshaCCP/status/1662276701605310465?s=19
中国社交媒体上有人提问:你认为的最大笑话是什么?
一位网友回答,最大的笑话是:一个讲笑话为主的公司,因为讲了个笑话要倒闭了。
另一位网友不同意:不,最大的笑话就是一个演员在节目中的台词被认定代表了公司,而一国大使接受法国电视采访说的话,被解释说只代表个人。
https://twitter.com/GaoFalin/status/1662110293466529793?s=19
一位网友回答,最大的笑话是:一个讲笑话为主的公司,因为讲了个笑话要倒闭了。
另一位网友不同意:不,最大的笑话就是一个演员在节目中的台词被认定代表了公司,而一国大使接受法国电视采访说的话,被解释说只代表个人。
https://twitter.com/GaoFalin/status/1662110293466529793?s=19
去年上海封城,导致财政紧张,就暂停了给云南财政转移!
年初云南就找上海要,遭到各种推诿,没办法就找中央反应,结果不了了之!
眼看就要暴雷,于是昆明副市长带着交投、土投、产投三位老总到上海化缘,但被人羞辱了一顿,刚回到昆明债主就围上来要说法,又是一顿折腾,气急败坏下,就捅到了网上!
https://twitter.com/Rumoreconomy/status/1662338735097384960?s=35
年初云南就找上海要,遭到各种推诿,没办法就找中央反应,结果不了了之!
眼看就要暴雷,于是昆明副市长带着交投、土投、产投三位老总到上海化缘,但被人羞辱了一顿,刚回到昆明债主就围上来要说法,又是一顿折腾,气急败坏下,就捅到了网上!
https://twitter.com/Rumoreconomy/status/1662338735097384960?s=35
Twitter
去年上海封城,导致财政紧张,就暂停了给云南财政转移!
年初云南就找上海要,遭到各种推诿,没办法就找中央反应,结果不了了之!
眼看就要暴雷,于是昆明副市长带着交投、土投、产投三位老总到上海化缘,但被人羞辱了一顿,刚回到昆明债主就围上来要说法,又是一顿折腾,气急败坏下,就捅到了网上!
年初云南就找上海要,遭到各种推诿,没办法就找中央反应,结果不了了之!
眼看就要暴雷,于是昆明副市长带着交投、土投、产投三位老总到上海化缘,但被人羞辱了一顿,刚回到昆明债主就围上来要说法,又是一顿折腾,气急败坏下,就捅到了网上!
This media is not supported in your browser
VIEW IN TELEGRAM
网友投稿
5月27日17时30分左右,南昌市青山湖区多所幼儿园在区市政公用广场进行“庆六一”文艺演出彩排时,舞台背景显示屏突然倒塌,据媒体报道9名幼儿被砸受伤。 https://t.co/YVv1PgNo9T
李老师不是你老师 @whyyoutouzhele
Download By @awemebot
5月27日17时30分左右,南昌市青山湖区多所幼儿园在区市政公用广场进行“庆六一”文艺演出彩排时,舞台背景显示屏突然倒塌,据媒体报道9名幼儿被砸受伤。 https://t.co/YVv1PgNo9T
李老师不是你老师 @whyyoutouzhele
Download By @awemebot
今天武汉财政局在媒体上公开催债。
其中欠款的有大量地方国企,甚至还有区财政局。
上级政府登报催下级政府还钱,真是活久见。😓😓😓https://twitter.com/torontobigface/status/1662501618720587777?s=19
其中欠款的有大量地方国企,甚至还有区财政局。
上级政府登报催下级政府还钱,真是活久见。😓😓😓https://twitter.com/torontobigface/status/1662501618720587777?s=19
微软2023年Build大会演讲:如何训练和应用GPT(中英文字幕)
这是本次微软2023年Build大会来自OpenAI的AI 研究员和创始成员Andrej Karpathy的一个主题为State of GPT的演讲。
演讲主要有两部分内容:
1. OpenAI是如何训练GPT的
2. 我们如何有效应用GPT
都是非常有价值的分享。
首先对于如何训练GPT,通常来说是四个阶段预训练(Pretraining),有监督的微调(Supervised Finetuning),奖励建模(Reward Modeling)和强化学习(Reinforcement Learning),这几个阶段通常是依次进行,每个阶段都有不同的数据集。
预训练(Pretraining):
这个阶段的目标是让模型学习一种语言模型,用于预测文本序列中的下一个单词。训练数据通常是互联网上的大量文本。模型从这些文本中学习词汇、语法、事实以及某种程度的推理能力。这个阶段结束后,模型可以生成一些有意义且语法正确的文本,但可能无法理解具体任务的需求。
有监督的微调(Supervised Finetuning):
在预训练后,模型会进入微调阶段。在这个阶段,人类评估员将参与并给出指导,他们会给模型提供对话样本,样本中包含了输入和期望的输出。这使得模型能更好地适应特定任务或应用,例如回答问题或编写文章。
奖励建模(Reward Modeling):
评估员将对模型生成的不同输出进行排名,以表示它们的质量。这个排名将被用作奖励函数,指导模型优化其生成的输出。
强化学习(Reinforcement Learning):
强化学习阶段是一个迭代的过程,模型会试图优化其行为以获得最大的奖励。在这个阶段,模型会产生新的输出,评估员会对这些输出进行排名,然后模型根据这个反馈调整其行为。
然后是如何有效应用GPT
在演讲中Andrej举了一个非常好的例子:人类和大语言模型(LLM)都是如何写作的?从这个例子中你能明显感觉到人类和GPT之间的差异。
假设你要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口,你的写作的过程中可能是像这样的:
- 我需要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口
- 我需要去获取两个州的人口数据
- 我不知道这两个周的人口数据
- 去维基百科找到加利福尼亚州的人口是39.2M
- 去维基百科找到阿拉斯加州的人口是0.74M
- 现在我需要计算一下两个州人口数相差多少倍,但是可能需要计算机帮忙
- 用计算器算出来39.2除以0.74约等于53
- 快速的检查一下53倍这个数字是不是符合常识,嗯,这是一个相当大的比值,但加利福尼亚州毕竟是人口最多的州,所以这个结果或许是合理的,可以继续
- 好了,我现在有了我需要的所有信息
- 写下:“加利福尼亚州的人口比53倍的……”
- 觉得好像不太好,删除重写成:“加利福尼亚州的人口是阿拉斯加州的53倍。”
- 嗯,觉得还不错
也就是说,当人类写作时,哪怕是这样一个简单的句子,可能内心实际上进行了大量的运算的。
但当我们用GPT进行写作这样的句子看起来会是什么样呢?
从GPT的角度看,这只是一系列的标记(Tokens)。当GPT在接收到一个输入,比如你给出的主题。它会生成一段与输入相关的文本,GPT的目标是预测下一个词,所以它会连续生成一串词,形成一段连贯的文本。
从本质上看,Transformer只是标记模拟器,它不知道自己知道什么不知道什么,它不知道自己擅长什么或不擅长什么,它只是尽力生成下一个标记,它也不会进行反思,也不会不进行任何合理性检查。它不会纠正自己的错误,它只是产生抽样的标记序列,它没有像人类那样的内心独白流。
但是,GPT有一些优势,如它们拥有大量的基于事实的知识,并且拥有相对大的并且完美的工作记忆。GPT通过自我注意力机制,能立即获取到上下文窗口中的信息,从而进行无损记忆。然而,GPT在推理和判断方面的能力相对较弱,如果提出的问题需要更复杂的推理,单凭一个标记的信息,GPT往往无法给出正确的答案。
一些技巧可以提升GPT的表现,比如Cot(Chain of Though)设定步骤来引导GPT展示其工作过程,或者通过多次抽样然后选择最佳结果等,或者可以让GPT检查自己的输出,比如询问它是否完成了任务,最好是在Prompt中明确的要求它检查自己的输出。
后面还介绍了目前比较流行的GPT应用,比如Agent、Plugin、CoT、Embedding等
最后他用GPT-4写了一个结尾:
“女士们,先生们,2023年Microsoft Build的创新者和先驱者们,欢迎来到这个独一无二的卓越人才的集结地。你们是未来的架构师,是塑造数字领域的视野家,在那里人类繁荣发展。拥抱科技的无限可能,让你的想法飞得和你的想象力一样高。让我们一起创造一个更连通,更出色,更包容的世界,为未来的世代留下。准备好释放你的创造力,探索未知,把梦想变成现实。你的旅程今天开始。”
原始视频地址:
build.microsoft.com/en-US/sessions…
YouTube地址:https://youtu.be/YrBJiy-V8MY
https://twitter.com/dotey/status/1662603594799935489?s=19
这是本次微软2023年Build大会来自OpenAI的AI 研究员和创始成员Andrej Karpathy的一个主题为State of GPT的演讲。
演讲主要有两部分内容:
1. OpenAI是如何训练GPT的
2. 我们如何有效应用GPT
都是非常有价值的分享。
首先对于如何训练GPT,通常来说是四个阶段预训练(Pretraining),有监督的微调(Supervised Finetuning),奖励建模(Reward Modeling)和强化学习(Reinforcement Learning),这几个阶段通常是依次进行,每个阶段都有不同的数据集。
预训练(Pretraining):
这个阶段的目标是让模型学习一种语言模型,用于预测文本序列中的下一个单词。训练数据通常是互联网上的大量文本。模型从这些文本中学习词汇、语法、事实以及某种程度的推理能力。这个阶段结束后,模型可以生成一些有意义且语法正确的文本,但可能无法理解具体任务的需求。
有监督的微调(Supervised Finetuning):
在预训练后,模型会进入微调阶段。在这个阶段,人类评估员将参与并给出指导,他们会给模型提供对话样本,样本中包含了输入和期望的输出。这使得模型能更好地适应特定任务或应用,例如回答问题或编写文章。
奖励建模(Reward Modeling):
评估员将对模型生成的不同输出进行排名,以表示它们的质量。这个排名将被用作奖励函数,指导模型优化其生成的输出。
强化学习(Reinforcement Learning):
强化学习阶段是一个迭代的过程,模型会试图优化其行为以获得最大的奖励。在这个阶段,模型会产生新的输出,评估员会对这些输出进行排名,然后模型根据这个反馈调整其行为。
然后是如何有效应用GPT
在演讲中Andrej举了一个非常好的例子:人类和大语言模型(LLM)都是如何写作的?从这个例子中你能明显感觉到人类和GPT之间的差异。
假设你要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口,你的写作的过程中可能是像这样的:
- 我需要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口
- 我需要去获取两个州的人口数据
- 我不知道这两个周的人口数据
- 去维基百科找到加利福尼亚州的人口是39.2M
- 去维基百科找到阿拉斯加州的人口是0.74M
- 现在我需要计算一下两个州人口数相差多少倍,但是可能需要计算机帮忙
- 用计算器算出来39.2除以0.74约等于53
- 快速的检查一下53倍这个数字是不是符合常识,嗯,这是一个相当大的比值,但加利福尼亚州毕竟是人口最多的州,所以这个结果或许是合理的,可以继续
- 好了,我现在有了我需要的所有信息
- 写下:“加利福尼亚州的人口比53倍的……”
- 觉得好像不太好,删除重写成:“加利福尼亚州的人口是阿拉斯加州的53倍。”
- 嗯,觉得还不错
也就是说,当人类写作时,哪怕是这样一个简单的句子,可能内心实际上进行了大量的运算的。
但当我们用GPT进行写作这样的句子看起来会是什么样呢?
从GPT的角度看,这只是一系列的标记(Tokens)。当GPT在接收到一个输入,比如你给出的主题。它会生成一段与输入相关的文本,GPT的目标是预测下一个词,所以它会连续生成一串词,形成一段连贯的文本。
从本质上看,Transformer只是标记模拟器,它不知道自己知道什么不知道什么,它不知道自己擅长什么或不擅长什么,它只是尽力生成下一个标记,它也不会进行反思,也不会不进行任何合理性检查。它不会纠正自己的错误,它只是产生抽样的标记序列,它没有像人类那样的内心独白流。
但是,GPT有一些优势,如它们拥有大量的基于事实的知识,并且拥有相对大的并且完美的工作记忆。GPT通过自我注意力机制,能立即获取到上下文窗口中的信息,从而进行无损记忆。然而,GPT在推理和判断方面的能力相对较弱,如果提出的问题需要更复杂的推理,单凭一个标记的信息,GPT往往无法给出正确的答案。
一些技巧可以提升GPT的表现,比如Cot(Chain of Though)设定步骤来引导GPT展示其工作过程,或者通过多次抽样然后选择最佳结果等,或者可以让GPT检查自己的输出,比如询问它是否完成了任务,最好是在Prompt中明确的要求它检查自己的输出。
后面还介绍了目前比较流行的GPT应用,比如Agent、Plugin、CoT、Embedding等
最后他用GPT-4写了一个结尾:
“女士们,先生们,2023年Microsoft Build的创新者和先驱者们,欢迎来到这个独一无二的卓越人才的集结地。你们是未来的架构师,是塑造数字领域的视野家,在那里人类繁荣发展。拥抱科技的无限可能,让你的想法飞得和你的想象力一样高。让我们一起创造一个更连通,更出色,更包容的世界,为未来的世代留下。准备好释放你的创造力,探索未知,把梦想变成现实。你的旅程今天开始。”
原始视频地址:
build.microsoft.com/en-US/sessions…
YouTube地址:https://youtu.be/YrBJiy-V8MY
https://twitter.com/dotey/status/1662603594799935489?s=19
Microsoft
Session Catalog
Explore the session lineup. Gain the insights and expertise you need to drive impact.