Infos beyond the wall
40 subscribers
6.63K photos
1.03K videos
95 files
24.7K links
Download Telegram
合肥也拉垮了…
https://twitter.com/Pandazhq/status/1662217089044848642?s=19

这两天推主来发房地产内容,引得我查了下温州房价。嗯,跌到了2007年水线,两万左右一平。没错,温州房价才是变态!!温州2007年房价就是两万每平,2008年温州鹿城广场开盘价5万每平,转手价10万每平。武汉是2016年左右房价破万
https://twitter.com/lieshaCCP/status/1662276701605310465?s=19
中国社交媒体上有人提问:你认为的最大笑话是什么?
一位网友回答,最大的笑话是:一个讲笑话为主的公司,因为讲了个笑话要倒闭了。
另一位网友不同意:不,最大的笑话就是一个演员在节目中的台词被认定代表了公司,而一国大使接受法国电视采访说的话,被解释说只代表个人。
https://twitter.com/GaoFalin/status/1662110293466529793?s=19
去年上海封城,导致财政紧张,就暂停了给云南财政转移!
年初云南就找上海要,遭到各种推诿,没办法就找中央反应,结果不了了之!
眼看就要暴雷,于是昆明副市长带着交投、土投、产投三位老总到上海化缘,但被人羞辱了一顿,刚回到昆明债主就围上来要说法,又是一顿折腾,气急败坏下,就捅到了网上!
https://twitter.com/Rumoreconomy/status/1662338735097384960?s=35
This media is not supported in your browser
VIEW IN TELEGRAM
网友投稿
5月27日17时30分左右,南昌市青山湖区多所幼儿园在区市政公用广场进行“庆六一”文艺演出彩排时,舞台背景显示屏突然倒塌,据媒体报道9名幼儿被砸受伤。 https://t.co/YVv1PgNo9T
李老师不是你老师 @whyyoutouzhele
Download By @awemebot
今天武汉财政局在媒体上公开催债。
其中欠款的有大量地方国企,甚至还有区财政局。
上级政府登报催下级政府还钱,真是活久见。😓😓😓https://twitter.com/torontobigface/status/1662501618720587777?s=19
微软2023年Build大会演讲:如何训练和应用GPT(中英文字幕)

这是本次微软2023年Build大会来自OpenAI的AI 研究员和创始成员Andrej Karpathy的一个主题为State of GPT的演讲。

演讲主要有两部分内容:
1. OpenAI是如何训练GPT的
2. 我们如何有效应用GPT

都是非常有价值的分享。

首先对于如何训练GPT,通常来说是四个阶段预训练(Pretraining),有监督的微调(Supervised Finetuning),奖励建模(Reward Modeling)和强化学习(Reinforcement Learning),这几个阶段通常是依次进行,每个阶段都有不同的数据集。

预训练(Pretraining):
这个阶段的目标是让模型学习一种语言模型,用于预测文本序列中的下一个单词。训练数据通常是互联网上的大量文本。模型从这些文本中学习词汇、语法、事实以及某种程度的推理能力。这个阶段结束后,模型可以生成一些有意义且语法正确的文本,但可能无法理解具体任务的需求。

有监督的微调(Supervised Finetuning):
在预训练后,模型会进入微调阶段。在这个阶段,人类评估员将参与并给出指导,他们会给模型提供对话样本,样本中包含了输入和期望的输出。这使得模型能更好地适应特定任务或应用,例如回答问题或编写文章。

奖励建模(Reward Modeling):
评估员将对模型生成的不同输出进行排名,以表示它们的质量。这个排名将被用作奖励函数,指导模型优化其生成的输出。

强化学习(Reinforcement Learning):
强化学习阶段是一个迭代的过程,模型会试图优化其行为以获得最大的奖励。在这个阶段,模型会产生新的输出,评估员会对这些输出进行排名,然后模型根据这个反馈调整其行为。

然后是如何有效应用GPT

在演讲中Andrej举了一个非常好的例子:人类和大语言模型(LLM)都是如何写作的?从这个例子中你能明显感觉到人类和GPT之间的差异。

假设你要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口,你的写作的过程中可能是像这样的:
- 我需要写一篇文章去比较加利福尼亚州和阿拉斯加州的人口
- 我需要去获取两个州的人口数据
- 我不知道这两个周的人口数据
- 去维基百科找到加利福尼亚州的人口是39.2M
- 去维基百科找到阿拉斯加州的人口是0.74M
- 现在我需要计算一下两个州人口数相差多少倍,但是可能需要计算机帮忙
- 用计算器算出来39.2除以0.74约等于53
- 快速的检查一下53倍这个数字是不是符合常识,嗯,这是一个相当大的比值,但加利福尼亚州毕竟是人口最多的州,所以这个结果或许是合理的,可以继续
- 好了,我现在有了我需要的所有信息
- 写下:“加利福尼亚州的人口比53倍的……”
- 觉得好像不太好,删除重写成:“加利福尼亚州的人口是阿拉斯加州的53倍。”
- 嗯,觉得还不错

也就是说,当人类写作时,哪怕是这样一个简单的句子,可能内心实际上进行了大量的运算的。

但当我们用GPT进行写作这样的句子看起来会是什么样呢?

从GPT的角度看,这只是一系列的标记(Tokens)。当GPT在接收到一个输入,比如你给出的主题。它会生成一段与输入相关的文本,GPT的目标是预测下一个词,所以它会连续生成一串词,形成一段连贯的文本。

从本质上看,Transformer只是标记模拟器,它不知道自己知道什么不知道什么,它不知道自己擅长什么或不擅长什么,它只是尽力生成下一个标记,它也不会进行反思,也不会不进行任何合理性检查。它不会纠正自己的错误,它只是产生抽样的标记序列,它没有像人类那样的内心独白流。

但是,GPT有一些优势,如它们拥有大量的基于事实的知识,并且拥有相对大的并且完美的工作记忆。GPT通过自我注意力机制,能立即获取到上下文窗口中的信息,从而进行无损记忆。然而,GPT在推理和判断方面的能力相对较弱,如果提出的问题需要更复杂的推理,单凭一个标记的信息,GPT往往无法给出正确的答案。

一些技巧可以提升GPT的表现,比如Cot(Chain of Though)设定步骤来引导GPT展示其工作过程,或者通过多次抽样然后选择最佳结果等,或者可以让GPT检查自己的输出,比如询问它是否完成了任务,最好是在Prompt中明确的要求它检查自己的输出。

后面还介绍了目前比较流行的GPT应用,比如Agent、Plugin、CoT、Embedding等

最后他用GPT-4写了一个结尾:
“女士们,先生们,2023年Microsoft Build的创新者和先驱者们,欢迎来到这个独一无二的卓越人才的集结地。你们是未来的架构师,是塑造数字领域的视野家,在那里人类繁荣发展。拥抱科技的无限可能,让你的想法飞得和你的想象力一样高。让我们一起创造一个更连通,更出色,更包容的世界,为未来的世代留下。准备好释放你的创造力,探索未知,把梦想变成现实。你的旅程今天开始。”

原始视频地址:
build.microsoft.com/en-US/sessions…

YouTube地址:https://youtu.be/YrBJiy-V8MY

https://twitter.com/dotey/status/1662603594799935489?s=19
#工程师学习 看到一个很基础的英语学习手册「OGDEN's BASIC ENGLISH」,用于极度简化你的英语学习和日常使用,作者发现牛津字典中2.5w单词中90%的概念可以用850个单词来实现,同时使用规则与完整的英语一样,让使用者可以使用简单且完美的英语进行正常沟通,思路很不错。
🤖 ogden.basic-english.org

https://twitter.com/HiTw93/status/1662610888535207937?s=19
10年前,小米的市值是450亿美元;是特斯拉和英伟达的总和。10年过去了,小米的市值下降到335亿美元,而特斯拉和英伟达的市值分别到了6100亿美元和9600亿美元。大概是小米市值的20倍和30倍。做不到主权自主,做不到自研芯片与系统,这是中国能在这个领域,吃到这口饭的最高天花板了,小米、OPPO、VIVO三家被人为封了顶。
https://twitter.com/AsiaFinance/status/1662787959576473600?s=19
近日蛋疼新聞
印度某官員為了拿到他的智能手機抽乾了一整個水庫!

食品檢查員 Rajesh Vishwas 在與朋友野餐自拍時不慎將他的手機掉入水中。
附近村莊的幾名居民應這位官員的要求潛入水中,但找了兩天也找不到他的手機。於是這位官員租用了兩台水泵,從水庫中抽走了超過 200 萬升的水。電話果然找到了,衹是它潛水太久已經無法開機。
當地政府表示,他們沒有批准這次抽水行動,儘管該官員聲稱已獲得水利部的「口頭許可」,該官員已經被停職。
https://twitter.com/remonwangxt/status/1662824350255398912?s=19
只有被“关卡检查员”海马体判定为“必要”的信息,才会顺利通过“关卡”,获得成为长期记忆的资格。通常来说,这样的审查最短也需要一个月,而且审查标准非常严格,除了极个别的情况以外,一般不会一次性通过。

那么,什么样的信息能比较容易地通过海马体的审查呢?是会在明天考试中出现的英语单词,还是古罗马皇帝的名字呢?

很可惜,这些都不容易通过审查。海马体的审查标准是“该信息对生存而言,是否不可或缺”。

对于考试迫在眉睫却记不住单词的我们来说,这些英语单词比任何信息都重要。但海马体可不这么认为,只会残酷地裁断为:“一两个英语单词记不住不会导致生命危险,所以不予通过。”进而不会授予单词信息从短期记忆复制到长期记忆的许可证。实际上,那 些大家在学校里必须记住的知识,基本上都不会被海马体判定为“对生存不可或缺的信息”。

这其实也是理所当然的。请大家仔细地想一想,诸如“吃了腐败变质的食物会引起食物中毒”“石头砸向脑袋时如果不避开就会受伤”这类信息,和“苏格拉底于公元 前 399 年去世”这类教科书上的知识相比,哪些才是关乎性命的重要信息呢? 人本身也是动物,有着生存的本能。对于动物来说,所谓“学习”就是指牢记在险境中获得的经验以避免再次遇到同样的危险,进而越来越适应周围环境的过程。

#考试脑科学 #脑科学的高效记忆法
相信大家已经了解了复习的重要性。但是,“复习”二字说起来容易,做起来却不简单,盲目复习是没有效率的。在此,就让我为大家讲解一下复习时需要注意的三点吧。

第一点是关于复习的时机问题,即在什么时候复习比较好 。究竟间隔多久进行复习才能取得最好的效果呢?

我们利用之前的音节记忆实验来测试一下就能知道答案了。如果第 1 次和第 2 次学习之间间隔 1 个月以上,那么记忆力是得不到提高的。也就是说,潜在记忆的保存时间只有 1 个月左右,如果不在 1 个月以内复习学到的知识,潜在记忆就无法发挥作用了。所以,并不是在任何时候复习都有效果,大家最迟也要在 1 个月以内就开始复习。

为什么那些无意识的记忆有“保质期”呢?答案的关键还是在于海马体。海马体是 对进入人脑中的信息进行审查的工厂。信息的种类不同,能停留在这家工厂的时间也有长有短,短的大概只有 1 个月左右。海马体会在 1 个月内分类整理这些信息,判定哪些是应该进入大脑皮质的必要信息。

因此,那些间隔了 1 个月甚至更久的时间才去复习的知识,对于海马体来说和新学习的知识并没有什么不同。相反,如果在 1 个月以内多次复习相同的知识,海马体就会产生错觉,做出判断:“短短 1 个月内竟然看到了这么多次!这一定是非常重要的信息吧 。”

另外,在首次复习中输送进海马体的信息越多,成功“欺骗”海马体的可能性就越大。也就是说,在复习时也要像初次学习那样用功,不仅要用眼看,还要动笔写、出声读,尽可能地调动自己的感官。这样一来,通过视觉、听觉、触觉等传达的信息都会对 刺激海马体起到积极作用。

结合海马体的性质,我建议大家按照如下计划展开复习。
第 1 次复习:学习后的第 2 天
第 2 次复习:第 1 次复习 1 周后
第 3 次复习:第 2 次复习 2 周后
第 4 次复习:第 3 次复习 1 个月后

以上计划将复习分为 4 次,每次复习之间都存在一定的时间差,整个计划在约两个月内完成。通过这样的复习方法,海马体会将信息判定为必要信息,并允许它们进入大脑皮质。我认为这样做 足以达到高效复习的目的,没有必要再复习更多次。

肌肉锻炼也是如此。为了练出肌肉,我们没有必要每天都去举哑铃,其实两天练一次就足够了,效果是一样的。同理,复习计划安排得再满,它对最终的学习效果也不会产生任何影响,只是会让复习的人劳心劳力罢了。

'''最不擅长利用时间的人,最爱抱怨时间不够用。 ——拉布吕耶尔(作家) '''

与其把时间浪费在不必要的复习上,还不如去学习其他的新知识。

#脑科学的高效记忆法 #考试脑科学 #复习的方法
作为一个亿万富翁,川普整天挂在嘴边的却是食品价格,花钱也很抠门,退出巴黎气候协定、联合国教科文组织避免交会费。而拜登这种苦出身却满嘴的绿色新政、和平、未来等各种看似美好实则无法感知的大词汇,花钱更是大笔一挥眼都不眨一下。我甚至产生了拜登才是那个含着金汤匙出生的地主家孩子的错觉。
https://twitter.com/Ethanlovegod/status/1662992560485269504?s=35
This media is not supported in your browser
VIEW IN TELEGRAM
电丸科技AK(张宇峰):台湾护照根本不是护照,是旅行文件。时间线清楚了:张宇峰曾在美国呆了很多年➡️结果依然没绿卡➡️回国创业失败➡️再次申请美国签证➡️拒签➡️油管开骂美国。他自己前几年以为中国要超越美国了,才回的国。结果回国后创业直接失败了,亏了一屁股债。然后才想靠做油管来赚钱。依然坚定认定东升西降,骂不用翻墙的台湾人是狗。据说还搞赴美咨询。简直脑洞大开?
https://twitter.com/AsiaFinance/status/1662859305891270656?s=19
想减少为产生 LTP 而重复刺激海马体神经元的次数,第一个秘诀就是只有在某种特殊的脑电波出现时才刺激海马体。

提到脑电波,大家可能最先想到的就是α波和β波吧,毕竟电视节目和杂志上经常出现“当 人处于放松状态时,人脑中就会产生α波”的说法。

不过,我们在这里要说的并不是α波和β波,而是一种叫作“θ波”的脑电波,它的频率比α波和β波都要低。也许大家第一次听说这种脑电波,但是对于记忆来说,它可以说是最重要的一种脑电波了。

θ波是“好奇心”的象征。当我们第一次见到某种事物,或者第一次踏入某个地方时,脑中就会自然而然地产生θ波。换句话说,当人对什么东西感兴趣而打开好奇心之门,处于紧张、兴奋或者期待的状态时,θ波就会出现;相反,当对千篇一律的事物感到厌 烦、丧失兴趣的时候,θ波就会消失。

有趣的是,当θ波出现时,即使刺激的次数很少,海马体中也能产生 LTP4。如果刺激得当,那么重复刺激的次数甚至可能减少 80%~90%。也就是说,只要给予原来 1/10 次数的刺激就能得到同样的效果。 4 Huerta, P. T. & Lisman, J. E. Heightened synaptic plasticity of hippocampal CA1 neurons during a cholinergically induced rhythmic state. Nature 364, 723-725 (1993).

从以上事实可以看出,如果是自己感兴趣的内容,那么即使 复习的次数很少也能记住。确实,与短板科目的知识相比,我们很容易就能记住自己感兴趣的对象,比如喜欢的歌手组合的成员的名字,或者喜欢的运动员的名字。这种记忆力增强的效果很有可能就是由θ波造成的。

由 LTP 的这个性质可知,我们对自己想要记住的内容抱有多大的兴趣,这一点是非常重要的。也就是说,如果我们觉得学习很无聊,那么最后就会在无形中增加很多次复习的次数,这样反而是浪费时间。

'''正如明明没有食欲却去吃东西会对健康不利,如果 没有兴趣还去学习则有损记忆。 ——达·芬奇(艺术家) '''

如果觉得今天不在状态,怎么都提不起对学习的兴趣,那就稍微休息一会儿再试试吧。或者干脆早点睡觉,养精蓄锐以便明日再战。

不过,也许有人觉得学习本来就没什么意思,要是这么想可就大错 特错了。虽说考试绝对算不上是什么令人高兴的事,但是如果不去想考试的话,那么无论哪门学科都应该有让人感兴趣的部分才对。

我相信,世间万物自有其深奥之处。人们常说“百谈莫若一试”,很多事如果只用眼睛观察是判断不出有趣与否的,必须亲自尝 试后才能发现其中的乐趣,而且了解得越多就越能体会到其中的有趣之处。

'''人们受到的教育越多,好奇心就越强。 ——卢梭(启蒙思想家) '''

因此,如果大家经常把“好无聊啊”这句话挂在嘴边,就相当于向世人宣告自己是一个无知的人。学习也是如此。即 使在刚开始时感到无聊,也请大家稍做忍耐,坚持学习下去吧,只要坚持住就一定能发现学习的有趣之处。到那时,我们的脑中自然就会出现θ波了。

畅销书作家韦恩·戴尔 5 曾这样说:“一个人在早上醒来后,首先想到的是‘很好,新的一天开始了’, 还是‘哎,怎么又要起床了’,完全取决于他的心态。”确实如此。学习也和心情有关,我们要像孩子一样,无论在何时都应该保持一颗易受感动的心。包含好奇心和憧憬心的“童心”,正是促使θ波出现的重要因素。

'''5 自我实现领域的知名国际作家和演说家,著有多部畅销书,其中影响最大、最为成功的一本名为《你的误区》,是长销不衰的经典之作。———译者注'''
#脑科学的高效记忆法 #考试脑科学 #兴趣 与 #长期记忆
美国银行分析师称必应和ChatGPT流量都在下降,而谷歌仍然拥有巨大优势。

全文链接:ourl.co/98892

美银策略师分享了一些数据:

- 谷歌搜索日均访问量达3.7~4.2亿次
- 微软必应日均访问量环比下降11%至3890万次
- ChatGPT日均访问量环比下降5%至6240万次
- 谷歌Bard日均访问量环比增长300%至660万次

美银策略师认为谷歌靠着搜索仍然有巨大优势,而ChatGPT流量已经趋于平缓,Bing搜索比较惨,流量来的快跌的也快。

策略师认为至少目前没有证据表明ChatGPT正在影响谷歌搜索流量,而靠着后续搜索服务为Bard导流,Bard使用量还会继续大增。
https://twitter.com/landiantech/status/1663064052711690240?s=19
This media is not supported in your browser
VIEW IN TELEGRAM
——“人口负增长的哲学涵义是什么?”

——“在一个没有饥荒,大规模瘟疫和战争的社会里,人口的自然下降其实是一个细思恐极的事情,因为这代表了在“人生是否值得去经历”这个终极哲学问题上,这个社会所创造的生活让参与其中的大多数人选择了否定。” https://t.co/qSY2sfeWqd
湘女 @bqB9Ml6aFloKS2F
Download By @awemebot
再发一次,美国Lululemon的两位女员工因为报警抓小偷被解雇
https://twitter.com/remonwangxt/status/1662999902841110529?s=19
Only in America: Two employees fired for calling the police on thieves.

A Lululemon in Atlanta was being robbed, and after being robbed multiple times already recently the Manager and an employee decided to follow them and get their license plat and call the police. Thanks to them the thieves were captured.

The two employees were fired by Lululemon because they have a zero tolerance policy. What is happening to this country?
https://twitter.com/Travis_in_Flint/status/1662983669282140164?s=19