非典型产品经理笔记

V1

2022/12/11阅读:48主题:极客黑

#40 AI-001-火爆全网的聊天机器人ChatGPT能做什么

#40 AI-001-火爆全网的聊天机器人ChatGPT能做什么

目录

0、 前言

11月30日,OpenAI推出了一个名为ChatGPT的AI聊天机器人,可以供公众免费测试,短短几天就火爆全网

从头条、公众号上多个宣传来看,它既能写代码、查BUG,还能写小说、写游戏策划,包括向学校写申请书等,貌似无所不能。

本着科(好)学(奇)的精神,抽了一些时间对ChatGPT进行了了测试验证,并且**梳理了一下ChatGPT为什么能这么"强"**。

最终,关于ChatGPT本次会分为两篇

《AI-001-火爆全网的聊天机器人ChatGPT能做什么》

《AI-002-理解ChatGPT的技术逻辑及演进》

由于笔者并没有专业学过AI,所以短时间内就不会再有AI-003类似更深入到技术的篇章了,了解 001、002就已经超出普通吃瓜群众的范畴了。

1、ChatGPT的"长项"

先列举一些ChatGPT的"长项",也就是做得比较好的内容。虽然并不意味着ChatGPT在这些领域都是专家,而是ChatGPT会显著超出过往那些更像是"弱智"的往界NLP-AI

1.1、设计剧情游戏

设计一个剧情游戏吧,主角叫罗小旺,剧情要跌宕起伏,最后通过智慧拿到了传奇装备,打赢了大BOSS。讲得细致一些,希望能超过3000字

1.2、做一个活动策划

A公司是一个连锁蛋糕店,圣诞节马上到了,希望做一个活动策划,能以较少的预算,在城市内邀请到更多的新客户进行采购,可以给新客户相应的活动优惠,以及给老客户一些邀请激励。现在A公司让小明来制定这个活动策划,希望你能帮小明制定完成这个策划

假设A公司的平均客单价为20元,每日销售为1万份。现在公司计划出5万元进行该活动策划,能具体描述下应该如何设计吗?给点灵感

1.3、帮忙写一段代码

希望能写一段代码,能够遍历腾讯云的虚拟主机并打印出来。开发语言为golang

1.3.1、给代码解决编译问题

将上面的代码复制出来 ,发现无法编译通过。于是直接问

你前面提供的简单示例代码,无法编译通过

结果发现chatGPT的上下文还是能关联上的。

1.3.2、继续解决编译问题

修改上面后,仍然报错。

于是将报错语句放进去,cvm.NewClient的参数不对。

接着,ChatGPT收到后貌似是认识到了错误,于是提供了新的代码(未全截图)

1.3.3、遗留的编译问题

显然对于一些稍复杂的内容,ChatGPT也不能保证其必然的正确性(从002中,我们会认识到这和它的技术逻辑有关)。

最终还会有下述错误undeclared name:cvm ,这里通过多种方式和ChatGPT沟通,它都无法理解正确的方案。

1.3.4、笔者修复编译bug,运行成功

最终笔者手动解决了cvm的问题,编译并运行成功。

1.3.5、笔记按:过了2天重试之后,发现ChatGPT更新了答案

最新的答案已经可以直接编译通过,没有报错了。cvm错误也如下图红框处进行处理。

1.4、帮忙写作

1.4.1、提供公众号思路

1.4.2、公众号提纲和结尾

1.5、设计广告

1.6、制定学习思路

1.6.1、如果想成为机器学习专家,我应如何学习机器学习?

1.6.2、要求列举具体书单

2、ChatGPT的"短板"

从上面可以知道,如果一些没有唯一标准答案,可以按逻辑进行一定编造的问题,ChatGPT其实讲得似模似样的几率还挺高的。

ChatGPT容易出错的场景,反而可能是一些简单的问题。

2.1、古诗出处

2.1.1、一句错误的诗句,ChatGPT会怎么回答呢?

发现错误的诗句,竟然也一本正经地回答了。

2.1.2、修改为正确的诗句 ,重新问

看这回答,有没有感觉像是一个 记忆错乱的人

2.1.3、深挖原文出处

于是我对于ChatGPT所说的《长相思.其一》有了极大的好奇心,它到底长啥样呢?

真是一首神奇的诗,怎么看都多首诗的杂合体

咋看都觉得是ChatGPT在训练的时候,学习资料里被下毒了。。

2.2、鸡兔同笼典型问题

2.2.1、鸡兔同笼,一本正经地算错了。。

鸡兔同笼,数头一共20个,数脚一共56只,请问鸡兔各几只?

一顿操作猛如虎,结果答案明显算错了。。8只鸡,12只兔子会有64只脚,明显不对。

2.2.2、重新尝试一下

2.3、年龄问题

2.3.1、小明到底几岁呢?

小明爸爸和小明加起来37岁。3年后,小明爸爸比小明大21岁。请问小明今年几岁?请给出计算过程

2.3.2、再问一次,小明5年后几岁?

小明爸爸和小明加起来37岁。3年后,小明爸爸比小明大21岁。请问小明5年后几岁?请给出计算过程

3、用魔法打败魔法?

从上面1、2我们可以发现,ChatGPT的长处是生成看上去貌似正确的文本,但是并不负责文本的正确性

那么这就引发了一个问题,如果某个问题是ChatGPT生成的,就有可能会出现:

引经据典,但是大量错误

怎么办呢? 用魔法打败魔法

3.1、如何识别ChatGPT生成的答案?

3.2、如何检测一段文本是否是 ChatGPT 等 AI 生成的?

这是一个v2ex上一个较为火热的问题,https://www.v2ex.com/t/900403 《如何检测一段文本是否是 ChatGPT 等 AI 生成的?》

再回看一下v2ex社区里其中一个贴子(见下图),估计就是当时由ChatGPT回答的。。

4、小结

总的来说,ChatGPT确实是实现了一个巨大的效果进步,很是惊艳。

从短期来看,我们不用过度神化ChatGPT的能力,它还是有明显短板,答案也并不总是正确,甚至有时会一本正经地胡说八道,给出错误的答案,产生误导

但是从中长期来看,我们也要对NLP-AI的发展充满信心,或许从今年开始,Chat系列就会大行其道,再过一些年,也许真正可用的个人语音助理就有可能诞生。

欢迎关注同名微信公众号

分类:

人工智能

标签:

自然语言处理

作者介绍

非典型产品经理笔记
V1