首页 > 资讯 > 识林向导“面试”AI小助手

出自识林

2023-12-16

识林向导@贰雯：“你呀很聪明，但有时也很笨！不过确实，你是新人，我也该帮帮你...”

选问题

我选中提问识林AI的社区问题是：【产品加速考察时，数据出现不合格如何处理？长期考察没有问题。】

看问题

当然其实这个问题已经得到了部分向导老师们的回复，在我询问识林AI前，我先拜读了一下已有老师们回复的内容，其实保持赞同态度，包括Sumei老师说的“加速试验失败，可以做中间条件的稳定性试验，药典有具体的要求。”，以及任刁刁老师也提到“按《中国药典四部9001原料药和制剂稳定性试验指导原则》可以进行中间条件稳定性试验”等等。

那在此时我设想的识林AI的答复，应该是类似的…吧？

但…还真不是。

首次提问

我首次提问选择直接将问题不做任何修饰，即【产品加速考察时，数据出现不合格如何处理？长期考察没有问题。】“投喂”给识林AI，得到以下回答：

这时候我发现，就还…挺有意思的，但为方便读者理解我以下的行文思路和最后的总结，先说一个大前提，我是一名注册，工作背景主要在研发方面，做过仿制药也做过创新药的注册，至于为啥说这个前提？卖个小关。

AI回复的第一段

在产品加速考察时，如果数据出现不合格，应立即停止试验并详细记录下所有相关信息。然后，需要对不合格的原因进行深入调查，可能的原因包括试验条件的变化、样品的质量问题等。

个人感受：

“数据不合格，立刻停止试验”，这一条我存疑，在我曾经经历的实操里，在产品的研发阶段，如果有不合格的加速数据出现，往往不会立刻停止试验，可能会选择继续进行，收集相关研究数据，探寻产品质量变化的情况，这点我有点不太苟同AI。

“并详细记录下所有相关信息，并对不合格原因进行深入调查”，这个非常合理且非常认可。

AI回复的第二段

一旦找出了不合格的原因，就需要采取相应的纠正和预防措施。例如，如果是由于试验条件的变化导致的，那么可能需要重新设置试验条件；如果是由于样品的质量问题，那么可能需要更换样品或者改进生产流程。

个人感受：

“一旦找出了不合格的原因，就需要采取相应的纠正和预防措施”，稍微认可一点，但也有点不同意，因为研发过程中的加速试验的目的，按照ICH Q1A的定义：

“加速试验（Accelerated Testing）

加速试验是通过使用超常的贮藏条件来加速原料药或制剂的化学降解或物理变化。它是正式的稳定性研究的一部分。

除了长期稳定性研究外，从这些研究中得到的数据也可以评估在非加速条件下更长时间内的化学变化以及评价在短期偏离标签上所注明的贮藏条件，如运输过程中可能遇到的情况时的影响，加速试验研究的结果有时不能预示物理变化。”

也就是我认为加速的“不合格”并不是一个“错误”的事情，并不是“纠正”，特别是新药研发中，它在一定程度上体现的是产品在某个条件下的客观状态（当然前提排除人为干扰的因素），提示研发者优化运输过程的贮藏等等。

“重新设置试验条件”，这个可以勉强和ChP中提到的开展中间条件稳定性试验搭上。

“如果是由于样品的质量问题，那么可能需要更换样品或者改进生产流程”，老实说，比较理想，不是大多企业会选择的方式，费钱费人费时间，但也勉强算一种解决方式。但对于一个新药，新药的质量标准也是研发过程中被探寻的，以及可能被修改的，那在目前的标准下的“不合格”，但是真的“不合格”吗？

对这段回答，还是稍微还是有点不太满意。

AI回复的第三段

同时，还需要对这次不合格的情况进行详细的报告，并将报告提交给相关的质量管理部门。这样，他们可以根据报告的内容来决定是否需要对产品进行进一步的测试或者调整产品的有效期。

个人感受：

“对这次不合格的情况进行详细的报告，并将报告提交给相关的质量管理部门。”

等等…“质量管理部门”？当这句话出来的时候，我好像有一丝顿悟，我发现好像我思考的逻辑，好像同AI给答案时候的逻辑并不一致？或者说本质是看待问题的角度不同。

AI好像在回复我，在GMP体系下，一个QC在遇到加速稳定性不合格时候，该怎么处理。但我因为个人工作的背景等，我下意识代入了一个问题的背景，仿制药/新药研发过程中，如果出现研究阶段的加速不合格，如何处理。

于是我转换思维逻辑，发现AI的回答，其实并没有什么问题。

同时发现，这个问题已有的回复下，各位向导老师的思维逻辑，好像跟我也是一样的，哈哈哈。

再次提问

我重新思考，为什么会出现这样的情况。

最后我觉得是这个问题，它问的“太简单”了。没有阐述问题的背景，所以看问题的人/AI，会代入自己的主观想法，类似我一样套了一个自己工作中可能出现的背景信息，然后主观的答了一通，然后开始“批评”AI的回答。

Ok，那试试加点问题背景再提问AI。

这次问的是【研发阶段，产品加速考察时，数据出现不合格如何处理？长期考察没有问题】，回答如下：

说实话，也不是特满意，为什么一直提“重新加工”？是我没明确，是制剂还是原料？那再改改提问的问题。

三次提问

第三次问AI，这次问的是【创新药，制剂产品加速考察时，数据出现不合格如何处理？长期考察没有问题】，回答如下：

Ok，舒服了，作为一个搞创新药的RA，我终于对AI给的回答满意了点。

总结

优：

（1）    不得不说回答的还是比较专业的，没“瞎说”，法规的链接也比较有代表性（不过因为时间关系，还没来得及查阅法规链接是否全面）；

（2）    拓宽了个人思维是真的，因为待一个岗位久了，思维是容易固化的，但AI不会，它随时可以代入其他思维逻辑，既然它的回答能让我自省，那它也可以成为训练我的思维一个工具。

劣：

为了从AI获得更符合提问人“想要”的答案，可能需要尽量提供给AI，问题的一些背景。在我看来，AI很聪明但也很“笨”，聪明在某个方向上的全知，但一旦方向同提问人不一致的时候，就显得“笨”。

那识林AI在接收问题的时候，是否需要去“反向训练”提问人，要求提供一些问题背景？比如设置一些非必选的选项框，让提问人告知AI，想问的是新药？还是仿药？问的是已上市产品？还是研发阶段产品？问的是哪个岗位相关的问题？

换个角度想想，当自己被别人问问题的时候，是不是也是需要对方提供更多的问题背景，以方便自己答复。

我觉得这是一个AI和提问人互相训练和提升的过程，关于“怎么问”和“怎么答”的双向提升。

识林向导@白Bai：“确实能帮上忙，但也只能是帮忙。另外，有理有据很好，但能不能再具体点呢？”

问题：药瓶塞的棉花，国内和美国FDA各有什么要求。

回答：

中国法规对药用包材内的棉花的标准目前没有明确的法规规定。根据药典会中国药典2020年版第四部药用辅料和药包材标准体系概述，我国药典药包材标准还在起步阶段，国家药典委员会特别设立专项课题“药包材的标准体系规划和体例规范”进行研究，其是基于“借鉴国内外经验，立足我国国庆，国家标准保基本”的总体原则。所以可以理解为国内没明确标准的情况下可参考国际的标准，鉴于你也问了美国的标准，所以可考虑全部都参考美国的法规。

美国法规可直接参考USP〈670〉AUXILIARY PACKAGING COMPONENTS 组件下的Cotton Pharmaceutical Coil，指的就是你问的塞在瓶子中的那种棉花

另外，根据指南FDA Guidance for Industry Container Closure Systems for Packaging Human Drugs and Biologics还应注意以下几点：

心得：

用助手I问了几次，结果都不是很理想，比较宽泛。

后来换了助手II，并点击左侧“+新对话”，并且使用自己的方式问了一下。效果就好多了。不过可以看到，对中国法规方面的回答会比美国的要智能。美国的这个问答已经是我调整了几次询问方向以后问出来的。且最后还是我自己查的USP才查到。

总结了以下几点更好的使用识林AI助手的经验：

1. 你需要对这个知识点稍微比较了解，对于完全不了解的领域，先做一些背景调查再去问AI问题。特别是一些行业关键词、法规关键词要说的准确。

2. 当助手I不行时，换助手II。

3. 问题总也问不好，可能是AI默认了根据上下文进行回复。此时应点击开启新的对话。

4. 复杂的问题要自己进行拆分，问题问的越细越直接，会得到更快的回复。

5. AI答复的正文内容可能没法用，但是可以看看它提供的参考法规、文章，可能就可以找到自己想要的答案。

6. 很多时候AI没法得出靠谱结论或者建议，用来当搜索工具会比较好，最后还是得自己整合资料。

吐槽：

• 针对这个问题来看AI助手能给出的帮助比较有限，正文回复基本上用不到，是我自己根据它给的参考法规点进去搜关键词才能找到。

• 总体感觉答复中国法规的内容会比美国法规的更好一些。

• USP识林好像是没有，所以没法直接引用USP章节。我是自己去查的USP。

• 希望AI助手不要只给参考文献，如果能具体到哪一页或者哪一章那一段会更好，经常发现它给的参考文献，但你也不知道它的结论是具体哪里来的，没办法查证。

识林向导@暗黑使者：“看看别人家的孩子...你嘛，凡事有理有据挺不错，但有些教条，而且听人说话注意力一定要更集中啊！”

第一回合

识林AI：

百川：

第一次提问对比，识林第一句所答非所问，第二句还回答错了，过于武断，后面最后一句属于套话。一般这种科学问题，AI难度比较大。当然可圈可点的是识林的参考和延伸，非常赞。

第二回合

识林AI

百川

第二问明显感觉识林AI的回答拼凑意思明显，可能是基于参考文献的缘故，但是最后一句和百川模型基本差不多。

第三回合

识林AI

百川

第三问两个回答基本一致，因为前面提到的是外用制剂，后面提问时肯定考虑其他给药途径应该都较外用给药更加严格，所以可能才会有上面的回答结果。但是这其实是不准确的，有很多例外的。

第四回合

识林AI

百川

这一次感觉识林和百川整体相近，识林略更好一点。

第五回合

识林AI

百川

感觉这问题有点断档，没有接着上面问题回答，识林AI有些离谱了。

最后一问

识林AI

百川

后面两个问题识林AI出现断档问题，而百川回答还是比较准确的。

通过这几次提问的比对，识林目前接入的模型相对偏弱一点，另外对自身数据的依赖性较高，回答也比较机械，只能照搬自身数据的原话，转化能力欠缺。另外，对于题目的理解，也没有到位，感觉所答非所问比较多。还有出现断档，这个问题最为突出。当然比较优秀地方也是有的，比如关于出处和延伸，这个功能很好，不但能提高大家对知识完整的了解，从背景去考虑回答的是否正确，也可以对网站起到宣传作用。这会使大家对知识点进行链接。

因此，建议回答问题的参考范围需要扩大，需要对现有数据库内容及时更新和与外界数据合并。断档和理解力可能和接入模型的设置或者能力相关，需要考虑接入模型的合适程度。当然这种科学问题，AI回答应该是弱项，目前回答还算凑合。希望以后试一试法规相关政策的检索，会应该是AI的强项。另外我们识林临床部分好像确实关注较少，GMP问题相关较多，不知道是否是不是这个原因。还需要很多合适的向导回答更多的问题，补充相关数据以提高调研成功率。

祝识林越来越好。

识林向导@淡淡：“看看别人家外国孩子...你蛮接地气，但视野还是要广泛一些才好！”

问题一：哪些产品是使用研究者发起的临床研究进行上市注册成功

识林AI回答版：

Copilot Precise Mode:

吐槽：该问题是关于实例的问题，好处在于识林AI并未根据问题进行杜撰答案（胡说八道），对比Copilot Precise模式下的答案，识林AI答案缺少更为全面的案例答案，搜索的数据库也较为有限，Copilot是基于微软的bing搜索引擎与OpenAI结合给出的答案，搜索的数据库更为强大，但是答案仍然有改进之处，例如只列举了FDA的数据，未列举NMPA和PMDA的数据，并且准确性也有待考证，只能作为初步的参考，在实际工作中的报告仍需在此基础上进行确证和加工。

问题二：在中国，对于研究者发起的临床研究有哪些法律法规及操作进行监管和规范的？

识林AI回答版：

Copilot Precise Mode:

吐槽：对于该问题，识林AI的答案更为准确，列举出来了所有中国监管IIT的法律法规和操作指南，另外还列举了行业共识，对比起来copilot就答非所问了，但是识林AI的答案有进一步的空间，问题问了关于IIT的法律法规，如果在列举出来法律法规的同时可以把IIT相关的条款列举出来就更加完善了。（好像一个老板对员工的要求，总是“得寸进尺”哈哈哈）

问题三：临床试验由注册临床转为研究者发起的临床研究需要哪些操作步骤？

识林AI回答版：

Copilot Precise Mode:

吐槽：该问题对于AI来说确实有点为难，这是中国政府两个机构管辖的事项，但是识林AI回答得已经非常完善了，非常全面的步骤并且有理有据，看起来十分可信符合逻辑，但是这个回答是日本监管的步骤，并不完全适用于中国和其他国家，因此答案仍有可以更加准确的改进空间。如果不仔细阅读有可能会误导使用者。

识林向导@南瓜：“跟老大哥比起来，还是嫩了不少。”

从识林社区选取问题“基准记录(primary record)的概念在MHRA 2018版GxP DI指南中已删除，这一概念或做法是否依然可用？”这一问题识林AI搜索中进行提问。

首先使用未改动的原问题进行提问，发现识林AI并未理解问题或者搜索到问题的答案。

为避免歧义，第二次只保留的英文原文的“Primary Record”进行提问，这次识林AI似乎听懂了问题，这也提示在提问法1规相关问题时可能使用原文会比中文更好。并且说在其它法规中仍保留了“Primary Record”相关定义。

对识林AI继续追问，把它逼到墙角，你说的其它文档是什么？但是识林AI的回复出人意料，你不知道也不能“瞎说”啊！

为了进一步澄清问题，将缩写改为了指南的全称，似乎没有什么改善

于是打算引导识林AI往这一术语已被其它概念替代的思路上去，但是它好像并没有理解。

根据社区答案告诉识林AI可能的“答案”，它好像还是无动于衷。

重新提出最初的社区原问题，再次发问识林AI，它好像突然开窍了，提到了“原始数据”这一概念与基准记录可能的相关性，虽然回答还不是很让人满意，但比第一次提问时的不知所措强多了。看来识林AI是需要训练的，但是往往真实提问的人可能并不能给予识林AI这样的帮助。

下面使用上述同样的问题在ChatGPT免费版中进行测试：

首先也是使用社区原问题进行提问，发现Chatgpt在第一次提问时的回答感觉是更加理解提问者的意图，但同时也比较“圆滑”。

同样更改提问方式，但是除了提到删除术语可能是为了消除混淆或使术语更加清晰，其余答案似乎与比上次没有明显改善。看来还是要引导一下它

这个回答可能没有非常准确，但是相比识林AI可能已经非常好了，看来ChatGPT归纳对比以及总结的能力还是很不错的。

对它进行质疑，ChatGPT似乎也是接受了，并给出了它的看法。那再试一次上次的提问会是什么样子？

这次的回答出人意料的好，几乎跟社区的老师回答已经很接近了。

1.   通过以上提问，识林AI搜索与ChatGPT相比，识林AI在提问可能对一些中英文术语转换以及英文缩写存在一定识别困难，因此导致无法完全理解问题。但提问者通过修饰问题本身的表述时，得到的回答质量会提升。但是仍存在一定的“瞎说”成分，继续追问时无法回答，并且下方所列参考链接并不是很关联。

2.   在使用ChatGPT时，还有一个功能忘记截图下来，就是有时提问会给你两个答案，你可以点击选择你比较喜欢的答案继续往下追问，这个也有助于得到提问者更想得到的回答，建议识林也可以增加该功能。

识林向导@jan86：“年轻人还行。不过呢，事情还是得咱们一起干才行！”

笔者在识林社区选取了一个感兴趣的问题：“恒温恒湿箱的最差点（监控探头）如何评估，采用何种计算方式”。（见下图）

之后通过“识林首页AI搜索/对话、识林AI对话”，试图寻找参考答案。具体提问、追问和训练AI的过程如下：

Step1：直接输入问题原文“恒温恒湿箱的最差点（监控探头）如何评估，采用何种计算方式”。得出的答案并不能令笔者满意。

• 吐槽点1：只回答了恒温恒湿箱的温度最差点的评估方法和计算方法，没有考虑和回答湿度最差点的评估和计算方法。

• 吐槽点2：未标明参考文献1-3的出处信息，仅显示出章节信息，容易引起混淆。笔者猜测可能是由于AI被设定为对来自于中国GMP指南（第一版）的信息不作标明出处的处理所造成的。

Step2：笔者假设AI可能并不完全理解“恒温恒湿箱”和“最差点”的定义，所以接着对这两个名词进行了追问。

Step3：接着笔者怀疑提问的话术可能也会影响AI的回答，所以参考“识林AI搜索”已有的问答话术，换了一种提问的说法，问题调整为“如何评估出恒温恒湿箱的最差点？”。这次得到了较为满意的答案。

吐槽点3：重新转换了提问的话术，答案比之前的要更准确。表明问题的提问方式对答案的准确性有一定的影响。

心得1：所以大家首先要确定AI能够完全理解问题中的各个术语的定义。

心得2：另外，大家要熟悉并掌握对AI提问的话术和技巧，已提高答案的准确度和符合度。

Step4：笔者继续变换提问方式，得出的答案是截止目前最完整的。这个答案首先科普了恒温恒湿箱的用途，有助于从未接触过恒温恒湿箱的读者进一步了解该设备的用途。之后又提供了恒温恒湿箱最差点的评估确定方法和流程，具有一定的参考价值和可操作性。

Step5：笔者杀了一个回马枪，将最初在Step1中提出的问题，采用追问模式继续问一遍，AI已基本能给出满意的答案，较第一次提问时给出的答案有了明显的进步。

Step6：最后结合笔者自身的经验，将答案进一步完善如下：

展望1：就本问题而言，如果AI能够根据自身所掌握的恒温恒湿箱最差点评估原则和计算方式，结合提问者提供的恒温恒湿箱的型号和尺寸等参数，形成一份带监控探头布点示意图的《恒温恒湿箱最差点位试验方案》，笔者认为将会更加满足提问者的需求。AI也可以进一步展现其画图的功能。

展望2：如果AI的数据来源能够进一步涵盖到与制药行业相关的国际标准、国家标准、行业标准等数据库，相信其给出的答案会更加专业和全面。

识林向导@亦心：“具体问题就把你问倒了啊！看来跟你合作不是问答，更应该是某种讨论才对。”

Q1及答案如下：

总体来说，Q1的回答还是比较满意的，确实没有设定依据，参照厂家比较可靠。但是参考的GMP指南2010的章节中“风速”关键词搜索仅两条，一条是URS中“风路设计合理，不同功能区风速变频可控或独立调节。风机耐温、低噪、润滑油无渗。”一条是“当层流风机风速低于规定值时能报警”，均与回答的相关性不大，故这个参考来源有待考虑。

追问“在确定隧道灭菌烘箱的风速时，需要考虑哪些因素？”（此问题为追问的提示问题），答案为：

点击“重答”后答案还是如上，槽点是有追问功能，也给了追问的问题选项，但是没有准备预备的答案（即使可能是错的答案），尝试修改其他问法，还是无法解决，可能真的涉及盲区了。

Q2：做灭菌后物品存储时间的验证，是每一种物品都要做储存时间验证？还是选择一种灭菌物品做存储时间就可以呢？

回答分两段，第一段要求每种物品都执行，第二段则可以选择一种进行。可以看出两段的内容是相背离的。此外，在参考文献第一条搜索“耐受性”一词，发现完全没有相关的。参考第二条亦同。回到问题本身，储存时限更相关的是微生物负载，耐受性这一词与题相关性不大。

点击追问

追问提示四个问题均与原题或原回答相关性较低，且灭菌后储存应该是在灭菌器外暂存，可能会误导为“灭菌后存储有效的前提是存储在灭菌器中”。

Q3同品种，清洁验证/确认的限度是如何制定的？

回答总体比较贴近问题，但是以下几个方面需要注意：回答1：不仅仅是“反应釜”；回答5提到了不同品种，与题不符了；回答6，两个产品应为两个批次。

综合来看，这个回答没有完全解决问题。

更改问题描述后追问：

追问的回答中对原问题的回答比较详细，可能是因为问题更加细化，使AI能更全面的了解问题。

这一轮面试结束了...气氛多少有点紧张。

识林AI小助手有许多缺点，有一些优点，但ta最大的优点就是：永不气馁。

Ta用了零点几个毫秒定了定神，思考了各位面试官的意见建议，就回去和识林的同事们一起探讨如何进步了。

请大家多多帮助ta，从而ta可以更好地帮助您。

识林^®版权所有，未经许可不得转载。