Auto-GPT 활용하여 자체 코드를 작성하고 스크립트를 실행하는 사례. 이를 통해 디버깅도 가능하다. GPT를 활용하는 프로젝트가 더욱 다양해질 것 같고, 이를 활용하는 아이디어도 고민해볼만 하지 않을까.

Report describes Apple’s “organizational dysfunction” and “lack of ambition” in AI
arstechnica, by Samuel Axon

언어모델이 주목받음에 따라 애플이 가지고 있는 조직의 보수성이 변화할것인지에 대해 이야기하는 기사. 애플의 경우 응답 시간의 단축, 개인정보의 보호를 위해 로컬 장치에서 인공지능과 머신러닝 기능을 실행시키는 입장을 가지고 있다.

실제로 더 인포메이션의 소식통에 따르면, 애플의 고위 경영진은 Siri와 같은 제품이 ChatGPT와 같은 당혹스러운 사실 오류나 불안정한 행동을 보이는 것을 두려워하여 회사 내 AI 그룹 내에서 공격적인 노력에 제동을 걸거나 최소한 자제하는 수많은 사례를 제시하고 있습니다. 다시 말해, Apple은 AI 연구 및 제품 개발 분야에서 일하는 많은 사람들이 “환각”이라고 부르는 것을 용납하지 않습니다.
예를 들어, Siri의 응답은 생성형이 아니라 사람이 작성하고 사람이 선별한 것입니다. Apple 경영진은 Siri 개발자가 최신 LLM 기반 챗봇에서 볼 수 있는 것처럼 음성 어시스턴트가 상세한 대화를 주고받는 것을 허용하는 것을 주저해 왔습니다. 이러한 대화는 유용성보다는 관심을 끌기 위한 것으로 여겨지며, Apple은 잘못된 답변에 대한 책임을 지게 될까 봐 걱정하고 있습니다.

보수적인 조직문화에 반발해서 일부 개발자가 떠나는 일들이 발생했다고 말한다.

Prompt engineering techniques

언어모델에서 좋은 결과물을 얻기 위해 프롬프트를 잘 쓰는 방법에 대해서 이야기가 많은데, 보다보면 이게 새로운 개발언어지 자연어인가 싶은 느낌이 들 때가 있다.

문단을 읽고 사실적 주장을 추출한 다음 검색 엔진 결과를 사용하여 사실을 확인합니다.
—
문단
John Smith는 Lucy Smith와 결혼했습니다. 그들은 다섯 자녀를 두고 있으며 그는 Microsoft에서 소프트웨어 엔지니어로 일하고 있습니다. 팩트체크를 하려면 어떤 검색어를 써야 할까요?
—
사실적 주장
– John Smith는 Lucy Smith와 결혼했습니다.
– John과 Lucy에게는 다섯 자녀가 있습니다.
– John은 Microsoft에서 소프트웨어 엔지니어로 일하고 있습니다.
—
다음은 위의 주장을 조사하기 위해 발행된 다양한 검색 쿼리입니다.
검색 쿼리
– John Smith는 결혼했습니다. Lucy Smith에게
– John Smith 자녀 수
– John Smith 소프트웨어 엔지니어 Microsoft
—
다음은 검색 결과의 일부입니다.
스니펫:
[1] … John Smith의 결혼식은 2012년 9월 25일이었습니다 …
[2] … John Smith는 그의 아내 Lucy와 함께 파티에 참석했습니다.
[3]John은 다음과 같은 축구 경기에 동행했습니다. 그의 두 딸과 세 아들
[4] … Microsoft에서 10년을 보낸 후 Smith는 자신의 스타트업인 Tailspin Toys를 설립했습니다.
[5] John M은 마을 대장장이이며 Fiona와 결혼했습니다. 그들에게는 Lucy라는 딸이 있습니다
. —
스니펫이 주어지면 위의 각 사실 주장을 사실 확인하십시오.

개발 언어 배우기보다 어려운게 사람과 커뮤니케이션하는 부분이라고 한 말이 생각난다.

A Photographer Tried to Get His Photos Removed from an AI Dataset. He Got an Invoice Instead.
Motherboard, by Chloe Xiang

독일의 한 스톡 사진작가가 AI 학습용 LAION 데이터 세트에서 자신의 사진을 삭제하려고 시도했는데 오히려 변호사는 부당한 저작권 청구로 979달러를 지불해야 한다는 답변을 받았다는 기사.

인공지능 학습과 저작권에 대한 논쟁이 점차 심해질 것이고, Zarya of the Dawn 같은 코믹스 저작권 관련 판결이 논쟁이 되기도 한 바 있다. 과연 어떤 방식의 접근이 좋은지 명확하게 판단하기는 어렵지만 Benedict Evans가 과거에 쓴 데이터에 관한 글 일부를 생각해볼만하다.

기술은 내러티브로 가득 차 있지만 가장 시끄러운 것 중 하나는 ‘데이터’라는 것입니다. AI는 미래입니다. 데이터에 관한 모든 것입니다. 데이터는 미래입니다. 우리는 그것을 소유하고 아마도 지불해야 하며 국가는 데이터 전략과 데이터 주권이 필요합니다. 데이터는 새로운 석유입니다! 이것은 대부분 넌센스입니다. ‘데이터’와 같은 것은 존재하지 않으며, 가치가 없으며 어쨌든 실제로 귀하의 소유가 아닙니다.

2017년 이코노미스트 컬럼은 데이터를 석유에 비유하며 자원으로 이야기했으나 데이터는 석유 같은 자원이 아니라는 이야기. 특정한 맥락에서 특정한 목적을 가지고 있을 때에만 가치를 가지기 때문에 석유와 같은 자원으로 비유하는 것은 적절하지 않다는 것이다(나도 과거에 데이터를 모을 때 같이 협업하던 분이 데이터가 아니라 거대한 쓰레기라는 말을 한 게 생각난다).

물론 일부 유형의 데이터에서 문제가 될 수 있는 부분들도 있으나, 우리가 이런 논의를 위해서는 어떤 종류의 데이터에 어떤 크레딧을 줄 수 있는지 분리해서 생각하는 것이 필요하지 않을지.

Professor Flunks All His Students After ChatGPT Falsely Claims It Wrote Their Papers
By Miles Klee

사건 경과가 어떻게 진행되고 진실인지 아닌지 여부를 이후에 별도로 확인하지는 않았지만, 그 이후 별다른 정정보도가 붙어있지 않아서 기록용으로 남기는 기사. 수업시간에도 언급한 바 있으나 기술에 대한 이해도로 인해 이상한 결론으로 이끌게 된 사례

그는 각 논문을 두 번씩 테스트했다고 말하며 “[ChatGPT]에 학생들의 답변을 복사하여 붙여넣으면 프로그램이 내용을 생성했는지 알려줍니다.”라고 썼습니다. 그는 이론적으로 졸업 자격에 위협이 될 수 있는 낙제점을 피하기 위해 학생들에게 보충 과제를 제안했습니다.
한 가지 문제가 있습니다. ChatGPT는 그런 식으로 작동하지 않습니다. 이 봇은 AI가 작성한 자료나 심지어 자체적으로 생성한 자료를 감지하도록 만들어지지 않았으며, 때때로 피해를 주는 잘못된 정보를 방출하는 것으로 알려져 있습니다. ChatGPT는 약간의 자극만 주면 범죄와 처벌과 같은 유명 소설의 구절을 작성했다고 주장하기도 합니다. 교육자는 학생들이 과제를 스스로 완료했는지 평가할 수 있는 다양하고 효과적인 AI 및 표절 감지 도구 중에서 선택할 수 있으며, 여기에는 Winston AI 및 Content at Scale이 포함됩니다. 그리고 봇이 작성한 텍스트인지 여부를 판별하는 OpenAI의 자체 도구는 기업에 기술 리소스를 추천하는 디지털 마케팅 대행사에 의해 “정확도가 떨어진다”는 평가를 받았습니다.[expand title=eng]

“I copy and paste your responses in [ChatGPT] and [it] will tell me if the program generated the content,” he wrote, saying he had tested each paper twice. He offered the class a makeup assignment to avoid the failing grade — which could otherwise, in theory, threaten their graduation status.
There’s just one problem: ChatGPT doesn’t work that way. The bot isn’t made to detect material composed by AI — or even material produced by itself — and is known to sometimes emit damaging misinformation. With very little prodding, ChatGPT will even claim to have written passages from famous novels such as Crime and Punishment. Educators can choose among a wide variety of effective AI and plagiarism detection tools to assess whether students have completed assignments themselves, including Winston AI and Content at Scale; ChatGPT is not among them. And OpenAI’s own tool for determining whether a text was written by a bot has been judged “not very accurate” by a digital marketing agency that recommends tech resources to businesses.[/expand]

The Ultimate Battle of Language Models: Lit-LLaMA vs GPT3.5 vs Bloom vs …

표가 길어서 보기 어려운 부분이 있기에 간략한 요약 결과만…

• 오픈 소스 모델, 특히 Flan-t5는 간단한 질문에 대한 답변에는 꽤 능숙하지만 상황이 더 복잡해지거나 유머를 원할 때는 약간 어려움을 겪을 수 있습니다.
• 이러한 모델을 미세 조정하면 성능의 수준을 완전히 높일 수 있습니다! 플란-T5가 일반 T5에 비해 얼마나 더 나은지 확인해 보세요.
• 오픈레일 라이선스를 사용하는 모델은 짧은 답변을 제공하는 경향이 있지만 확인해 볼 가치가 있습니다. 하지만 라이선스의 사용 제한 사항을 파악하는 것이 그렇게 간단하지 않을 수 있다는 점을 명심하세요.
• LLaMA 7B는 설명은 괜찮았지만, 맥락을 설명하기 위해 기사를 많이 인용하는 데 의존했고 독창적인 농담을 만드는 데는 서툴렀습니다. 게다가 왠지 라텍스 형식을 사용하는 것을 좋아하는 것 같았습니다!
• 알파카는 몇 가지 농담을 준비했지만 기사에 대한 질문에 답할 때는 약간 어려움을 겪는 것 같았습니다.
• GPT3와 GPT4와 같은 개인용 모델은 매우 상세한 요약과 농담까지 해줄 정도로 훌륭했습니다. 하지만 가격이 비싸고 민감한 정보로 작업하는 경우 최선의 선택은 아닙니다.
• 이러한 모델의 성능은 상황에 따라 달라질 수 있으며, 질문을 어떻게 표현하느냐에 따라 답변의 품질이 크게 달라질 수 있다는 점을 명심하세요.
• 결론: 이러한 언어 모델은 매우 훌륭하며, 계속 개선됨에 따라 모든 종류의 다양한 애플리케이션에 필수적인 도구가 될 것입니다.

확실히 보면 GPT모델이 점잖은 느낌이라 해야할까..

Dropbox lays off 500 employees, 16% of staff, CEO says due to slowing growth and ‘the era of AI’

드롭박스의 CEO는 성장 둔화로 인해 직원 16%에 해당하는 500명을 감원할 것이라고 발표했다. 성장 둔화와 관련해 인공지능을 주요한 원인이라고 언급했다는 점이 주목할만한다. 단순히 시기 적절한 변명이라고 볼 수도 있지만 우리가 컴퓨터로 문서를 생성하고 협업을 위해 공유하는 업무 프로세스 자체의 변화가 이미 이루어지고 있다는 사실을 보여주는 결과일수도 있을 것 같다.

“둘째, 더 중요한 것은 마침내 AI 컴퓨팅 시대가 도래했다는 점입니다.”라고 그는 이어서 말했습니다. “우리는 수년 동안 AI가 우리에게 새로운 초능력을 부여하고 지식 업무를 완전히 변화시킬 것이라고 믿어 왔습니다. 그리고 올해 제품 파이프라인에서 알 수 있듯이 우리는 오랫동안 이러한 미래를 향해 구축해 왔습니다.”

“클라우드 데이터-네이티브 앱” 모델은 “클라우드 데이터-클라우드 앱” 모델에 패배하게 될 것이라는 과거 기사도 참고해볼만 하다.