본문 바로가기

IT

(42)
LangChain (1) : LLM의 한계와 해결 방안 LangChain은 대형 언어 모델(LLM)의 한계를 극복하고 더욱 효율적인 시스템을 구축하기 위한 프레임워크로, 여러 모듈을 통해 LLM의 기능을 확장할 수 있습니다. 아래에서는 LangChain이 어떻게 LLM의 문제를 해결하는지, 그 구조와 기능을 중심으로 설명합니다.1. 정보 접근 제한LLM은 실시간 외부 데이터를 직접 조회할 수 없다는 한계가 있습니다. LangChain은 **벡터스토어(Vectorstore)**와 **에이전트(Agent)**를 결합하여 이 문제를 해결합니다.벡터스토어 기반 정보 탐색: 문서와 데이터를 인덱싱하고, 이를 기반으로 필요한 정보를 빠르게 검색할 수 있게 합니다.에이전트 활용: LLM이 직접 처리하지 못하는 작업, 예를 들어 외부 데이터 검색이나 API 호출을 통해 문..
ORPO Instruction tuning and preference alignment are essential techniques for adapting Large Language Models (LLMs) to specific tasks. Traditionally, this involves a multi-stage process: 1/ Supervised Fine-Tuning (SFT) on instructions to adapt the model to the target domain, followed by 2/ preference alignment methods like Reinforcement Learning with Human Feedback (RLHF) or Direct Preference Optimiz..
Highly Articulated Gaussian Human Avatars with Textured Mesh Prior HAHA - a novel approach for animatable human avatar generation from monocular input videos.The proposed method relies on learning the trade-off between the use of Gaussian splatting and a textured mesh for efficient and high fidelity rendering. this paper demonstrate its efficiency to animate and render full-body human avatars controlled via the SMPL-X parametric model. Our model learns to apply..
인스타 tags search 관련 이슈 https://www.instagram.com/explore/tags/ 인스타는 비로그인으로 태그 검색이 가능하다. 100개의 태그 관련 포스트를 스크랩한다 가정하였을 경우 가져오지 못하는 경우는 input value를 먼저 체크해봐야한다. 필자 같은 경우 해당값에 대문자가 들어가 전부 소문자로 변경후 문제없이 해결할 수 있었다. ex) https://www.instagram.com/explore/tags/BBQ -> https://www.instagram.com/explore/tags/bbq
StreamingT2V https://paperswithcode.com/paper/streamingt2v-consistent-dynamic-and Papers with Code - StreamingT2V: Consistent, Dynamic, and Extendable Long Video Generation from Text Implemented in one code library. paperswithcode.com Long Video Generation from Text Text-to-video diffusion models enable the generation of high quality videos that follow text instructions, making it easy to create diverse and ..
Market Intelligence: E-Commerce 21세기의 디지털 시대에서는 데이터가 기업 경쟁력의 핵심 요소로 부상하고 있습니다. 특히 전자 상거래 업계에서는 빠르게 변화하는 시장 환경에서 경쟁우위를 점하기 위해 시장 인텔리전스에 대한 필요성이 더욱 커지고 있습니다. 이는 시장의 동향과 소비자 행태, 그리고 경쟁사의 전략을 이해하고, 이를 바탕으로 전략을 개선하고 의사 결정을 내릴 수 있는 능력을 의미합니다. 시장 인텔리전스의 중요성 시장 인텔리전스는 정보 수집, 분석, 해석을 통해 기업이 시장의 트렌드를 파악하고 경쟁사와 소비자의 행동을 이해하는 프로세스입니다. 아래는 시장 인텔리전스의 핵심 요소에 대한 상세한 설명입니다. 1. 데이터 수집: 웹 스크래핑: 다양한 온라인 플랫폼에서 구조화된 데이터를 수집하는 기술. 이는 전자 상거래 사이트, 소셜 ..
GCS) DELETE - CLOUD SHELL $ gsutil ls -r gs://{project_name}/{category}/1_basic/2024-03-23/**/*.json | while read file; do size=$(gsutil du "$file" | awk '{print $1}'); if [[ $size -lt 3072 ]]; then gsutil rm "$file"; fi; done 폴터 안에 폴더들을 순회하며 3KB 이하의 데이터들을 삭제하고자 해당 코드를 Cloud Shell 에서 실행하였다. gsutil ls -l 명령을 사용하여 파일 세부 정보를 가져와서 첫 번째 줄에서 파일 크기를 추출하고 있으나 두 번째 스크립트에서는 gsutil du 명령을 사용하여 직접 파일 크기를 가져오고 있다. 삭제시에는 백업을 하지 않는 이상 ..
Shap-E https://paperswithcode.com/paper/shap-e-generating-conditional-3d-implicit Papers with Code - Shap-E: Generating Conditional 3D Implicit Functions Implemented in one code library. paperswithcode.com Unlike recent work on 3D generative models which produce a single output representation, Shap-E directly generates the parameters of implicit functions that can be rendered as both textured meshes an..