microsoft의 TRELLIS

Structured 3D Latents for Scalable and Versatile 3D Generation https://arxiv.org/abs/2412.01506 Structured 3D Latents for Scalable and Versatile 3D GenerationWe introduce a novel 3D generation method for versatile and high-quality 3D asset creation. The cornerstone is a unified Structured LATent (SLAT) representation which allows decoding to different output formats, such as Radiance Fields, 3D ..

• format_list_bulleted AI 논문/AI trend research
• · 2025. 1. 24.
• textsms

3D task를 위한 dataset과 3d task

1. 3d dataset 3d를 표현하는 방법을 알았으니 데이터로 만들 수 있다면 3d를 이해하는 모형을 만들 수 있을 것  1) ShapeNet 51300개의 3d 모델이 55 category로 구성된 엄청난 large scale의 데이터 가상으로 사람들이 디자인한 high quality synthetic object   2) PartNet ShapeNet의 개선 버전?으로 fine-grained dataset  하나의 3d object의 구성부분인 detail들이 annotation된 dataset 26671개의 3d model의 573585개의 part instance로 구성 part 뿐만 아니라 part의 구성요소도 색깔이 달라서 segmentation으로 굉장히 유용할 것   3) SceneNe..

• format_list_bulleted 딥러닝/Computer Vision
• · 2024. 7. 8.
• textsms

3D 이해하기2 - 3D를 표현하는 방법

1. 2d image 2d image는 image의 각 pixel value가 2d array에 저장됨 RGB 이미지인 경우는 3 channel의 array가 존재하여 각 채널에 R,G,B의 pixel value가 저장   이미지의 부분에 대응하는 pixel값이 저장 컬러 이미지면 3 channel로 구성  2. 3d representation 3d 표현은 2d image와는 다르게 유일하지 않다  1) multi-view image 3d 물체를 여러 각도에서 사진 찍어서 각각을 전부 보관함    2) volumetric(voxel) 2d 이미지 표현법과 가장 비슷한 방법? 3d space의 물체를 적절하게 grid로 나눠서 해당 grid에 3d 물체가 차지하면 1 아니면 0의 binary로 표현?   ..

• format_list_bulleted 딥러닝/Computer Vision
• · 2024. 5. 8.
• textsms

3D 이해하기 - 우리는 세상을 어떻게 관찰하는가?

1. importance 우리는 3D 세상에서 살고 있다 앞으로 만들 AI agent나 AI robot은 사람들에게 도움을 주기 위해서 3D 세계를 활보해야한다. AI가 3D 세상을 이해하게 만들기 위해서, 실제 세계와 interaction할 수 있는 AI를 만들기 위해서, 3D를 잘 이해하는 것은 중요하다.  2. AR/VR application 게임부터 광고, 군사훈련까지 현실에서 경험하기 어려운 것을 3D 가상세계에서 경험하게 만들어줌   3. 3D printing 3D 공간을 잘 이해하면 3D printing으로 효율적으로 3D 제품을 만들어내고 심지어 건물도 지을 수 있다고?    4. medical application 우리 몸의 구성 성분은 전부 3D로 구성되어 있다 뇌의 뉴런활동을 시각화 ..

• format_list_bulleted 딥러닝/Computer Vision
• · 2024. 5. 8.
• textsms