கியூப் பார்ட்: ஒரு திறந்த-சொற்களஞ்சிய பகுதி-கட்டுப்பாடுள்ள 3D ஜெனரேட்டர்

நவீன 3D உருவாக்கும் மாதிரிகள் உரைக் குறிப்புகளிலிருந்து அழகான, சிக்கலான 3D பொருட்களை உருவாக்க முடியும், ஆனால் ஒரு விளையாட்டு உருவாக்குநருக்கு, ஒரு ஒருங்கிணைந்த 3D மாதிரி பயனுள்ளதாக இருக்காது. உதாரணமாக, ஒரு கார் ஓட்டக்கூடியதாக இருக்க வேண்டும். சக்கரங்கள் தனித்தனியாக சுழல வேண்டும், கதவுகள் திறக்கப்பட வேண்டும், மேலும் முகப்பு விளக்குகள் ஒளிர வேண்டும். 

தற்போது, 3D கலைஞர்கள் உருவாக்கப்பட்ட மாடல்களைக் கைமுறையாக வெட்டி, பாகங்களுக்குப் பெயரிட வேண்டியுள்ளது—இது எளிதில் விரிவாக்க முடியாத ஒரு செயல்முறையாகும். எங்களின் கண்டுபிடிப்பு CubePart ஆகும்: இது திறந்த-வொகபுலரி, பாகங்களைக் கட்டுப்படுத்தக்கூடிய 3D மெஷ் உருவாக்கத்தை அனுமதிக்கும் முதல் ஜெனரேட்டிவ் AI கட்டமைப்பாகும். CubePart, டெவலப்பரின் நிரலாக்கத் தேவைகளுக்கு உடனடியாகப் பொருந்தக்கூடிய, தனித்துவமான, செயல்பாட்டுத்திறன் மிக்க மற்றும் துல்லியமாகப் பெயரிடப்பட்ட மெஷ்களின் தொகுப்பை வெளியிடுகிறது.

4D ஜெனரேஷனுடன் நாங்கள் அறிமுகப்படுத்திய நிலையான திட்டங்களின் கருத்தை CubePart விரிவுபடுத்துகிறது, இது ஒரு பொருள் எத்தனை பாகங்களாக பிரிக்கப்பட வேண்டும் என்பதற்கான பாகங்களின் பட்டியலை வரையறுக்க ஒரு படைப்பாளருக்கு அதிகாரம் அளிக்கிறது. கியூப் பார்ட்டால் உருவாக்கப்பட்ட மெஷ் தொகுப்பானது நேரடியாக கேம் இன்ஜினில் சேர்க்கப்பட்டு, கைமுறை சுத்தம் செய்ய வேண்டிய அவசியமின்றி அனிமேஷன், இயற்பியல் மற்றும் கேம்ப்ளே ஸ்கிரிப்டுகள் மூலம் கட்டுப்படுத்தப்படலாம். எங்கள் கியூப் பார்ட் ஆராய்ச்சியை arXiv-ல் வெளியிட்டோம் மற்றும் பகுதி-கட்டுப்பாட்டு உருவாக்கத்தை ஆதரிக்கும் வகையில் எங்கள் திறந்த மூல கியூப் ரெபாசிட்டரியைப் புதுப்பித்துள்ளோம். இந்த ஆண்டின் பிற்பகுதியில், எங்கள் கண்டுபிடிப்புகளை SIGGRAPH-ல் முன்வைப்போம். 

ஸ்கீமா: ஊடாடும் 3D சொத்துகளுக்கான API ஒப்பந்தம்

ராப்லாக்ஸில், ஒரு பொருளின் குறிப்பிட்ட, பெயரிடப்பட்ட துணைப்பொருட்களில் செயல்படும் ஸ்கிரிப்டுகளில் ஊடாடும் நடத்தை செயல்படுத்தப்படுகிறது. விளையாட்டு அல்லது சூழ்நிலையைப் பொறுத்து, ஒரே மாதிரியான சொத்துக்கள் கூட முற்றிலும் மாறுபட்ட துணைப்பொருட்களைத் தேவைப்படலாம். ஒரு நிலையான வகைப்பாடு படைப்பாற்றலையும் செயல்பாட்டையும் கட்டுப்படுத்தும், எனவே கியூப் பார்ட் இரண்டு உள்ளீடுகளை வழங்குகிறது: 

1. பொருள் எப்படி இருக்கும் என்பதை விவரிக்கும் ஒரு உலகளாவிய உரைப் பரிந்துரை: எ.கா., "ஒரு ஜெல்லி மீன் கருப்பொருள் கொண்ட பந்தயக் கார்."
2. ஸ்கீமா எனப்படும் தேவைப்படும் பாகங்களின் ஒரு குறிப்பிட்ட, திறந்த பட்டியல்: எ.கா., "முன் இடது சக்கரம்", "முன் வலது சக்கரம்", "பின் இடது சக்கரம்", "பின் வலது சக்கரம்", "துப்பாக்கி", "முன் விளக்குகள்", "வெளியேற்றக் குழாய்", "உடல்". 

ஸ்கீமா என்பது அசெட் மற்றும் விளையாட்டுக் குறியீடு ஆகியவற்றுக்கு இடையிலான API ஒப்பந்தமாகும், மேலும் கியூப் பார்ட் ஒரு உருவாக்குநரை இந்த ஒப்பந்தத்திற்கு இணக்கமான அசெட்களை உருவாக்க அனுமதிக்கிறது. இந்த திறந்த-விகுதி கட்டுப்பாடு, ரோப்லாக்ஸ் அசெட்களின் மற்றும் அனுபவங்களின் பன்முகத்தன்மையை கியூப் பார்ட் கைப்பற்ற அனுமதிக்கிறது.

இரண்டு நிலைகளில் உருவாக்கம் 

கியூப் பார்ட் என்பது வேக்செட் உள்ளார்ந்த வடிவப் பிரதிநிதித்துவத்தின் மீது கட்டமைக்கப்பட்ட ஒரு இரு-கட்டப் பரவல் கட்டமைப்பு ஆகும். 

கீழே உள்ள விளக்கப்படங்களில், பயனர் இரண்டு உந்துதல்களை உள்ளிடலாம். 

1. உலகளாவிய உரை தூண்டுதல்: "கார்ட்டூன் போன்ற அம்சங்களைக் கொண்ட ஒரு இழுவை வண்டி." 
2. திட்டக்கட்டமைப்பு: "கேப்", "சேசிஸ்", "சக்கரங்கள்", "மேல் கூரை விளக்கு", "இழுக்கும் அமைப்பு".

கட்டம் 1, பொருளின் அடிப்படை வடிவத்தை (கார்ட்டூன் போன்ற அம்சங்களைக் கொண்ட ஒரு டோ டிரக்) வரையறுப்பதற்குப் பொறுப்பாகும். இந்தக் கட்டம், தோராயமாக 4.7 மில்லியன் மெஷ்-எழுத்து ஜோடிகளில் பயிற்சி பெற்ற Qwen-VL உரை என்கோடரைக் கொண்ட MMDiT கட்டமைப்பைப் பயன்படுத்தி, முழுப் பொருளுக்கும் (கார்ட்டூன் போன்ற அம்சங்களைக் கொண்ட ஒரு டோ டிரக்) ஒரு ஒற்றை லேட்டன்ட்டை உருவாக்குகிறது. இது தரவு-விருப்பமுள்ள கட்டமாகும்: திறந்த-வார்த்தைப் பயன்பாட்டு மொழியை 3D வடிவவியலுடன் பொருத்துவது ஜெனரேட்டிவ் 3D-யின் கடினமான பகுதியாகும், மேலும் இதைச் சிறப்பாகச் செய்ய ஒரு பெரிய, பன்முகத்தன்மை கொண்ட தொகுப்பு தேவைப்படுகிறது. கூடுதலாக, நாங்கள் கட்டம் 1-ஐ திட்ட வரைவு-விழிப்புள்ளதாக (schema-aware) நுணுக்கமாகச் சரிசெய்கிறோம். 

எங்கள் தரவுத்தொகுப்பு மற்றும் VLM பைப்லைன் 

கியூப்பார்ட்டைப் பயிற்றுவிக்க, நாங்கள் 460,000-க்கும் மேற்பட்ட சொத்துக்கள் மற்றும் 2.02 மில்லியன் பாகங்களைக் கொண்ட ஒரு தரவுத்தளத்தை உருவாக்கினோம். இது முந்தைய பொது தரவுத்தளங்களை விட 11 மடங்குக்கும் அதிகமாக உள்ளது. கைமுறையான லேபிளிங் செய்வதற்குப் பதிலாக, பார்வை-மொழி மாதிரிகளைப் (VLMs) பயன்படுத்தி ஒரு தானியங்கி குழாயை உருவாக்கினோம்.

இந்தப் பைப்லைன் ஒரு இணை அணுகுமுறையைப் பயன்படுத்தி ஆயிரக்கணக்கான 3D மாடல்களைப் பல கோணங்களிலிருந்து உருவாக்குகிறது: ஒரு டெக்ஸ்ச்சர் செய்யப்பட்ட படம் (அர்த்தம் சார்ந்த சூழலுக்காக) மற்றும் ஒரு பகுதி வண்ணமிடப்பட்ட படம் (துல்லியமான எல்லைகளைக் கண்காணிப்பதற்காக). இரண்டிலும் ஒரே எண் கொண்ட குறியீடுகள் முத்திரையிடப்பட்டுள்ளன, இது VLM-க்கு 3D இடத்தில் பகுப்பாய்வு செய்யவும், ஒவ்வொரு பகுதியையும் குழுவாக்கி பெயரிடவும், உரையை அடிப்படையாகக் கொண்ட ஒரு கருவியை வழங்குகிறது.

முன்னர் வெளியிடப்பட்ட தரவுத்தொகுப்புகளில் ஒரு வாகனத்தின் ஒவ்வொரு சக்கரமும் "சக்கரம்" என்று எளிமையாகக் குறியிடப்பட்டிருக்கும், ஆனால் எங்கள் தரவுத்தொகுப்பு AI-க்கு இடஞ்சார்ந்த வேறுபாட்டைக் கற்பிக்கிறது (எ.கா., "முன் இடது சக்கரம்" என்பதை "பின் வலது சக்கரம்" என்பதிலிருந்து வேறுபடுத்துவது). இந்தப் பொருத்துதலின் துல்லியமே கேம் இன்ஜின்கள் தேடும் சரியான அம்சமாகும்.

கியூப் பார்ட் என்ன திறக்கிறது மற்றும் அடுத்து என்ன

கியூப் பார்ட், படைப்பாளிகள் தங்கள் கேம்ப்ளே குறியீட்டிற்குப் பொருந்தும் அசெட்களை உருவாக்கவும், ஏற்கனவே உள்ள அனிமேஷன், இயற்பியல் மற்றும் ஸ்கிரிப்டிங் பணிப்பாய்வுகளுடன் நேரடி இணக்கத்தன்மையைக் கொண்டிருக்கவும் அனுமதிக்கிறது. கியூப் பார்ட், ஏற்கனவே உள்ள கலைஞர்களின் மெஷ்களை ஒரு புதிய திட்டத்திற்கு பிரித்தெடுக்கவும் முடியும், இது புதியவற்றை உருவாக்குவது மட்டுமல்லாமல், பழைய அசெட்களை மேம்படுத்துவதற்கும் பயனுள்ளதாக இருக்கிறது.

செய்ய இன்னும் நிறைய இருக்கிறது. கியூப் பார்ட் (CubePart) கடினமான-உடல் சிதைவைக் (rigid-body decomposition) கையாள்கிறது, ஆனால் நாங்கள் ஆர்கானிக் கதாபாத்திர சிதைவுக்காக (organic character deformation) ஸ்கின் செய்யப்பட்ட வெர்டெக்ஸ் எடைகள் (skinned vertex weights) மீதும் பணியாற்றி வருகிறோம். கிராஸ்-பார்ட் அட்டென்ஷன் (Cross-part attention) திடீர் ஒத்துப்போவதை (overlap) வியத்தகு முறையில் குறைக்கிறது, ஆனால் அதை முற்றிலுமாக நீக்கவில்லை. இடஞ்சார்ந்த பகுத்தறிவு—"முன்-இடது" எதிர் "பின்த-வலது"—இன்னும் மேம்பாட்டிற்கு குறிப்பிடத்தக்க இடமிருக்கிறது.

ஒவ்வொரு சொத்தும் ஒரு சிமுலேஷனில் பங்கேற்கும் ஒரு தளத்தில், ஸ்கீமா-இயக்க உருவாக்கத்தை பயனுள்ளதாக்கும் படியாக இதை நாங்கள் பார்க்கிறோம். விரைவில், இந்தத் தொழில்நுட்பம் ராப்லாக்ஸ் ஸ்டுடியோவிற்குள் ராப்லாக்ஸ் உருவாக்குநர்களுக்கு நேரடியாகக் கிடைக்கும்.