๐Ÿ“š Amazon Bedrock ํŒŒ์ธํŠœ๋‹ & ๋ชจ๋ธ ์„ ํƒ

1. ๋‹ค์–‘ํ•œ ์ œ๊ณต์ž์™€ ๋ชจ๋ธ ํŠน์ง•

  • ๋Œ€ํ‘œ ์ œ๊ณต์ž(Providers): Anthropic, Amazon, DeepSeek, Stability AI ๋“ฑ
  • ๊ฐ ๋ชจ๋ธ๋งˆ๋‹ค ์ž˜ํ•˜๋Š” ๋ถ„์•ผ๊ฐ€ ๋‹ค๋ฆ„:
  • Claude 3.5 Haiku โ†’ ํ…์ŠคํŠธ ์ฒ˜๋ฆฌ์— ์ตœ์ ํ™”
  • Amazon Nova Reel โ†’ ํ…์ŠคํŠธ-์˜์ƒ, ์ด๋ฏธ์ง€-์˜์ƒ ๋ณ€ํ™˜
  • ๐Ÿ’ก ์‹œํ—˜ ํฌ์ธํŠธ: ์‹œํ—˜์—์„œ “์–ด๋–ค ๋ชจ๋ธ์ด ์ œ์ผ ์ข‹์€๊ฐ€?”๋ฅผ ๋ฌป์ง€ ์•Š์Œ โ†’ ๊ฐ ๋ชจ๋ธ์ด ํ•  ์ˆ˜ ์žˆ๋Š” ๊ฒƒ๊ณผ ๋ชป ํ•˜๋Š” ๊ฒƒ๋งŒ ๊ตฌ๋ถ„

2. ๋ชจ๋ธ ๋น„๊ตํ•˜๊ธฐ

  • Bedrock Playground์—์„œ ์—ฌ๋Ÿฌ ๋ชจ๋ธ์„ ๋‚˜๋ž€ํžˆ ํ…Œ์ŠคํŠธ ๊ฐ€๋Šฅ
  • ๋น„๊ต ๊ธฐ์ค€:
  • โœ… ์ง€์› ๊ธฐ๋Šฅ (ํ…์ŠคํŠธ, ์ด๋ฏธ์ง€, ๋น„๋””์˜ค)
  • โœ… ์ถœ๋ ฅ ์Šคํƒ€์ผ/ํ˜•์‹
  • โœ… ์†๋„(์ง€์—ฐ ์‹œ๊ฐ„)
  • โœ… ๋น„์šฉ(ํ† ํฐ ์‚ฌ์šฉ๋Ÿ‰)
  • ์˜ˆ์‹œ:
  • Nova Micro โ†’ ์ด๋ฏธ์ง€ ์—…๋กœ๋“œ ๋ถˆ๊ฐ€ โŒ, ๋Œ€์‹  ๋น ๋ฅด๊ณ  ๊ฐ„๋‹จํ•œ ๋‹ต๋ณ€
  • Claude 3.5 Sonnet โ†’ ์ด๋ฏธ์ง€ ์ง€์› ๊ฐ€๋Šฅ โœ…, ๊ธธ๊ณ  ์ƒ์„ธํ•œ ๋‹ต๋ณ€

3. ํŒŒ์ธํŠœ๋‹ ๋ฐฉ๋ฒ• ๋น„๊ต (์‹œํ—˜ ์ž์ฃผ ์ถœ์ œ!)

๊ตฌ๋ถ„Instruction-Based Fine-TuningContinued Pre-TrainingTransfer Learning
๋ฐ์ดํ„ฐ ์œ ํ˜•๋ผ๋ฒจ๋ง๋œ ๋ฐ์ดํ„ฐ (ํ”„๋กฌํ”„ํŠธโ€“์‘๋‹ต ์Œ)๋ผ๋ฒจ๋ง ์•ˆ ๋œ ์›๋ณธ ํ…์ŠคํŠธ๋ผ๋ฒจ๋ง/๋น„๋ผ๋ฒจ๋ง ๋ชจ๋‘ ๊ฐ€๋Šฅ
๋ชฉํ‘œํŠน์ • ํƒœ์Šคํฌ/ํ†ค/์Šคํƒ€์ผ ๋งž์ถคํŠน์ • ๋„๋ฉ”์ธ ์ „๋ฌธํ™”๋‹ค๋ฅธ ์œ ์‚ฌํ•œ ํƒœ์Šคํฌ๋กœ ์ „์ด
์˜ˆ์‹œํŠน์ • ํ†ค์œผ๋กœ ๋Œ€๋‹ตํ•˜๋Š” ์ฑ—๋ด‡AWS ๋ฌธ์„œ ์ „์ฒด ํ•™์Šต โ†’ AWS ์ „๋ฌธ๊ฐ€ ๋ชจ๋ธ์˜๋ฃŒ ๋ถ„์•ผ ํ…์ŠคํŠธ ๋ถ„๋ฅ˜
๋ชจ๋ธ ๊ฐ€์ค‘์น˜ ๋ณ€๊ฒฝ?โœ… ๋ณ€๊ฒฝ๋จโœ… ๋ณ€๊ฒฝ๋จโœ… ๋ณ€๊ฒฝ๋จ
๋ณต์žก๋„์ค‘๊ฐ„๋†’์Œ๋‹ค์–‘
๋น„์šฉ์ƒ๋Œ€์ ์œผ๋กœ ์ €๋ ด๋งค์šฐ ๋น„์Œˆ (๋ฐ์ดํ„ฐ ๋งŽ์Œ)์ƒํ™ฉ์— ๋”ฐ๋ผ ๋‹ค๋ฆ„
์‹œํ—˜ ํ‚ค์›Œ๋“œโ€œ๋ผ๋ฒจ๋ง ๋ฐ์ดํ„ฐโ€, โ€œํ”„๋กฌํ”„ํŠธโ€“์‘๋‹ตโ€โ€œ๋น„๋ผ๋ฒจ๋ง ๋ฐ์ดํ„ฐโ€, โ€œ๋„๋ฉ”์ธ ์ ์‘โ€โ€œ์ƒˆ๋กœ์šด ์œ ์‚ฌ ํƒœ์Šคํฌ ์ ์‘โ€
Bedrock ์ง€์›์ผ๋ถ€ ๋ชจ๋ธ ์ง€์›์ผ๋ถ€ ๋ชจ๋ธ ์ง€์›์ผ๋ฐ˜ ML ๊ฐœ๋… (Bedrock ์ „์šฉ ์•„๋‹˜)

Instruction-based Fine Tuning

Continued Pre-training


4. ๋ฉ”์‹œ์ง• ํŒŒ์ธํŠœ๋‹

  • ๋‹จ์ผ ํ„ด(Single-Turn): ์งˆ๋ฌธ 1๊ฐœ โ†’ ๋‹ต๋ณ€ 1๊ฐœ, ํ•„์š” ์‹œ system ์ปจํ…์ŠคํŠธ ์ถ”๊ฐ€
  • ๋‹ค์ค‘ ํ„ด(Multi-Turn): ๋Œ€ํ™”์ฒ˜๋Ÿผ user์™€ assistant๊ฐ€ ๋ฒˆ๊ฐˆ์•„ ๋Œ€ํ™” โ†’ ์ฑ—๋ด‡ ํ›ˆ๋ จ์— ํ™œ์šฉ

5. ์ „์ด ํ•™์Šต (Transfer Learning)

  • ์ •์˜: ์ด๋ฏธ ํ•™์Šต๋œ ๋ชจ๋ธ์„ ์ƒˆ๋กœ์šด ์œ ์‚ฌํ•œ ์ž‘์—…์— ํ™œ์šฉ
  • ์˜ˆ์‹œ:
  • ์ด๋ฏธ์ง€ ๋ถ„๋ฅ˜ (๊ณ ์–‘์ด vs ๊ฐ•์•„์ง€ โ†’ ๊ฝƒ ๋ถ„๋ฅ˜)
  • NLP ๋ชจ๋ธ (BERT, GPT) ์žฌํ™œ์šฉ
  • ๐Ÿ’ก ์‹œํ—˜ ํŒ:
  • ์ผ๋ฐ˜ ML ๋ฌธ์ œ โ†’ Transfer Learning
  • Bedrock ๊ด€๋ จ โ†’ Fine-Tuning

6. Bedrock์—์„œ ํŒŒ์ธํŠœ๋‹ ์กฐ๊ฑด

  • ํ•™์Šต ๋ฐ์ดํ„ฐ๋Š” ๋ฐ˜๋“œ์‹œ:
  • Amazon S3์— ์ €์žฅ
  • ์ •ํ•ด์ง„ ํฌ๋งท ์ค€์ˆ˜
  • Provisioned Throughput ํ•„์š”:
  • ์ปค์Šคํ…€ ๋ชจ๋ธ ์ƒ์„ฑ ์‹œ
  • ์ปค์Šคํ…€ ๋ชจ๋ธ ์‚ฌ์šฉ ์‹œ
  • ๋ชจ๋“  ๋ชจ๋ธ์ด ํŒŒ์ธํŠœ๋‹ ๊ฐ€๋Šฅํ•œ ๊ฑด ์•„๋‹˜ โ†’ ์ฃผ๋กœ ์˜คํ”ˆ์†Œ์Šค ๋ชจ๋ธ ์ง€์›

7. ํŒŒ์ธํŠœ๋‹ ํ™œ์šฉ ์‚ฌ๋ก€

  • ํŠน์ • ํ†ค/ํŽ˜๋ฅด์†Œ๋‚˜ ์ฑ—๋ด‡ ์ œ์ž‘
  • ์ตœ์‹  ์ง€์‹ ๋ฐ˜์˜
  • ๊ธฐ์—… ๋‚ด๋ถ€ ๋น„๊ณต๊ฐœ ๋ฐ์ดํ„ฐ ํ™œ์šฉ (๊ณ ๊ฐ ๋กœ๊ทธ, ๋‚ด๋ถ€ ๋ฌธ์„œ)
  • ๋ถ„๋ฅ˜ ์ •ํ™•๋„ ํ–ฅ์ƒ, ์‘๋‹ต ์Šคํƒ€์ผ ์กฐ์ •

8. ์‹œํ—˜ ํŒ ์ •๋ฆฌ

  • “๋ผ๋ฒจ๋ง ๋ฐ์ดํ„ฐ” โ†’ Instruction-Based Fine-Tuning
  • “๋น„๋ผ๋ฒจ๋ง ๋ฐ์ดํ„ฐ / ๋„๋ฉ”์ธ ์ ์‘” โ†’ Continued Pre-Training
  • “์ƒˆ๋กœ์šด ์œ ์‚ฌ ์ž‘์—… ์ ์‘” โ†’ Transfer Learning
  • Bedrock์—์„œ ์ปค์Šคํ…€ ๋ชจ๋ธ = Provisioned Throughput ํ•„์ˆ˜
  • ํŒŒ์ธํŠœ๋‹ = ๋ชจ๋ธ ๊ฐ€์ค‘์น˜ ๋ณ€๊ฒฝ โ†’ ๋‚ด ์ „์šฉ ๋ชจ๋ธ ์ƒ์„ฑ
  • ๋ชจ๋ธ ๋น„๊ต ์‹œ โ†’ ํ’ˆ์งˆ๋ฟ ์•„๋‹ˆ๋ผ ์†๋„์™€ ๋น„์šฉ ๊ณ ๋ ค

9. ์ถ”๊ฐ€๋กœ ์•Œ์•„๋‘๋ฉด ์ข‹์€ ์ 

  • FM ์ „์ฒด ์žฌํ•™์Šต์€ ๋น„์šฉยท์‹œ๊ฐ„ ๋ชจ๋‘ ๋งค์šฐ ํผ
  • Instruction ๊ธฐ๋ฐ˜ ํŒŒ์ธํŠœ๋‹์€ ์ƒ๋Œ€์ ์œผ๋กœ ์ €๋ ด (์ ์€ ๋ฐ์ดํ„ฐ, ์ ์€ ์—ฐ์‚ฐ)
  • ํ•˜์ง€๋งŒ ์ „๋ฌธ ML ์—”์ง€๋‹ˆ์–ด ํ•„์š”
  • ๊ณผ์ •: ๋ฐ์ดํ„ฐ ์ค€๋น„ โ†’ ํŒŒ์ธํŠœ๋‹ โ†’ ๋ชจ๋ธ ํ‰๊ฐ€ โ†’ ์šด์˜
  • ํŒŒ์ธํŠœ๋‹ ๋ชจ๋ธ ์‹คํ–‰ ์‹œ๋„ Provisioned Throughput ํ•„์š” โ†’ ๋น„์šฉ ์ถ”๊ฐ€

10. Provisioned Throughput (์ค‘์š” ์‹œํ—˜ ํฌ์ธํŠธ!)

  • ์ •์˜: ์ปค์Šคํ…€ ๋ชจ๋ธ์„ ์œ„ํ•œ ์ „์šฉ ์ฒ˜๋ฆฌ ์šฉ๋Ÿ‰ ์˜ˆ์•ฝ
  • ํ•„์š” ์ด์œ :
  • ์•ˆ์ •์  ์„ฑ๋Šฅ ๋ณด์žฅ
  • ํŠธ๋ž˜ํ”ฝ ์ฆ๊ฐ€ ์‹œ ์„ฑ๋Šฅ ์ €ํ•˜ ๋ฐฉ์ง€
  • ์˜ˆ์ธก ๊ฐ€๋Šฅํ•œ ๋น„์šฉ ๊ด€๋ฆฌ
  • ๐Ÿ’ก ์‹œํ—˜ ํŒ: Bedrock์—์„œ ์ปค์Šคํ…€ ๋ชจ๋ธ = ๋ฌด์กฐ๊ฑด Provisioned Throughput ํ•„์š”

โœ… ์‹œํ—˜ ํ•ต์‹ฌ ์š”์•ฝํ‘œ

๊ตฌ๋ถ„ํ•ต์‹ฌ ํฌ์ธํŠธ์‹œํ—˜ ํ‚ค์›Œ๋“œ
๋ชจ๋ธ ์ œ๊ณต์žAnthropic, Amazon, DeepSeek, Stability AI ๋“ฑ“์–ด๋–ค ๋ชจ๋ธ์ด ์ œ์ผ ์ข‹์€๊ฐ€?” โŒ, “ํ•  ์ˆ˜ ์žˆ๋Š” ๊ฒƒ/๋ชปํ•˜๋Š” ๊ฒƒ” โœ…
๋ชจ๋ธ ๋น„๊ต ๊ธฐ์ค€๊ธฐ๋Šฅ(ํ…์ŠคํŠธ/์ด๋ฏธ์ง€/๋น„๋””์˜ค), ์ถœ๋ ฅ ์Šคํƒ€์ผ, ์†๋„, ๋น„์šฉCompare Mode
Instruction-Based Fine-Tuning๋ผ๋ฒจ๋ง ๋ฐ์ดํ„ฐ ํ•„์š” (ํ”„๋กฌํ”„ํŠธโ€“์‘๋‹ต ์Œ), ๋น„์šฉ ๋‚ฎ์Œ, ํŠน์ • ํ†ค/์Šคํƒ€์ผ ๋งž์ถคLabeled data, Promptโ€“Response
Continued Pre-Training๋น„๋ผ๋ฒจ๋ง ๋ฐ์ดํ„ฐ๋กœ ๋„๋ฉ”์ธ ์ „๋ฌธํ™”, ๋ฐ์ดํ„ฐยท๋น„์šฉ ํผUnlabeled data, Domain Adaptation
Transfer Learning๊ธฐ์กด ๋ชจ๋ธ์„ ์ƒˆ๋กœ์šด ์œ ์‚ฌ ์ž‘์—…์— ์ ์‘Adapt model to new task
๋ฉ”์‹œ์ง• ํŒŒ์ธํŠœ๋‹๋‹จ์ผ ํ„ด(Single-Turn), ๋‹ค์ค‘ ํ„ด(Multi-Turn) ์ง€์›Chatbot Training
Provisioned Throughput์ปค์Šคํ…€ ๋ชจ๋ธ ์ƒ์„ฑ/์šด์˜ ์‹œ ํ•„์ˆ˜, ์ „์šฉ ์ฒ˜๋ฆฌ ์šฉ๋Ÿ‰ ์˜ˆ์•ฝRequired for Bedrock Custom Models
๋น„์šฉ ์ ˆ๊ฐInstruction-Based FT๊ฐ€ ๊ฐ€์žฅ ์ €๋ ด, Full FM ์žฌํ•™์Šต์€ ๋น„์šฉ ๋งค์šฐ ํผCost Optimization

๐Ÿ“Œ ์ถ”๊ฐ€ ์‹œํ—˜ ํฌ์ธํŠธ

  • ํŒŒ์ธํŠœ๋‹์€ ๋ชจ๋ธ ๊ฐ€์ค‘์น˜๋ฅผ ๋ณ€๊ฒฝํ•˜์—ฌ ๋‚ด ์ „์šฉ ๋ชจ๋ธ์„ ๋งŒ๋“œ๋Š” ๊ฒƒ
  • Bedrock์€ ๋ชจ๋“  ๋ชจ๋ธ์ด ํŒŒ์ธํŠœ๋‹ ๊ฐ€๋Šฅํ•œ ๊ฑด ์•„๋‹˜ โ†’ ์ฃผ๋กœ ์˜คํ”ˆ์†Œ์Šค ๋ชจ๋ธ ์ง€์›
  • ์ปค์Šคํ…€ ๋ชจ๋ธ์€ ๋ฐ˜๋“œ์‹œ Provisioned Throughput ํ•„์š”
  • ๋ชจ๋ธ ๋น„๊ต ์‹œ ์†๋„์™€ ๋น„์šฉ๋„ ์ค‘์š”
  • Fine-Tuning ๋‹จ๊ณ„: ๋ฐ์ดํ„ฐ ์ค€๋น„ โ†’ ํ•™์Šต โ†’ ํ‰๊ฐ€ โ†’ ์šด์˜
  • ์‹คํ–‰ ๋น„์šฉ์€ ์ผ๋ฐ˜ ๋ชจ๋ธ๋ณด๋‹ค ๋†’์Œ (์ „์šฉ ๋ฆฌ์†Œ์Šค ์‚ฌ์šฉ)

๐Ÿ‘‰ ๊ฒฐ๋ก :
Amazon Bedrock ํŒŒ์ธํŠœ๋‹ = ๋‚ด ๋ฐ์ดํ„ฐ๋กœ ๋งž์ถคํ˜• ๋ชจ๋ธ์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ๋Š” ๊ธฐ๋Šฅ
์‹œํ—˜ ํ•ต์‹ฌ = ํ‚ค์›Œ๋“œ ๋งคํ•‘(๋ผ๋ฒจ๋ง vs ๋น„๋ผ๋ฒจ๋ง vs ์ƒˆ๋กœ์šด ํƒœ์Šคํฌ) + Provisioned Throughput

Leave a Reply