Google LiteRT-LM — 온디바이스 LLM 추론 실전 가이드

설치
pip install litert-lm

Gemma 4 E2B 텍스트 생성 (Python)
from litert_lm import LlmInference, Backend

# 모델 다운로드 (HuggingFace Hub 또는 로컬 경로)
llm = LlmInference.from_pretrained(
    "google/gemma-4-e2b-litert",
    backend=Backend.CPU,  # 또는 Backend.GPU, Backend.NPU
)

# 동기 생성
response = llm.generate("Python에서 비동기 프로그래밍을 사용하는 이유는?")
print(response)

# 스트리밍 생성
for token in llm.generate_stream("Rust와 Go의 차이를 설명해줘"):
    print(token, end="", flush=True)

Function Calling (로컬 에이전트 파이프라인)
from litert_lm import LlmInference, Tool

def get_weather(city: str) -> str:
    return f"{city}의 현재 기온은 22도입니다."

llm = LlmInference.from_pretrained("google/gemma-4-4b-litert")
llm.register_tool(Tool.from_function(get_weather))

response = llm.generate("서울 날씨 알려줘")
print(response)  # 자동으로 get_weather 호출 후 응답 생성

build.gradle.kts 의존성 추가
dependencies {
    implementation("com.google.ai.edge:litert-lm-android:1.0.0")
}

Kotlin — LLM 초기화 및 텍스트 생성
import com.google.ai.edge.litert.lm.LlmInference
import com.google.ai.edge.litert.lm.LlmInferenceOptions

val options = LlmInferenceOptions.builder()
    .setModelPath("/data/local/tmp/gemma-4-e2b.task")
    .setMaxTokens(512)
    .setPreferredBackend(LlmInferenceOptions.Backend.GPU)
    .build()

val llm = LlmInference.createFromOptions(context, options)

// 비동기 스트리밍 생성
llm.generateResponseAsync("코틀린 코루틴이란?") { partialResult, done ->
    runOnUiThread {
        textView.append(partialResult)
        if (done) progressBar.visibility = View.GONE
    }
}